db tech showcase 2021

2021/11/17 〜 2021/11/19
  • 国内講演者
  • 民間企業
  • 社長

須藤功平

株式会社クリアコード 代表取締役

Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク

ビッグデータは現実的な時間で処理できてこそ活きます。処理時間はデータ処理アルゴリズムの計算量だけで決まり…ません!適切なノードにデータを配置しないとそもそもデータ処理できませんが、大量ノードが協調するビッグデータ処理ではデータ移動コストを無視できません。Apache Arrow Flightを使えばネットワーク帯域限界まで高速にデータ転送できます。 このセッションではApache Arrow Flightの仕組みおよび利用例として分散計算プラットフォームApache Arrow Ballistaを紹介します。