須藤功平氏
株式会社クリアコード
代表取締役
(講演者のプロフィールは、各イベントサイトからご確認ください)
db tech showcase 2021
- 国内講演者
- 民間企業
- 社長
須藤功平 氏
株式会社クリアコード
代表取締役
Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク
ビッグデータは現実的な時間で処理できてこそ活きます。処理時間はデータ処理アルゴリズムの計算量だけで決まり…ません!適切なノードにデータを配置しないとそもそもデータ処理できませんが、大量ノードが協調するビッグデータ処理ではデータ移動コストを無視できません。Apache Arrow Flightを使えばネットワーク帯域限界まで高速にデータ転送できます。
このセッションではApache Arrow Flightの仕組みおよび利用例として分散計算プラットフォームApache Arrow Ballistaを紹介します。