小林寛和氏

2020年7月に立ち上げられたオンラインコミュニティ「Data Engineering Study」は、これまで11回の開催を通し、のべ約1万人の方々にご参加頂いてきました。本セッションは、コミュニティをgrooves社と共同主催するprimeNumberのCPOでイベントオーガナイザーでもある小林をホストに、著名なデータエンジニアであり且つ同コミュニティのモデレーターででもある yuzutas0氏を迎え、立上げからの1年強の全セッションを振り返ります。

trocco®はリリース以後、ETL/ELTやワークフローなど「データ統合」に関するサポート機能を充実させてきました。しかしながらデータエンジニア・分析基盤に求められる役割はどんどん複雑化しています。そうした情勢を踏まえ、trocco®は「データマネジメント」全般をサポートするプラットフォームに進化していきます。本セッションでは新機能「データカタログ」を始めとする直近のアップデートや、2022年の開発ロードマップを公開します。

データ分析基盤の成長により増大するテーブル数や複雑化する依存関係。クラシコム社で抱えていたそれらの課題をdbtの導入により解決を図りました。くわえて、社内で実運用に耐えうるような体制・情報整備まで、クラシコム社を中心にカヤック社のデータエンジニアリング力、風音屋(ゆずたそ氏)のコンサルティング力＋primeNumber社のプロダクトtrocco®を組み合わせることで、限られたリソースの中実現できた本プロジェクトがどのように行われたか、その裏側を解説します。 データ分析基盤の成長に即した運用にはどのような役割が必要で、どんな課題があり、どう考えて解決していくべきかがわかる内容です。 キーワード：データモデリング, Lookerの複雑化, Data Vault 2.0, Modern Data Stack, dbt on trocco