株式会社ディー・エヌ・エー
Webシステムのバックエンド開発やデータサイエンスを経験したのち、データエンジニアリングに転向。 2023年にDeNAに入社し、DeSCヘルスケアに出向。 現在データエンジニアとしてヘルスケアデータプラットフォームの改善に取り組んでいる。 普段は名古屋からリモートで勤務している。
※ プロフィールの引用元は「DeNA × AI DayDeNA TechCon 2025」になります。
※ 登壇者情報には同姓同名も含まれている場合があります。
※ 詳細は以下の一覧をご確認ください。
こんなテーマで話されています
Redshift Serverlessとdbtを用いたデータ品質テストの高速化
データ品質テスト（QC）は、データが期待通りであることを確認するプロセスです。誤ったデータは誤った判断や意思決定を引き起こすため、データ品質を担保する上で QC は非常に重要です。しかし、大規模なデータに対して QC を厳密に行う場合、多くの時間、コスト、および運用工数がかかる課題があります。これらは一般的にデータ量の増加と共に増大します。そこで、QC をスケーラブルにするため、システムのリプレイスを行いました。新システムでは、Amazon Redshift Serverless と dbt を主要な技術スタックとして採用しました。また、QC の結果を運用作業者に分かりやすく通知するため、dbt パイプラインの監視ツール「Elementary」を導入しました。本発表では、リプレイスの背景や技術選定の理由、そしてその結果として得られた成果について紹介します。
俵海人氏への講演依頼や企業研修をご希望の方はお気軽にご相談ください。内容を確認のうえ、講演者や関係先への確認・調整を行いご案内いたします。講演者や関係先への確認にはお時間をいただく場合がございますので、お早めにご相談ください。なお、状況によってはご希望に沿えない場合がございますので、あらかじめご了承ください。
