株式会社ディー・エヌ・エー
Webシステムのバックエンド開発やデータサイエンスを経験したのち、データエンジニアリングに転向。 2023年にDeNAに入社し、DeSCヘルスケアに出向。 現在データエンジニアとしてヘルスケアデータプラットフォームの改善に取り組んでいる。 普段は名古屋からリモートで勤務している。
※ プロフィールの引用元は「DeNA × AI DayDeNA TechCon 2025」になります。
※ 登壇者情報には同姓同名も含まれている場合があります。
※ 詳細は以下の一覧をご確認ください。
Redshift Serverlessとdbtを用いたデータ品質テストの高速化
データ品質テスト（QC）は、データが期待通りであることを確認するプロセスです。誤ったデータは誤った判断や意思決定を引き起こすため、データ品質を担保する上で QC は非常に重要です。しかし、大規模なデータに対して QC を厳密に行う場合、多くの時間、コスト、および運用工数がかかる課題があります。これらは一般的にデータ量の増加と共に増大します。そこで、QC をスケーラブルにするため、システムのリプレイスを行いました。新システムでは、Amazon Redshift Serverless と dbt を主要な技術スタックとして採用しました。また、QC の結果を運用作業者に分かりやすく通知するため、dbt パイプラインの監視ツール「Elementary」を導入しました。本発表では、リプレイスの背景や技術選定の理由、そしてその結果として得られた成果について紹介します。
