電通デジタルでバックエンド開発をしている松田です。 前回の記事は「広告出稿プランニング業務におけるセグメントのマッピングと表示改善」でした。 Dentsu Digital Tech Advent Calendar 20209 日目の記事になります。この記事ではAirflow 2.0で追加された機能の一つ ...
外部からデータを収集しHadoopクラスタのHDFSへインポートするETLツールとしてAirflowを選択した。今回はAirflowの最小構成であるスタンドアロンでのセットアップとKerberos認証のかかったHDFSへの接続のための認証設定を行った。(認証自体の動作確認はまだして ...