求人・案件情報
データエンジニア／AWS×GCP マルチクラウド データレイク・ETL基盤構築
昨日 13時56分 に公開
業務内容：・データレイク／ETL 基盤の設計・構築・運用
・AWS Glue（Apache Spark）による分散処理・パフォーマンスチューニング
・S3／Lake Formation を用いたデータ管理・セキュリティ設計
・GCP BigQuery を用いた DWH 環境整備・クエリ最適化
・AWS と GCP 間のデータ連携パイプライン最適化
・Terraform によるマルチクラウド IaC 実装・自動化
・Airflow 等によるワークフロー管理と CI/CD 整備
・データ品質テストの自動化
担当工程：
設計、構築、運用、保守
スキル：
必須：
・AWS（S3、IAM、VPC 等）でのインフラ構築・運用経験
・GCP（特に BigQuery）での構築・IAM・ネットワーク設定経験
・BigQuery を用いた分析 SQL 実務経験（パーティショニング／クラスタリング）
・AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング
・Terraform による IaC 実践（マルチクラウドまたは複数環境）
尚可：
・Looker Studio 等による BI ダッシュボード構築
・Airflow／MWAA での複雑ジョブ管理
・Delta Lake／Iceberg／Hudi などのデータレイクハウス設計経験
・Kinesis／Firehose／Pub/Sub を用いたストリーミング処理経験
・Python／Go／Java でのツール開発経験
稼働場所：
東京都内 常駐
その他：
業種：情報・通信・メディア
求められる人物像：課題を自ら発見し遂行できる方、コミュニケーション力が高い方、勤怠管理が適切にできる方
案件ID：338528
