求人・案件情報
データエンジニア／AWS×GCPマルチクラウド ETL基盤構築・運用
本日 04時00分 に公開
業務内容：- データレイクおよびETL基盤の設計・構築
- AWS Glue（Apache Spark）を用いた分散ETL開発・チューニング
- S3 / Lake Formation によるデータ管理・セキュリティ設計
- GCP BigQuery を活用したデータウェアハウス環境整備・クエリ最適化
- AWS と GCP 間のデータ連携パイプラインの最適化
- Terraform によるマルチクラウド IaC の構築・環境差分管理
- Airflow 等を用いたワークフロー管理・CI/CD パイプライン整備
- データ品質テストの自動化
担当工程：
要件定義、設計、実装、テスト、運用・保守までの全工程
スキル：
必須：AWS（S3、IAM、VPC 等）でのインフラ構築経験、GCP（BigQuery、IAM、ネットワーク）での構築経験、AWS Glue（PySpark）でのETL開発、BigQuery を用いた分析SQL実務経験、Terraform によるマルチクラウド IaC 実践
尚可：Looker Studio 等によるBIダッシュボード構築、Airflow／MWAA でのジョブ管理、Delta Lake／Iceberg／Hudi を用いたデータレイクハウス設計、Kinesis／Firehose／Pub/Sub でのストリーミング処理、Python／Go／Java でのツール開発
稼働場所：
東京都（常駐勤務）
その他：
業種：情報・通信・メディア、マルチクラウド環境のデータ基盤構築プロジェクト、対象年齢：30代まで、求める人物像：課題発見・解決に自律的に取り組める方、コミュニケーション力が高い方
案件ID：333377
