求人・案件情報
データエンジニア／AWS×GCP・マルチクラウドETL基盤構築
本日 02時52分 に公開
業務内容：- AWS Glue（Apache Spark）を用いた大規模ETLパイプラインの設計・実装
- S3 / Lake Formation によるデータレイク構築とセキュリティ設計
- BigQuery を活用したデータウェアハウス（DWH）環境の整備・最適化
- AWS と GCP 間のデータ連携パイプラインのパフォーマンスチューニング
- Terraform によるマルチクラウドインフラの IaC 管理・自動化
- Airflow 等を用いたジョブスケジューリングと CI/CD パイプライン構築
- データ品質テストの自動化と運用効率化
担当工程：
要件定義、設計、構築、テスト、運用・保守までの全工程を担当
スキル：
必須：
- AWS（S3、IAM、VPC 等）でのインフラ構築・運用経験
- GCP（特に BigQuery、IAM、ネットワーク設定）での構築経験
- BigQuery を用いた分析 SQL（パーティショニング・クラスタリング）実務経験
- AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング
- Terraform によるマルチクラウドまたは複数環境の IaC 実践経験
尚可：
- Looker Studio 等による BI ダッシュボード構築経験
- Airflow / MWAA での複雑ジョブ管理経験
- Delta Lake / Iceberg / Hudi を用いたデータレイクハウス設計経験
- Kinesis / Firehose / Pub/Sub などのストリーミング処理経験
- Python / Go / Java でのツール開発経験
稼働場所：
東京都（常駐）
その他：
業種：情報・通信・メディア
開始時期：相談
年齢制限：30代まで（外国籍不可）
勤務時間：10:00〜19:00
人数：1名
案件ID：345113
