- TOP >
- studio の案件
- > データエンジニア/AWS×GCP/マルチクラウド
求人・案件情報
データエンジニア/AWS×GCP/マルチクラウドIaC構築
本日 13時44分 に公開
業務内容:データレイク・ETL基盤の構築
AWS Glue(Apache Spark)による分散処理
S3・Lake Formationを用いたデータ管理・セキュリティ設計
BigQueryベースのDWH環境整備
AWS↔GCP間データ連携パイプラインの最適化
BigQueryによるデータモデリング・クエリ最適化
TerraformによるマルチクラウドIaC管理
環境差分管理・自動化、品質管理・運用効率化
Airflow等によるワークフロー管理とCI/CD整備
データ品質テストの自動化
担当工程:
要件定義・設計
構築・実装
テスト・検証
運用・保守
スキル:
必須:
AWS(S3・IAM・VPC等)でのインフラ構築・運用経験
GCP(BigQuery・IAM・ネットワーク)での構築経験
BigQueryを用いた分析SQL実務経験(パーティショニング・クラスタリング)
AWS Glue(PySpark)でのETL開発・パフォーマンスチューニング
TerraformによるIaC実践(マルチクラウドまたは複数環境)
尚可:
Looker Studio等によるBIダッシュボード構築
Airflow/MWAAでの複雑ジョブ管理
Delta Lake・Iceberg・Hudi等を用いたデータレイクハウス設計
Kinesis・Firehose・Pub/Sub等のストリーミング処理
Python・Go・Javaでのツール開発
稼働場所:
東京都内(常駐)
その他:
業種:情報・通信・メディア
年齢制限:30代まで
開始時期:要相談
求める人物像:課題発見・自律的に遂行できる方
案件ID:350962
