求人・案件情報
AWS/GCPハイブリッド基盤データエンジニア／Glue・PySpark ETL・BigQueryモデリング／東京都
昨日 14時24分 に公開
業務内容：- AWS Glue（Apache Spark）を用いた分散ETLパイプラインの設計・実装・チューニング
- S3／Lake Formationによるデータレイク管理・セキュリティ設計
- GCP BigQuery環境の構築、データモデリング、パーティショニング・クラスタリングを含むクエリ最適化
- AWS ↔ GCP 間のデータ連携パイプラインの設計・最適化
- TerraformによるマルチクラウドインフラのIaC管理
- Airflow等を用いたワークフロー管理、CI/CDパイプライン整備、データ品質テストの自動化
担当工程：
設計、実装、テスト、運用
スキル：
必須：
- AWS（S3、IAM、VPC等）でのインフラ構築・運用経験
- AWS Glue（PySpark）によるETL開発とパフォーマンスチューニング
- GCP BigQueryでの実務レベルSQL分析（パーティショニング、クラスタリング）経験
- Terraformを用いたIaC実践（マルチクラウドまたは複数環境）経験
- 基本的なネットワーク・IAM設定の知識
尚可：
- Looker Studio等でのBIダッシュボード作成
- Apache Airflow／MWAAでの複雑ジョブ管理
- データレイクハウス設計（Delta Lake、Iceberg、Hudi等）
- Kinesis、Firehose、Pub/Sub等を用いたストリーミング処理経験
- Python、Go、Javaでのツール開発経験
稼働場所：
東京都
その他：
- 業種：情報・通信・メディア
- 開始時期：2024年1月または2月開始予定
- ハイブリッドクラウド（AWS＋GCP）基盤構築プロジェクトへの参画
案件ID：334829
