求人・案件情報
データエンジニア/Databricks PySpark Scala/Azure
本日 12時08分 に公開
業務内容:- Databricks(PySpark, Scala)環境のパフォーマンス最適化
- 大規模データ(数億行規模)の処理実装・改修
- Azure データ基盤のパフォーマンス改善
- 保守・構成管理およびリファクタリング
担当工程:
要件定義、設計、実装、テスト、保守、パフォーマンスチューニング
スキル:
必須:DatabricksでのPySpark・Scalaコーディング、Sparkクラスタチューニング、Hadoop/Sparkを用いた大規模データ処理経験
尚可:Azure Data Factory・SQL Database・Functions・DevOps等の構築・運用経験、Azureインフラ(VNet, Private Link, Load Balancer等)の知識、Transact‑SQLによるクエリ最適化、Python・PowerShellなどのスクリプト作成、GitHub等によるソースコード管理
稼働場所:
神奈川県(開始時は週3回出社、以降は週1回出社)
その他:
業種:自動車・輸送機器(トラック製造販売メーカー向け物流可視化基盤)
開始時期:3月開始予定
募集人数:1名
案件ID:351491
