新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:122件
| 業務内容：電力システムのSnowflake化対応業務基本設計から結合試験までの対応一部期間名古屋への出張あり(3カ月程度)フル常駐担当工程：基本設計結合試験必須スキル：・JAVAの開発経験・DB実務経験尚可スキル：・Linux実務経験・Snowflakeまたは、Hadoop(Spark)実務経験・電力系の業務経験、知識勤務地：兵庫県神戸市その他：・リモートワークなし・出張可能な方が高評価 |
| 業務内容：-DIH（DataIntegrationHub）からADF（AzureDataFactory)への移行作業-ADF移行方針決定、検証、連携テスト-DWH移行支援作業必要スキル：-AzureDataFactoryの設計経験-SQL（ストアドプロシージャ等）の設計経験歓迎スキル：-DataIntegrationHubの知識と経験-ApacheSparkやDatabricksの知識と経験-SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験勤務地：東京都中央区単価：～80万円※経験・知見により上乗せ相談可備考：週5フルリモート（開始2週間程度はフル出社） |
| 業務内容：DIHからAzureDataFactoryへの移行作業ADF移行方針決定、検証、連携テスト必要スキル：・AzureDataFactoryの設計経験・SQL（ストアドプロシージャ等）の設計経験歓迎スキル：・DataIntegrationHubの知識と経験・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験勤務地：東京都中央区その他：・期間：6月～長期・勤務時間：9時00分～18時00分・残業見込：0～10時間・テレワーク：週5※開始2週間程度はフル出社 |
| 業務内容：・DIH（DataIntegrationHub）からADF（AzureDataFactory)への移行作業・ADF移行方針決定、検証、連携テスト場所：東京都千代田区必要スキル：・AzureDataFactoryの設計経験・SQL（ストアドプロシージャ等）の設計経験歓迎スキル：・DataIntegrationHubの知識と経験・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験就業形態：週5フルリモート（開始2週間は出社）面談：オンライン面談 |
| 案件場所：東京都台東区テレワーク可（一部客先作業あり）業務内容：・DWH移行支援作業・DIH（DataIntegrationHub）からADF（AzureDataFactory)への移行作業・ADF移行方針決定、検証、連携テスト・AzureDataFactoryの設計・SQL（ストアドプロシージャ等）の設計必要スキル：・AzureDataFactoryの設計経験・SQL（ストアドプロシージャ等）の設計経験・コミュニケーションスキル歓迎スキル：・DataIntegrationHubの知識と経験・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験単価：70～75万円（スキル考慮）期間：2025年6月～7月面談：Web面談2回 |
| 業務内容：計算ライブラリの変更(spark→Snowflake)及び、オンプレ→クラウドの載せ替えを実施する開発業務-基本設計～結合試験-Javaプログラミング-Snowflake操作-Windows環境、LinuxOSでの作業担当工程：基本設計～結合試験勤務地：兵庫県神戸市※結合試験フェーズ時は愛知県名古屋市へ週3回の出張（約3ヶ月）必要スキル：-Javaの開発経験(5年以上)-DBを扱った実務経験(3年以上)歓迎スキル：-Linuxを扱った実務経験(1年以上)-Snowflakeまたは、Hadoop(spark)を扱った実務経験-電力系の知識プロジェクト規模：10名以上 |
| 業務内容：メガバンク向けAMLパッケージのカスタマイズ開発海外ベンダーパッケージ導入における日系パートナーとしての開発業務参画前にベンダーのデータエンジニア研修(2か月/英語)を受講場所：東京都担当工程：カスタマイズ開発必要スキル：・Java開発経験7年以上・ビジネスレベルの英語/日本語・日常会話レベルの英語力歓迎スキル：・ScalaまたはSpark開発経験・知識その他：・面談はWeb面談2回・面談では英語使用 |
| 業務内容：RDBで構築されたDWHの蓄積機能をBigQueryに移行する移行に向けて現行スクリプトの解析や移行設計を実施する作業場所：東京都千代田区（基本リモート、週1回出社）必要スキル：・SQLを利用したデータエンジニアリング経験(5年以上)・開発および設計経験歓迎スキル：・Python/spark・GCPに関する知識・リーダー経験期間：2025年5月～12月募集人数：1名備考：・6月以降に追加募集を予定 |
| 業務内容：求人検索サービスにおけるデータエンジニアとして以下の業務を担当・データパイプラインの設計/実装/運用・データウェアハウス(DWH)の設計/構築/運用・BIツールを活用したデータ可視化基盤の構築・データ品質管理、データガバナンスの整備担当工程：要件定義/設計/開発/運用保守スキル：【必須スキル】・DWH設計、構築経験・SQLを用いたデータ加工の実務経験・Python,Javaなどのプログラミング言語経験・クラウドサービス(AWS/GCP等)の実務経験【歓迎スキル】・Hadoop,Sparkなどの分散処理基盤の実務経験・データ分析基盤の設計/構築経験・BIツール(Tableau,Looker等)の実装経験・アジャイル開発経験勤務地：基本リモート単価：95万円以上 |
| 業務内容：キャリア会社のFraudManagementSystem(不正利用検知システム)の内製化案件。現行のパッケージ製品から自社開発への移行を行う。スケジュール：-2025年9月まで：アーキテキチャの検討、概算見積-2025年10月～：要件定義、技術検証-2026年4月～：設計／開発-2027年1月～：システムイン必須スキル：-PySpark/ApacheKafka/ApacheFlinkのいずれかの使用経験歓迎スキル：-バッチ系におけるETLアーキテクチャの検討経験-数億件レベルの大量データ処理アーキテクチャの検討経験-コンテナAPIの開発経験（k8s）-SPA（Single-pageapplication）のコンテナ構築に関する知見場所：東京都品川区（一部リモート可） |
| 業務内容：・AWS上での開発・Python開発・GitやCI/CD操作・データ収集/分析基盤の構築・アーキテクチャの選定・MLOps基盤など機械学習関連の業務必須スキル：・AWS上での開発経験・Python開発経験・Git操作・上流工程またはアーキテクチャ選定の経験歓迎スキル：・MLOps基盤など機械学習に関する基礎知識または経験・データ収集基盤、データ分析基盤などの基盤構築経験・SnowflakeなどDWHの設計経験・Pythonを利用したETL/ELT処理などのデータ加工経験・Terraform、CDK、Serverless、コンテナ/k8s、ApacheSparkなどの利用・構築経験・CI/CD環境構築経験就業場所：フルリモート単価：85万円 |
| 業務内容：キャリア向けFraudManagementSystem(不正利用検知システム)の内製化プロジェクト-バッチ系におけるETLアーキテクチャの検討-数億件レベルの大量データ処理アーキテクチャの検討-コンテナAPIの開発(k8s)-SPA(Single-pageapplication)のコンテナ構築必須スキル：-PySpark/ApacheKafka/ApacheFlinkのいずれかの使用経験歓迎スキル：-バッチ系におけるETLアーキテクチャの検討経験-数億件レベルの大量データ処理アーキテクチャの検討経験-コンテナAPIの開発経験（k8s）-SPA（Single-pageapplication）のコンテナ構築に関する知見場所：東京都品川区 |
| 業務内容：高速道路向け渋滞所要時間情報提供システムの既存機能における精度改善対応の開発担当工程：内部設計からシステム試験までの下流工程必要スキル：・Java・Scala（尚可）・ApacheSpark（尚可）場所：大阪府大阪市北区期間：2025年6月～2026年3月（翌年度延長の可能性あり） |
| 業務内容：AWS上に構築された大規模データ分析基盤の分析基盤高度化チームのメンバーとして従事。新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を実施。新サービス導入や課題改善では、技術検証、インフラ設計～リリースまで担当。運用保守では分析者からの問合せ/作業依頼/障害対応等を主に担当。担当工程：・技術検証・インフラ設計/構築・運用保守・障害対応必須スキル：・AWS等クラウドサービスを用いたインフラ設計・構築・運用経験・汎用プログラミング言語での開発経験(Python,node,Java,Goなど)・Linux、Windowsの基本操作、Gitの基本操作・作業手順書・利用者向けマニュアルなどの運用ドキュメント作成経験歓迎スキル：・AWSでのインフラ構築経験・要件定義の経験・ソースコード・設計書のレビュー経験・Terraform等のIaCツールの利用経験・Kubernetes、ECS、Docker等のコンテナ技術の利用経験・Spark等大規模データ処理用FWの運用経験・Databricks、Snowflakeなど大規模データ処理サービスの構築・運用・保守経験場所：東京都渋谷区期間：2023年5月から単価：60万円(目安) |
| 業務内容：新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を行うチームでの業務・AWSなどクラウドサービスを用いたインフラ設計・構築・運用・プログラミング(Python,Node.js,Java,Go等)・Linux、Windows、Gitの基本操作・運用ドキュメント作成・技術検証、インフラ設計～リリースまでの対応・分析者からの問合せ/作業依頼/障害対応場所：東京都渋谷区必要スキル：・AWS等クラウドサービスを用いたインフラ設計・構築・運用経験・プログラミング言語の開発経験(Python,Node.js,Java,Go等)・Linux、Windows、Gitの基本操作・運用ドキュメント作成経験歓迎スキル：・AWSでのインフラ構築経験・要件定義の経験・ソースコード・設計書のレビュー経験・Terraform等のIaCツール利用経験・Kubernetes、ECS、Docker等のコンテナ技術利用経験・Spark等大規模データ処理FWの運用経験・Databricks、Snowflake等の大規模データ処理サービスの構築・運用・保守経験単価：～50万勤務時間：9:00-18:00 |
| 業務内容：新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を行うチームで、技術検証、インフラ設計～リリースまでを担当。運用保守における問合せ/作業依頼/障害対応等も実施。・AWS等クラウドサービスを用いたインフラ設計・構築・運用・汎用プログラミング言語の開発（Python、Node、Java、Goなど）・Linux、Windowsの基本操作、Gitの基本操作・運用ドキュメント作成必要スキル：・AWS等クラウドサービスを用いたインフラ設計・構築・運用経験・汎用プログラミング言語の開発経験（Python、Node、Java、Goなど）・Linux、Windowsの基本操作、Gitの基本操作・作業手順書・利用者向けマニュアルなどの運用ドキュメント作成経験尚可スキル：・AWSでのインフラ構築経験・要件定義の経験・ソースコード・設計書のレビュー経験・Terraform等のIaCツールの利用経験・Kubernetes、ECS、Docker等のコンテナ技術の利用経験・Spark等大規模データ処理用FWの運用経験・Databricks、Snowflakeなど大規模データ処理サービスの構築・運用・保守経験勤務地：東京都渋谷区勤務時間：9:00-18:00 |
| 業務内容：・クラウドインフラの構築・運用業務・データ収集・分析基盤の構築業務・ETL/ELTによるデータ加工業務・AWS上での開発・Python開発・IaC(Terraform)を使用してクラウドインフラの構築・MLOpsなど機械学習関連業務・データ収集基盤、データ分析基盤の構築・ETL/ELT処理によるデータ加工・Terraform、CDK、Serverless、コンテナ/k8s、ApacheSparkなどの利用・構築必要スキル：・AWS上での開発経験・Python開発経験・Git操作・IaC(Terraformなど)を使用してクラウドインフラの構築経験尚可スキル：・MLOps基盤など機械学習に関する基礎知識または経験・データ収集基盤、データ分析基盤などの基盤構築経験・snowflakeなどのDWHの設計経験・Pythonなどを利用しETL/ELT処理などのデータ加工・Terraform、CDK、Serverless、コンテナ/k8s、ApacheSparkなどの利用・構築経験・CI/CD環境構築経験稼働場所：リモート勤務単価：85万円 |
| 業務内容：金融機関向けAMLパッケージのカスタマイズ開発海外ベンダー製品の日本市場向けカスタマイズ開発Java/Scala/Sparkを用いたシステム開発業務参画前に2か月程の英語オンライン研修あり場所：東京都必要スキル：・Java開発経験5年以上・ビジネスレベルの英語/日本語・ScalaまたはSpark開発経験、知識があれば尚可期間：2025年8月~予定特記事項：・金融機関の本番データを取り扱う案件・Web面談2回想定・参画前に2か月程データエンジニア研修(英語)を受講 |
| 業務内容：AWSクラウド環境での予防接種関連情報を管理・配信するシステムの開発・pythonを用いた開発・AWS上で動作するアプリケーションの開発・AWSサービス(S3、EventBridge、StepFunctions、Glue、CloudFormation)を利用した実装勤務地：東京都（リモートワークメイン）担当工程：上流工程(アーキテクト)必要スキル：・pythonを用いた開発経験・AWS上で動作するアプリケーションの開発経験・AWSの一般的なサービスに関する基礎知識・コミュニケーション力歓迎スキル：・ApachSparkを用いた開発経験や知見期間：2025年5月～2026年5月頃予定その他：・同案件の周辺システムの開発が複数あり、他案件にスライドし継続的に支援可能 |
| 業務内容：自動車・モビリティ関連のアプリケーション開発業務・Java(21)+SpringBootでのAPI開発・AmazonWorkspacesの自動構築、NW設定変更・Pythonでの開発・AWSでの開発・構築作業開発環境：・Java(SpringBoot)・Python・AWS・統合開発環境(Intellij,vsCode)・Git必須スキル：・Java(SpringBoot)での開発経験・Pythonでの開発経験・AWSでの開発・構築経験歓迎スキル：・Scala開発経験・Docker・Unix基本コマンド・Terraform・Kubernetes・ApacheSpark求める人物像：・新しい技術への取り組みに前向きな方・報連相ができる方・英語での技術調査に抵抗のない方勤務地：東京都※リモートワーク中心（プロジェクト開始時・リリース前は出社の可能性あり） |
| 業務内容：・大量のデータを扱うデータ基盤の設計・構築・運用・データパイプラインの構築・データ分析基盤の構築必要スキル：・データエンジニアとしての実務経験3年以上・Spark、Hadoop等のビッグデータ処理の知識・経験・クラウドサービス(AWS,GCP等)の利用経験尚可スキル：・機械学習、深層学習の知識環境：・基本リモート勤務・単価：95万円以上 |
| 業務内容：AWS上に構築されたDataLakeの運用保守開発。Datalake内のシステム及びデータの整備、要件確認の上での保守改修、課題整理、要件確認、設計、開発、テストを実施。・Java→Python言語変換・Python→Pythonリファクタリング(構造変換)場所：東京都港区必須スキル：・AWSサービス各種・Python経験(3年程度)、コードを読み解く力・Git、JIRA・Pyspark歓迎スキル：・APIを使用してシステムを構築した経験・databricks・DataBuildToolその他：・稼働開始：2025年4月中旬～・勤務時間：9:00～18:00(休憩1時間)・出社：週1回(金曜日) |
| 業務内容：・求人サイトに蓄積されたデータを分析するためのデータパイプラインの構築・運用・データの前処理や加工・高速でスケーラブルなデータパイプライン設計・クラウドベースのBigDataプラットフォーム設計・構築必要スキル：・PythonまたはScalaを使ったデータ処理の実務経験3年以上・Spark、Hadoop、Kafkaなどのビッグデータ処理ツールの経験・AWS、GCPなどのクラウドサービスの利用経験歓迎スキル：・機械学習やデータマイニングの知識・データウェアハウスやデータレイクの設計・構築経験勤務地：リモートワーク可能 |
| 業務内容：大手金融機関向けDatabricksを用いたデータエンジニアリング領域の開発。ETLパイプラインの量産開発と試験。勤務地：東京都千代田区必要スキル：・データ連携処理(Python、SQL、ジョブ)の開発経験・1人でタスク遂行可能歓迎スキル：・Pytestでのテスト経験・Databricks開発経験・Spark製品の経験・AWS/Azure/GCPサービスの開発経験 |
| 業務内容：物流会社向け会計パッケージの開発・保守担当工程：基本設計～結合テスト・保守開発環境：フロント:Javascript,Angular,HTMLサーバー:Java8,SpringBoot,Elasticsearch,ApacheSparkDB:AWSAurora,AWSDynamoDB,ApacheCassandraインフラ:AWSEC2,S3,EBS,ElastiCache必要スキル：・Java、JavaScript開発経験3年以上・JavaかJavaScriptどちらかの経験でも可・フロント、サーバーの両方に携われる方・詳細設計以降の経験がある方(開発のみ、テストのみは不可)単価：60万円~65万円場所：東京都(フルリモート)期間：2023年4月から面談：1回 |