新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:205件
データ活用基盤構築・運用／Databricks経験者募集／東京（リモート併用） - 12日前に公開
| 業務内容：-データレイク（レイクハウス）構築-データ収集・加工自動化-データ分析・活用PoC-BIツールによるデータ可視化-要件定義、設計、開発、テスト、リリース、稼働後フォロー担当工程：要件定義、設計、開発、テスト、リリース、運用保守スキル：必須：Databricksでの実務経験、顧客要件定義経験、能動的に業務を推進できる姿勢尚可：BIツール利用経験、データレイク構築経験、データパイプライン設計・運用経験、システム構成図・アーキテクチャ設計経験、TerraformやApacheSparkの利用経験、AIモデル開発環境構築経験、AWS（S3,Athena,Glue,QuickSight,LakeFormation,Redshift,EMR,SageMaker）利用経験稼働場所：東京（千代田区）出社週2回、テレワーク併用その他：業種：情報・通信・メディア、開始：2025年12月、長期プロジェクト、外国籍可 |
生命保険データ分析基盤構築／統合CRM開発・PMOサポート - 15日前に公開
| 業務内容：-既存システムリプレイスに向けた処理検討-ETL設計書（機能詳細・データフロー図等）作成-MicrosoftFabricとPySparkを用いたETL開発・試験（Pythonライブラリ作成含む）-I/F単位でのアジャイル的進行管理-各種報告資料作成・更新、工数管理、会議コーディネート、議事録作成、ドキュメント管理担当工程：PMOサポート、要件定義・内部設計、ETL開発・テスト、進行管理、ドキュメント管理スキル：必須：対人コミュニケーション能力（顧客・リーダ層との折衝）／PMO業務またはプロジェクト進行管理経験／ETL設計・実装経験／Python（特にPySpark）使用経験／MicrosoftFabricの基礎知識尚可：データ分析基盤構築経験／CRMシステム開発・保守経験稼働場所：東京都（テレワーク可、試験は開発拠点に出社）その他：業種：保険業（金融・保険業）／募集人数：1名 |
| 業務内容：-AWS環境の構築-運用改善提案・試験・最適化-Glue/Lambdaを用いたデータ変換処理の実装-パラメータチューニング・パフォーマンス調整担当工程：-設計、構築、テスト、運用改善提案、パフォーマンスチューニングスキル：必須：AWSインフラ構築経験、パラメータチューニング経験、運用改善提案または試験経験、自発的なコミュニケーション能力尚可：Glue/Lambda実装経験、Python・PySpark経験稼働場所：東京都（リモート中心、週3～4日リモート、出社は相談）その他：業種：情報・通信・メディア（通信キャリア向け）、開始時期：相談に応じて |
| 業務内容：-SAS基盤の統合設計および詳細設計-AWS上への再構築・移行作業-関係者調整およびテスト実施担当工程：-設計（統合設計・詳細設計）-実装（AWS環境構築・Python開発）-移行（データ・システム移行）-テスト（結合テスト・受入テスト）-調整（ステークホルダーとの調整）スキル：必須：AWS環境でのPython実務経験、高いコミュニケーション力、自走できる主体性尚可：Python（PySpark）経験、クラウド系システムの開発・保守経験稼働場所：東京都中野（リモート週2日程度）その他：業種：金融・保険業（信用リスクシステム）プロジェクト開始時期：2025年1月予定プロジェクト期間：2025年1月～2026年9月（継続予定）対象レベル：PGレベル勤務時間：9時～18時リモート勤務可（週2日程度） |
| 業務内容：-生成AIプラットフォームの利用ログや業務データを用いたデータ分析・可視化-ユーザー行動・離脱率・機能利用状況の分析-AIモデル出力データの品質評価（精度・誤答率・業務貢献度）-Pythonによるデータ前処理、統計解析、特徴量抽出-顧客向けレポート・経営層向けダッシュボード設計-BIツール（QuickSight、Tableau、Looker等）を活用した可視化・レポーティング-AIエンジニア・ビジネス部門との協働による施策立案・モデル改善支援担当工程：-要件定義、データ取得・前処理、分析・モデリング、レポート作成、ダッシュボード構築、改善提案スキル：必須：Pythonでのデータ分析実務経験（pandas,NumPy,scikit-learn,matplotlib等）、SQLによるデータ抽出・集計経験（MySQL,PostgreSQL,Redshift等）、BIツールまたはJupyter等を用いた可視化・レポーティング経験、統計分析・機械学習手法（回帰・分類等）の実装経験、ビジネス課題を整理し分析テーマに落とし込んだ経験尚可：QuickSight、Tableau、Looker等のダッシュボード構築経験、AWS上でのデータ基盤活用経験（S3,Athena,Glue,Redshift,SageMaker等）、Spark・EMR等を用いた大規規模データ処理経験、A/ |
通信会社向けAI検証環境構築／Databricks基盤構築・機械学習バッチ開発 - 18日前に公開
| 業務内容：-AI製品の導入支援および検証環境の構築-AWS上にDatabricks基盤を構築し、データパイプラインを開発-機械学習バッチ処理の実装・テスト-データ加工要件定義・設計・実装（Python／Pyspark）-ベンダー調整、資料作成、顧客折衝担当工程：要件定義、基本設計、詳細設計、実装、テスト、環境構築、ベンダー調整、資料作成、顧客折衝スキル：必須：AWS環境構築経験（設計・実装）、Databricks操作経験、Pythonでのデータ加工経験、要件定義・設計・実装経験、顧客折衝・資料作成経験、データ加工開発のリーダーまたはPMO経験尚可：Pysparkでのデータ加工経験、機械学習バッチ開発経験稼働場所：東京都豊洲（基本テレワーク）その他：業種：情報・通信・メディア、開始時期：2025年12月、期間：2025年12月～2026年3月（以降スライドの可能性あり）、人数：1名 |
| 業務内容：Python、DataBricks、Azure、Sparkを活用し、データ管理基盤の運用・保守・開発支援を行います。要件整理や企画支援も含みます。担当工程：運用、保守、開発支援（要件整理・企画支援）スキル：必須：Pythonによる開発経験尚可：Pandas、DataBricksの開発経験稼働場所：大阪府（現地）その他：業種：機械・重工業（農機具メーカー）開始時期：相談 |
| 業務内容：-ODSおよびData‑Hubの設計・実装-AWSGlue、StepFunctions、EMR、Lambda等を用いたETL/ELTパイプライン構築-バッチ処理、ストリーミング処理、API連携の実装-PythonまたはSparkを使用した開発担当工程：基本設計、詳細設計、実装、テストスキル：必須：DWH/ODS開発経験、ETL/ELTパイプライン設計・実装経験、AWS（Glue、StepFunctions、EMR、Lambda）での開発経験、データベース操作経験、バッチ/ストリーミング/API連携実装経験、PythonまたはSparkでの実務経験5年以上尚可：特になし稼働場所：東京都内常駐（リモート可否は要相談）その他：業種：情報・通信・メディア開始時期：2025年12月開始予定（12月開始可能な方優先）外国籍エンジニア歓迎 |
自動車業界向けデータ分析基盤構築／AWS・生成AI活用R&D／テレワーク中心 - 22日前に公開
| 業務内容：AWS（EC2、Glue、Lambda、S3、ElastiCache、EMR、EKS、StepFunctions）上でのデータ分析基盤の設計・構築・運用を担当。Kubernetes、Snowflake、ApacheSparkを用いたデータ加工・蓄積・維持管理、Python・Scala・Javaによるアプリケーション開発を実施。生成AIとRAG検索を活用した自動運転支援等の研究開発（LLM活用）も行う。担当工程：要件定義、アーキテクチャ設計、インフラ構築、データパイプライン実装、アプリケーション開発、テスト、運用・保守、R&Dプロトタイプ作成（アジャイル開発）。スキル：必須：生成AI・RAG検索に関する知見、PythonまたはScala・Javaでの開発経験、AWS環境構築経験、英語情報サイトでの技術調査能力、アジャイル開発経験尚可：若手歓迎、パブリッククラウド学習中でも可稼働場所：東京都（テレワーク中心、PC準備期間中のみ数日間出社）その他：業種：自動車・輸送機器、プロジェクト開始は相談に応じて決定、フルリモート勤務が基本、勤務時間は9:00〜18:00（休憩1時間） |
AI検証環境構築／Databricks活用・AWS上でのデータパイプライン開発 - 23日前に公開
| 業務内容：-AI製品導入支援および検証環境構築のフォロー-データ整理・加工要件定義と設計支援-AWS上にDatabricks基盤を構築-Databricks上でデータパイプライン及び機械学習バッチ処理を開発担当工程：要件定義・設計・実装・テスト・運用支援スキル：必須：-AWS環境でのAI関連基盤構築経験（要件定義・設計・実装）-顧客折衝および資料作成・ベンダー調整経験-データ加工プロジェクトのリーダーまたはPMO経験-Pythonによるデータ加工の設計・実装・テスト経験-機械学習バッチ処理の実装経験-自主的に作業を遂行できる姿勢尚可：-Pysparkを用いたデータ加工経験-Databricks操作経験稼働場所：東京都（テレワーク中心、必要に応じて拠点利用）その他：業種：情報・通信・メディア業界向けプロジェクト開始時期：2025年12月開始予定期間：数か月程度の案件、以降継続の可能性ありリモート：基本テレワーク、フルリモート可 |
| 業務内容：-生成AI（ChatGPT等）を活用した法人向けプラットフォームの利用ログ・業務データの分析・可視化-ユーザー行動、離脱率、機能利用状況の分析-AIモデル出力データの品質評価（精度・誤答率・業務貢献度）-Pythonによるデータ前処理、統計解析、特徴量抽出-顧客向けレポート・経営層向けダッシュボード設計-BIツール（QuickSight、Tableau、Looker等）での可視化・レポーティング-AIエンジニア・ビジネス部門との協働による施策立案・モデル改善支援担当工程：データ抽出・前処理、分析・モデリング、可視化・レポート作成、施策提案スキル：必須：Python（pandas,NumPy,scikit-learn,matplotlib等）での実務経験3年以上、SQL（MySQL,PostgreSQL,Redshift等）でのデータ抽出・集計経験、BIツールまたはJupyter等での可視化・レポーティング経験、基本的な機械学習手法（回帰・分類等）の実装経験、ビジネス課題の整理と分析テーマ設定経験尚可：QuickSight、Tableau、Looker等でのダッシュボード構築、AWS（S3,Athena,Glue,Redshift,SageMaker等）上でのデータ基盤活用、SparkやEMR等の大規模データ処理経験、A/Bテストやプロダクト改善に結びつく分析 |
| 業務内容：データ管理基盤の企画支援、要件整理、Pythonを用いた開発支援、DataBricks・Azure・Spark環境の保守・運用担当工程：企画、要件定義、設計、実装、テスト、保守・運用スキル：必須：Python開発経験尚可：Pandas開発経験、DataBricks開発経験稼働場所：大阪府その他：業種：機械・重工業（農機具メーカー向け）開始時期：相談可能 |
| 業務内容：-AI製品の導入支援およびDatabricksを用いたPoC環境の構築-AWS上でのDatabricks基盤構築、データパイプライン開発、機械学習バッチ処理実装-データ加工要件定義・設計・実装、資料作成・ベンダー折衝-金融系システムの保守・運用、仕様変更対応、Shell／SQLスクリプト作成・修正・テスト、Linux運用担当工程：要件定義、基本設計、詳細設計、実装、テスト、リリース、保守運用、ベンダー調整、資料作成スキル：必須：-AWS環境構築経験（設計・実装）-Databricks構築・操作経験（基盤構築・データ加工）-データ加工開発経験（要件定義・設計・実装）-PythonまたはPySparkでのデータ処理経験-機械学習バッチ処理開発経験-Shell/SQLスクリプト作成・修正・テスト経験-Linux運用経験-顧客折衝、資料作成経験-1人称で作業を遂行できること尚可：-PySparkでの大規模データ加工経験-金融系（証券）業務の開発・保守経験-運用保守全般の経験稼働場所：東京都（テレワーク中心、必要に応じて出社）※金融系保守は週1回早出出社ありその他：業種は情報・通信・メディア領域と金融・保険領域の横断プロジェクトです。開始時期は相談に応じます。日本国籍の方が対象となります。 |
| 業務内容：-AI製品の導入支援およびデータ整理支援-AI製品環境構築のフォロー、ベンダ調整、ノウハウ蓄積-データ加工要件定義・設計・実装支援-AWS上にDatabricksを構築-Databricksでのデータパイプライン開発（機械学習バッチ処理を含む）担当工程：要件定義、基本設計、詳細設計、実装、ベンダ調整、テスト、運用支援スキル：必須：AWS環境構築経験（S3、IAM、RedShift等）、Databricks構築経験、Pythonによるデータ加工実装経験、機械学習バッチ処理作成経験、顧客折衝・資料作成・ベンダ調整経験、データ加工リーダーまたはPMO経験、単独で作業を遂行できること尚可：Pysparkでのデータ加工経験、Databricks操作経験稼働場所：東京都（テレワーク中心）その他：業種：情報・通信・メディア、期間：2025年12月〜2026年3月、人数：各1名 |
| 業務内容：-AWS上にDatabricksを構築-Databricksでデータパイプライン開発-機械学習バッチ処理の実装担当工程：-基盤設計・構築-データ加工ロジック設計・実装・テスト-バッチ処理実装スキル：必須：-AWS環境構築経験（S3、IAM、RedShiftまたは各種DB、VPC）-Pythonによるデータ加工経験（設計・実装・テスト）-機械学習バッチ処理作成経験-1人で作業を遂行できること尚可：-PySparkでのデータ加工経験-Databricks操作経験（参画後に習得可）稼働場所：東京都（テレワーク中心）その他：-業種：情報・通信・メディア-リモート案件-開始時期は相談 |
| 業務内容：・AI製品の導入支援・データ整理・加工支援・顧客折衝（製品説明資料作成・ベンダ調整）・英語資料の読解（翻訳ツール使用可）担当工程：要件定義、設計、実装、データ加工開発、顧客折衝スキル：必須：AI関連のAWS環境構築経験（要件定義・設計・実装）、データ加工開発のリーダーまたはPMO経験、データ加工開発経験、1人称で作業を遂行できること尚可：Pysparkでのデータ加工経験、Databricksの操作経験（参画後に習得可）稼働場所：東京都（テレワーク中心）その他：業種：情報・通信・メディア（通信会社向け案件）、リモート案件 |
| 業務内容：・現行データ分析基盤（Talend・RedShift）の課題抽出・クラウドベースのデータ分析アーキテクチャの検討・大量データバッチ処理の改善点抽出・設計担当工程：・調査・要件定義・設計スキル：必須：大量データを処理するバッチシステムの設計経験、Talend・RedShiftの課題抽出経験尚可：ApacheSparkの実務経験稼働場所：東京都（リモート併用）その他：業種：情報・通信・メディア（データ分析領域）開始時期：相談外国籍不可 |
| 業務内容：-企画支援（現状調査、現場ヒアリング支援）-要件整理支援（機能・非機能要件の取りまとめ）-開発支援（Python・DataBricks・Azure・Sparkを用いた実装）担当工程：-運用・保守-企画・要件定義-開発実装スキル：必須：Pythonでの開発経験（2年以上）尚可：Pandasでの開発経験、DataBricksでの開発経験稼働場所：大阪府その他：業種：機械・重工業（農機具メーカー）開始時期：2026年1月開始予定 |
| 業務内容：AWS上のデータウェアハウス（DWH）システムの保守・開発。ApacheIceberg・Glue（PySpark）等を活用したデータ処理基盤の運用。担当工程：保守、機能追加、バッチ処理開発、CI/CDパイプライン構築支援など。スキル：必須：クラウド環境での開発・保守経験、Python（3年以上）、SQL、Git、顧客折衝経験尚可：リーダー経験（3～4名規模）、バッチ系システム開発・保守経験、クラウドインフラ構築経験、CI/CDパイプライン構築・運用経験稼働場所：東京都（恵比寿）在宅勤務併用可能その他：業種：情報・通信・メディア（データ基盤領域）開始時期：12月～年齢制限：50歳代まで外国籍不可 |
| 業務内容：-生成AIプラットフォームの利用ログ・業務データの分析・可視化-ユーザー行動・離脱率・機能利用状況の分析-AIモデル出力データの品質評価（精度・誤答率・業務貢献度）-Pythonによるデータ前処理・統計解析・特徴量抽出-顧客向けレポート・経営層向けダッシュボード設計-BIツール（QuickSight、Tableau、Looker等）を用いた可視化・レポーティング-AIエンジニア・ビジネス部門との協働による施策立案・モデル改善支援担当工程：データ抽出・前処理、統計解析、機械学習モデル評価、可視化・ダッシュボード作成、レポート作成、施策提案スキル：必須：Pythonでのデータ分析実務経験（pandas、NumPy、scikit-learn、matplotlib等）SQL（MySQL／PostgreSQL／Redshift等）によるデータ抽出・集計経験BIツールまたはJupyter等を用いたデータ可視化・レポーティング経験統計分析・機械学習手法（回帰・分類等）の実装経験ビジネス課題を整理し、分析テーマに落とし込んだ実務経験尚可：QuickSight、Tableau、Looker等でのダッシュボード構築経験AWS（S3、Athena、Glue、Redshift、SageMaker等）上でのデータ基盤活用経験Spark／EMR等の大規模データ処理基盤経験A/Bテストや |
| 業務内容：-DataLake内のシステム・データ整備-ユーザー要件確認、保守改修課題整理-要件定義、設計、開発、テスト担当工程：要件定義、基本設計、詳細設計、実装、テスト、運用保守スキル：必須：AWSGlue、StepFunctions、Athena、S3、Lambda、Notebook等のデータ系サービス、Python、PySpark(API)尚可：Databricksの利用経験、データウェアハウス設計経験、CI/CD環境構築経験など稼働場所：東京都（週1～2回の現場出社、残りはリモート勤務）その他：業種：保険業界向けデータ基盤構築プロジェクト開始時期：2025年12月開始予定、長期プロジェクト就業時間：9:00〜18:00（休憩1時間） |
| 業務内容：-PalantirFoundry（Slate、Workshop、CodeRepositories）上での画面改修・新規作成-データパイプラインの改修・新規作成（PythonPyspark）-JavaScript/TypeScript、HTML、CSSを用いたフロントエンド実装-要件定義からリリースまでのフェーズを担当担当工程：要件定義、設計、実装、テスト、リリーススキル：必須：TypeScriptまたはJavaScriptとCSSの実務経験、RDBに関する知識・経験、Pythonの実務経験（未経験の場合は他言語経験でキャッチアップ可）、自立的にタスクを遂行できるコミュニケーション能力尚可：Pysparkを用いたデータ加工経験、大規模データ統合・分析基盤の開発経験稼働場所：東京都（テレワーク、将来的に出社の可能性あり）その他：業種：情報・通信・メディア、データ統合・分析基盤、開始時期：2025年12月から長期想定 |
| 業務内容：-PalantirFoundry（Slate、Workshop、CodeRepositories）上のダッシュボード・ツール群の改修および新規作成-JavaScript、TypeScript、HTML、CSS、Python（PySpark）を用いたフロントエンド実装とデータ加工ロジックの実装-要件定義から設計、実装、テスト、リリースまでの全工程を担当担当工程：要件定義、基本設計、詳細設計、実装、単体テスト、結合テスト、リリース作業スキル：必須：TypeScriptまたはJavaScriptの実務経験、CSSの実務経験、RDB（リレーショナルデータベース）に関する知識・経験、Pythonの実務経験（未経験でも他言語経験でキャッチアップ可、主にPySparkを使用）尚可：なし稼働場所：東京（基本テレワーク）、将来的に新宿オフィスへの出社の可能性ありその他：業種：情報・通信・メディア、作業開始時期：2025年12月から、募集人数：1名、日本国内在住者限定、チームメンバーと双方向コミュニケーションを取りながら自立的にタスクを遂行できることが求められます。 |
| 業務内容：-データレイク（レイクハウス）構築-データパイプライン設計・運用-BIツールによるデータ可視化・PoC実施-要件定義からリリース後のフォローまで一貫担当-Terraform、ApacheSpark、AWS各種サービスを用いた基盤構築担当工程：要件定義、設計、開発、テスト、リリース、運用・保守スキル：必須：AWS（S3、Athena、Glue、QuickSight、LakeFormation）実務経験、Terraform実務経験、ApacheSpark実務経験、データレイク構築経験、データパイプライン設計・運用経験、BIツール利用経験、顧客との要件定義経験、システム構成図・アーキテクチャ図作成経験、能動的に自ら動ける姿勢尚可：AIモデル開発環境構築経験、AWSRedshift・EMR・SageMaker利用経験稼働場所：東京都、出社週2回、テレワーク併用その他：情報・通信・メディア分野の長期プロジェクト、開始時期は2025年12月頃、外国籍可、長期継続が見込まれる |
| 業務内容：-Databricks環境でのPysparkコード修正-パフォーマンスチューニング実施-改修後のテスト・検証担当工程：-実装-テストスキル：必須：Pysparkのコーディング経験、Pysparkでのパフォーマンスチューニング経験尚可：DatabricksでのPyspark開発経験（未経験でも学習可能）稼働場所：フルリモートその他：業種：流通・小売業／コンビニエンスストア開始時期：12月開始、長期想定人数：1名 |