新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:192件
| 業務内容：-既存システムのリプレイスに向けた処理検討-機能詳細・データフロー図等の内部設計書執筆-MicrosoftFabric上でPySparkを用いたETL処理の実装・試験（Pythonライブラリ作成、I/F単位の処理実装）-アジャイル的にI/F単位で開発を推進担当工程：内部設計、実装、試験スキル：必須：PythonまたはPySparkでの開発経験3年以上、MicrosoftFabric・MicrosoftSQLServer・YAMLの実務経験、基本設計の理解と詳細設計作成、アジャイル開発経験、高いコミュニケーション能力と自発的行動尚可：クラウド基盤の運用経験、データウェアハウスやBIツールの知識稼働場所：東京都（テレワーク可、試験は開発拠点で実施）その他：業種：保険、プロジェクトは長期、開始時期は相談、外国籍は不可 |
SAS基盤統合／AWS再構築・Python実装／金融システム詳細設計 - 本日01:24公開
| 業務内容：-金融機関・グループ企業間のSAS基盤統合-AWS上への再構築・移行対応-関係者調整、詳細設計、実装、テスト等の各工程担当担当工程：詳細設計、実装、テスト、関係者調整など全工程スキル：必須：システム開発経験（詳細設計以降）、コミュニケーション力、リーダーシップ力、自走力（主体的に動けること）尚可：リーダー／サブリーダー等のチームマネジメント経験、Python（PySpark）およびクラウド関連システムの開発・保守経験稼働場所：東京都（リモート週2日程度）その他：業種：金融・保険業（銀行・信託等）プロジェクトは長期で、開始時期は相談の上決定勤務時間：9:00‑18:00対象年齢上限45歳まで、外国籍不可、2名募集 |
AWS データエンジニア／大手ネット銀行／Python・PySpark活用 - 昨日19:08公開
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue等）を用いた次期情報系基盤の開発・運用強化-PySparkによるデータパイプライン構築、SQL／StoredProcedureの設計・レビュー-S3、EC2、SecurityGroup、ELB等インフラリソースの設定・最適化-情報系システムのジョブフロー設計書レビュー担当工程：要件定義、設計、実装、テスト、運用保守スキル：必須：AWS実務経験（EventBridge、StepFunctions、Lambda、Glue）、S3・EC2・SecurityGroup・ELB基礎知識、DB設計・StoredProcedureレビュー経験、複数テーブルJOINを伴うSQL実装、Python開発経験、PySparkによるデータパイプライン構築、Gitを用いたチーム開発経験、情報系システムの運用経験尚可：SnowflakeのStoredProcedure開発経験、TableauServerの構築・保守・運用経験、TableauPrep／Desktopの開発経験稼働場所：東京都（出社70～80％・在宅20～30％）その他：業種：金融・保険業（銀行・信託）勤務時間：9:00～18:00服装：私服／ビジネスカジュアル年齢上限：52歳まで募集人数：1名開始時期：相談に応じて |
ハイブリッドデータ基盤構築／AWS×GCP／Terraform・BigQuery実装 - 昨日01:48公開
| 業務内容：-AWSGlue（ApacheSpark）による分散処理・ETL開発-S3・LakeFormationを活用したデータガバナンス・セキュリティ設計-GCPBigQueryを用いたデータモデリング・クエリ最適化-AWSからGCPへのデータ連携フロー構築-Terraformによるマルチクラウド環境の自動化-Airflow等を用いたワークフロー管理とCI/CD整備-データ基盤全体のアーキテクチャ設計支援担当工程：設計、構築、運用、保守、CI/CDパイプライン構築、オーケストレーションスキル：必須：AWS（S3、IAM、VPC等）のインフラ構築・運用経験、GCP（BigQuery、IAM、ネットワーク設定）経験、BigQueryでの分析SQL（パーティショニング/クラスタリング）経験、AWSGlue（PySpark）でのETL開発・チューニング経験、TerraformによるIaC実践経験（マルチクラウド）尚可：大規模データ基盤の設計・運用経験、Airflow等のオーケストレーションツール使用経験、CI/CDパイプライン構築経験稼働場所：関東（リモート勤務相談可）その他：業種：情報・通信・メディア、データ基盤構築案件、開始時期は相談可能、長期参画歓迎 |
AI SaaS データ分析・AI活用プロジェクト／データサイエンティスト募集 - 昨日00:36公開
| 業務内容：-生成AIプラットフォームの利用ログや業務データの分析・可視化-ユーザー行動・離脱率・機能利用状況の分析-AIモデル出力データの品質評価（精度・誤答率・業務貢献度）-Pythonによるデータ前処理・統計解析・特徴量抽出-顧客向けレポート・経営層向けダッシュボード設計-BIツールでの可視化・レポーティング-AIエンジニア・ビジネス部門との協働による施策立案・モデル改善支援担当工程：-データ抽出・前処理-分析・モデリング-可視化・レポート作成-モデル評価・改善提案スキル：必須：Python（pandas,NumPy,scikit-learn,matplotlib等）による実務経験3年以上、SQL（MySQL/PostgreSQL/Redshift等）でのデータ抽出・分析経験、BIツールまたはJupyter等を用いたデータ可視化・レポーティング経験、基本的な機械学習手法（回帰・分類等）の実装経験、ビジネス課題の整理と分析テーマ設定経験尚可：QuickSight,Tableau,Looker等でのダッシュボード構築経験、AWS（S3,Athena,Glue,Redshift,SageMaker等）上でのデータ基盤活用経験、Spark・EMR等を用いた大規模データ処理経験、A/Bテストやプロダクト改善に結びつく分析経験、顧客折衝・レポーティング業務経験稼働場所：フルリ |
| 業務内容：-データレイク・ETL基盤の設計・構築・運用-AWSGlue（ApacheSpark）を用いた分散処理・ETL開発-S3・LakeFormationによるデータ管理・セキュリティ設計-BigQueryを活用したDWH環境整備・データモデリング・クエリ最適化-AWS↔GCP間のデータ連携パイプラインの構築・最適化-TerraformによるマルチクラウドIaC実装・環境差分管理・自動化-Airflow等を用いたワークフロー管理とCI/CDパイプライン整備-データ品質テストの自動化担当工程：-要件定義、設計、実装、テスト、運用・保守スキル：必須：-AWS（S3・IAM・VPC等）でのインフラ構築・運用経験-GCP（特にBigQuery・IAM・ネットワーク設定）での構築経験-BigQueryを用いた分析SQL実務経験（パーティショニング・クラスタリング含む）-AWSGlue（PySpark）でのETL開発・パフォーマンスチューニング経験-TerraformによるIaC実践（マルチクラウドまたは複数環境）尚可：-LookerStudio等によるBIダッシュボード構築-Airflow／MWAAでのジョブ管理経験-DeltaLake・Iceberg・Hudi等を活用したデータレイクハウス設計-Kinesis／Firehose／Pub/Sub等のストリーミン |
AWS/GCPハイブリッド基盤データエンジニア／長期プロジェクト - 4日前に公開
| 業務内容：-AWSGlue（ApacheSpark）を用いた分散処理・ETL開発-S3／LakeFormationによるデータレイク管理・セキュリティ設計-BigQueryを活用したデータウェアハウス構築、データモデリング、クエリ最適化-AWSとGCP間のデータ連携パイプラインの設計・最適化-Terraformによるマルチクラウド環境のIaC管理・自動化-Airflow等を用いたワークフロー管理、CI/CDパイプライン整備-データ品質テストの自動化担当工程：要件定義、基盤設計、ETL実装、パフォーマンスチューニング、運用保守、CI/CD構築スキル：必須：AWS（S3、IAM、VPC等）でのインフラ構築・運用経験、GCP（特にBigQuery）での構築・IAM・ネットワーク設定経験、BigQueryでの分析SQL実務経験、AWSGlue（PySpark）でのETL開発・パフォーマンスチューニング、TerraformでのマルチクラウドIaC実践経験尚可：LookerStudio等によるBIダッシュボード構築、Airflow／MWAAでのジョブ管理、DeltaLake／Iceberg／Hudiを用いたデータレイクハウス設計、Kinesis／Firehose／Pub/Sub等のストリーミング処理経験、Python／Go／Javaでのツール開発稼働場所：東京都（現 |
| 業務内容：-DWH/ETL基盤のクラウドリフト（事前調査・PoC実装）-Oracle・DB2・DataStage環境からAWS（主にAWSGlue）への移行-バッチ処理・ETLジョブ設計、データモデリング等担当工程：-要件調査・設計-PoC実装・検証-移行設計・実装支援スキル：必須：DWH/ETL開発経験（データ移行・モダナイゼーション）、Oracleまたは他RDBのSQL開発・運用経験、AWSGlueでの開発経験（Java/Spark）、バッチ処理・ETLジョブ設計経験、基本的なクラウド知識、チームでの協調作業尚可：SnowflakeまたはDatabricks利用経験、DataStageの知識、DWH設計（データモデリング・性能設計）、データ分析基盤構築経験、CI/CD・IaCの基本理解稼働場所：東京都（宮崎台付近）初日および週1回程度出社（リモート作業可）その他：業種：情報・通信・メディア／データ基盤構築、開始時期：2025年1月頃、期間：長期、人数：1名、勤務時間：9:00〜17:45 |
| 業務内容：-Python（Redshift）からSparkSQLへの移行実装コードの不具合修正-修正後の動作確認・テスト実施-AWSGlueを用いたETLジョブの作成・運用支援担当工程：-コード解析・修正-テスト実施-ETLジョブ構築支援スキル：必須：SQL（サブクエリ・外部結合）実装経験、Python（Redshift）コード解析能力、AWSGlueの操作経験、AWS基本知識（S3、IAM等）、コミュニケーション力尚可：RedshiftとSparkSQLの知識またはいずれかの経験稼働場所：東京都（リモート可、キャッチアップ期間はオフィス出社、以降は週1回出社）その他：業種：情報・通信・メディア、データ利活用支援、短期（即日開始～1月）プロジェクト、リモート作業可、サポートあり |
データ利活用支援／PythonからSparkSQLへの移行・不具合修正 - 5日前に公開
| 業務内容：Python（Redshift）からSparkSQLへの移行に伴う不具合修正およびテストを実施し、SQL実装やAWSGlueジョブ作成を行います。担当工程：要件分析、コード読解、SQL変換、ジョブ作成、単体テスト、統合テスト、問題修正。スキル：必須：SQL実装経験（サブクエリ・外部結合構築可能）、Pythonによるデータ解析・コード読解能力、AWS基礎知識（S3、IAMロール等）、AWSGlueでのジョブ作成経験、コミュニケーション能力尚可：Redshiftの知識、SparkSQLの知識稼働場所：東京都、週4回リモート勤務（開始初期2週間は出社が必要）その他：製造業系プロジェクト、開始時期は相談可能、外国籍不可 |
AI検証環境構築／AWS・Databricks導入・データ加工支援 - 5日前に公開
| 業務内容：-AI製品の導入支援および環境構築フォロー-AWS上でのDatabricks基盤の構築・運用-データ加工要件定義、設計、実装支援-Databricks上でのデータパイプライン開発（機械学習バッチ含む）-顧客折衝、資料作成、ベンダ調整担当工程：要件定義、設計、構築、運用、データパイプライン開発、機械学習バッチ実装、顧客折衝スキル：必須：AWS上でのDatabricks構築・運用経験、AI関連のAWS環境構築経験、Pythonでのデータ加工経験、機械学習バッチ処理実装経験、プロジェクトリーダーまたはPMO経験、顧客折衝・資料作成経験、英語資料読解能力（翻訳ツール使用可）尚可：PySparkでのデータ加工経験、Databricks操作経験、AI製品への知見習得意欲稼働場所：東京都（テレワーク中心、必要に応じてオフィス出社）その他：業種：情報・通信・メディア、開始時期：2025年1月、期間：2025年1月～2026年3月（以降継続の可能性あり） |
| 業務内容：-既存データ分析基盤のETLツールをPython（PySpark）とMicrosoftFabricへ置き換えるための処理検討-機能詳細やデータフロー図等を含む内部設計書の作成-MicrosoftFabric上でのPySparkを用いたETL開発・製造・試験-I/F単位でのアジャイル的進行管理担当工程：基本設計、詳細設計、実装、テスト（単体・結合）スキル：必須：PythonまたはPySparkでの開発経験（3年以上）、MicrosoftSQLServerの利用経験、MicrosoftFabricの実務経験、YAMLの取り扱い経験、基本設計の理解と詳細設計作成経験、アジャイル開発経験、コミュニケーション能力が高く自発的に行動できること尚可：なし稼働場所：東京都（テレワーク可、試験は開発拠点で出社）その他：保険業界のデータ分析基盤リプレイスプロジェクト、長期案件、開始時期は要相談、アジャイル方式で推進 |
| 業務内容：-データレイク（レイクハウス）構築-データ収集・加工自動化-データ分析・活用PoC-BIツールによるデータ可視化-要件定義、設計、開発、テスト、リリース、稼働後フォロー担当工程：要件定義、設計、開発、テスト、リリース、運用保守スキル：必須：Databricksでの実務経験、顧客要件定義経験、能動的に業務を推進できる姿勢尚可：BIツール利用経験、データレイク構築経験、データパイプライン設計・運用経験、システム構成図・アーキテクチャ設計経験、TerraformやApacheSparkの利用経験、AIモデル開発環境構築経験、AWS（S3,Athena,Glue,QuickSight,LakeFormation,Redshift,EMR,SageMaker）利用経験稼働場所：東京（千代田区）出社週2回、テレワーク併用その他：業種：情報・通信・メディア、開始：2025年12月、長期プロジェクト、外国籍可 |
生命保険データ分析基盤構築／統合CRM開発・PMOサポート - 8日前に公開
| 業務内容：-既存システムリプレイスに向けた処理検討-ETL設計書（機能詳細・データフロー図等）作成-MicrosoftFabricとPySparkを用いたETL開発・試験（Pythonライブラリ作成含む）-I/F単位でのアジャイル的進行管理-各種報告資料作成・更新、工数管理、会議コーディネート、議事録作成、ドキュメント管理担当工程：PMOサポート、要件定義・内部設計、ETL開発・テスト、進行管理、ドキュメント管理スキル：必須：対人コミュニケーション能力（顧客・リーダ層との折衝）／PMO業務またはプロジェクト進行管理経験／ETL設計・実装経験／Python（特にPySpark）使用経験／MicrosoftFabricの基礎知識尚可：データ分析基盤構築経験／CRMシステム開発・保守経験稼働場所：東京都（テレワーク可、試験は開発拠点に出社）その他：業種：保険業（金融・保険業）／募集人数：1名 |
| 業務内容：-AWS環境の構築-運用改善提案・試験・最適化-Glue/Lambdaを用いたデータ変換処理の実装-パラメータチューニング・パフォーマンス調整担当工程：-設計、構築、テスト、運用改善提案、パフォーマンスチューニングスキル：必須：AWSインフラ構築経験、パラメータチューニング経験、運用改善提案または試験経験、自発的なコミュニケーション能力尚可：Glue/Lambda実装経験、Python・PySpark経験稼働場所：東京都（リモート中心、週3～4日リモート、出社は相談）その他：業種：情報・通信・メディア（通信キャリア向け）、開始時期：相談に応じて |
| 業務内容：-SAS基盤の統合設計および詳細設計-AWS上への再構築・移行作業-関係者調整およびテスト実施担当工程：-設計（統合設計・詳細設計）-実装（AWS環境構築・Python開発）-移行（データ・システム移行）-テスト（結合テスト・受入テスト）-調整（ステークホルダーとの調整）スキル：必須：AWS環境でのPython実務経験、高いコミュニケーション力、自走できる主体性尚可：Python（PySpark）経験、クラウド系システムの開発・保守経験稼働場所：東京都中野（リモート週2日程度）その他：業種：金融・保険業（信用リスクシステム）プロジェクト開始時期：2025年1月予定プロジェクト期間：2025年1月～2026年9月（継続予定）対象レベル：PGレベル勤務時間：9時～18時リモート勤務可（週2日程度） |
| 業務内容：-生成AIプラットフォームの利用ログや業務データを用いたデータ分析・可視化-ユーザー行動・離脱率・機能利用状況の分析-AIモデル出力データの品質評価（精度・誤答率・業務貢献度）-Pythonによるデータ前処理、統計解析、特徴量抽出-顧客向けレポート・経営層向けダッシュボード設計-BIツール（QuickSight、Tableau、Looker等）を活用した可視化・レポーティング-AIエンジニア・ビジネス部門との協働による施策立案・モデル改善支援担当工程：-要件定義、データ取得・前処理、分析・モデリング、レポート作成、ダッシュボード構築、改善提案スキル：必須：Pythonでのデータ分析実務経験（pandas,NumPy,scikit-learn,matplotlib等）、SQLによるデータ抽出・集計経験（MySQL,PostgreSQL,Redshift等）、BIツールまたはJupyter等を用いた可視化・レポーティング経験、統計分析・機械学習手法（回帰・分類等）の実装経験、ビジネス課題を整理し分析テーマに落とし込んだ経験尚可：QuickSight、Tableau、Looker等のダッシュボード構築経験、AWS上でのデータ基盤活用経験（S3,Athena,Glue,Redshift,SageMaker等）、Spark・EMR等を用いた大規規模データ処理経験、A/ |
通信会社向けAI検証環境構築／Databricks基盤構築・機械学習バッチ開発 - 11日前に公開
| 業務内容：-AI製品の導入支援および検証環境の構築-AWS上にDatabricks基盤を構築し、データパイプラインを開発-機械学習バッチ処理の実装・テスト-データ加工要件定義・設計・実装（Python／Pyspark）-ベンダー調整、資料作成、顧客折衝担当工程：要件定義、基本設計、詳細設計、実装、テスト、環境構築、ベンダー調整、資料作成、顧客折衝スキル：必須：AWS環境構築経験（設計・実装）、Databricks操作経験、Pythonでのデータ加工経験、要件定義・設計・実装経験、顧客折衝・資料作成経験、データ加工開発のリーダーまたはPMO経験尚可：Pysparkでのデータ加工経験、機械学習バッチ開発経験稼働場所：東京都豊洲（基本テレワーク）その他：業種：情報・通信・メディア、開始時期：2025年12月、期間：2025年12月～2026年3月（以降スライドの可能性あり）、人数：1名 |
| 業務内容：Python、DataBricks、Azure、Sparkを活用し、データ管理基盤の運用・保守・開発支援を行います。要件整理や企画支援も含みます。担当工程：運用、保守、開発支援（要件整理・企画支援）スキル：必須：Pythonによる開発経験尚可：Pandas、DataBricksの開発経験稼働場所：大阪府（現地）その他：業種：機械・重工業（農機具メーカー）開始時期：相談 |
| 業務内容：-ODSおよびData‑Hubの設計・実装-AWSGlue、StepFunctions、EMR、Lambda等を用いたETL/ELTパイプライン構築-バッチ処理、ストリーミング処理、API連携の実装-PythonまたはSparkを使用した開発担当工程：基本設計、詳細設計、実装、テストスキル：必須：DWH/ODS開発経験、ETL/ELTパイプライン設計・実装経験、AWS（Glue、StepFunctions、EMR、Lambda）での開発経験、データベース操作経験、バッチ/ストリーミング/API連携実装経験、PythonまたはSparkでの実務経験5年以上尚可：特になし稼働場所：東京都内常駐（リモート可否は要相談）その他：業種：情報・通信・メディア開始時期：2025年12月開始予定（12月開始可能な方優先）外国籍エンジニア歓迎 |
自動車業界向けデータ分析基盤構築／AWS・生成AI活用R&D／テレワーク中心 - 15日前に公開
| 業務内容：AWS（EC2、Glue、Lambda、S3、ElastiCache、EMR、EKS、StepFunctions）上でのデータ分析基盤の設計・構築・運用を担当。Kubernetes、Snowflake、ApacheSparkを用いたデータ加工・蓄積・維持管理、Python・Scala・Javaによるアプリケーション開発を実施。生成AIとRAG検索を活用した自動運転支援等の研究開発（LLM活用）も行う。担当工程：要件定義、アーキテクチャ設計、インフラ構築、データパイプライン実装、アプリケーション開発、テスト、運用・保守、R&Dプロトタイプ作成（アジャイル開発）。スキル：必須：生成AI・RAG検索に関する知見、PythonまたはScala・Javaでの開発経験、AWS環境構築経験、英語情報サイトでの技術調査能力、アジャイル開発経験尚可：若手歓迎、パブリッククラウド学習中でも可稼働場所：東京都（テレワーク中心、PC準備期間中のみ数日間出社）その他：業種：自動車・輸送機器、プロジェクト開始は相談に応じて決定、フルリモート勤務が基本、勤務時間は9:00〜18:00（休憩1時間） |
AI検証環境構築／Databricks活用・AWS上でのデータパイプライン開発 - 16日前に公開
| 業務内容：-AI製品導入支援および検証環境構築のフォロー-データ整理・加工要件定義と設計支援-AWS上にDatabricks基盤を構築-Databricks上でデータパイプライン及び機械学習バッチ処理を開発担当工程：要件定義・設計・実装・テスト・運用支援スキル：必須：-AWS環境でのAI関連基盤構築経験（要件定義・設計・実装）-顧客折衝および資料作成・ベンダー調整経験-データ加工プロジェクトのリーダーまたはPMO経験-Pythonによるデータ加工の設計・実装・テスト経験-機械学習バッチ処理の実装経験-自主的に作業を遂行できる姿勢尚可：-Pysparkを用いたデータ加工経験-Databricks操作経験稼働場所：東京都（テレワーク中心、必要に応じて拠点利用）その他：業種：情報・通信・メディア業界向けプロジェクト開始時期：2025年12月開始予定期間：数か月程度の案件、以降継続の可能性ありリモート：基本テレワーク、フルリモート可 |
| 業務内容：-生成AI（ChatGPT等）を活用した法人向けプラットフォームの利用ログ・業務データの分析・可視化-ユーザー行動、離脱率、機能利用状況の分析-AIモデル出力データの品質評価（精度・誤答率・業務貢献度）-Pythonによるデータ前処理、統計解析、特徴量抽出-顧客向けレポート・経営層向けダッシュボード設計-BIツール（QuickSight、Tableau、Looker等）での可視化・レポーティング-AIエンジニア・ビジネス部門との協働による施策立案・モデル改善支援担当工程：データ抽出・前処理、分析・モデリング、可視化・レポート作成、施策提案スキル：必須：Python（pandas,NumPy,scikit-learn,matplotlib等）での実務経験3年以上、SQL（MySQL,PostgreSQL,Redshift等）でのデータ抽出・集計経験、BIツールまたはJupyter等での可視化・レポーティング経験、基本的な機械学習手法（回帰・分類等）の実装経験、ビジネス課題の整理と分析テーマ設定経験尚可：QuickSight、Tableau、Looker等でのダッシュボード構築、AWS（S3,Athena,Glue,Redshift,SageMaker等）上でのデータ基盤活用、SparkやEMR等の大規模データ処理経験、A/Bテストやプロダクト改善に結びつく分析 |
| 業務内容：データ管理基盤の企画支援、要件整理、Pythonを用いた開発支援、DataBricks・Azure・Spark環境の保守・運用担当工程：企画、要件定義、設計、実装、テスト、保守・運用スキル：必須：Python開発経験尚可：Pandas開発経験、DataBricks開発経験稼働場所：大阪府その他：業種：機械・重工業（農機具メーカー向け）開始時期：相談可能 |
| 業務内容：-AI製品の導入支援およびDatabricksを用いたPoC環境の構築-AWS上でのDatabricks基盤構築、データパイプライン開発、機械学習バッチ処理実装-データ加工要件定義・設計・実装、資料作成・ベンダー折衝-金融系システムの保守・運用、仕様変更対応、Shell／SQLスクリプト作成・修正・テスト、Linux運用担当工程：要件定義、基本設計、詳細設計、実装、テスト、リリース、保守運用、ベンダー調整、資料作成スキル：必須：-AWS環境構築経験（設計・実装）-Databricks構築・操作経験（基盤構築・データ加工）-データ加工開発経験（要件定義・設計・実装）-PythonまたはPySparkでのデータ処理経験-機械学習バッチ処理開発経験-Shell/SQLスクリプト作成・修正・テスト経験-Linux運用経験-顧客折衝、資料作成経験-1人称で作業を遂行できること尚可：-PySparkでの大規模データ加工経験-金融系（証券）業務の開発・保守経験-運用保守全般の経験稼働場所：東京都（テレワーク中心、必要に応じて出社）※金融系保守は週1回早出出社ありその他：業種は情報・通信・メディア領域と金融・保険領域の横断プロジェクトです。開始時期は相談に応じます。日本国籍の方が対象となります。 |