新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:205件
| 業務内容：-Python/Pysparkによる信用リスクシステムの再構築-WBS作成、進捗・課題・メンバー管理、各種報告書作成-プロジェクト推進に関わる会議出席・報告-その他プロジェクト推進業務全般担当工程：要件定義、詳細設計、実装、テスト、運用保守スキル：必須：Pythonでの開発・保守経験、Pyspark経験、詳細設計以降のシステム開発経験、AWS上での開発経験尚可：なし稼働場所：東京都（リモート併用）その他：業種：金融・保険業（銀行・信託）／開始時期：随時／リモート勤務：週2〜3日程度可能 |
| 業務内容：-AWSGlue（ApacheSpark）を用いた分散ETLパイプラインの設計・実装・チューニング-S3／LakeFormationによるデータレイク管理・セキュリティ設計-GCPBigQuery環境の構築、データモデリング、パーティショニング・クラスタリングを含むクエリ最適化-AWS↔GCP間のデータ連携パイプラインの設計・最適化-TerraformによるマルチクラウドインフラのIaC管理-Airflow等を用いたワークフロー管理、CI/CDパイプライン整備、データ品質テストの自動化担当工程：設計、実装、テスト、運用スキル：必須：-AWS（S3、IAM、VPC等）でのインフラ構築・運用経験-AWSGlue（PySpark）によるETL開発とパフォーマンスチューニング-GCPBigQueryでの実務レベルSQL分析（パーティショニング、クラスタリング）経験-Terraformを用いたIaC実践（マルチクラウドまたは複数環境）経験-基本的なネットワーク・IAM設定の知識尚可：-LookerStudio等でのBIダッシュボード作成-ApacheAirflow／MWAAでの複雑ジョブ管理-データレイクハウス設計（DeltaLake、Iceberg、Hudi等）-Kinesis、Firehose、Pub/Sub等を用いたストリーミング処理経験-Pyth |
| 業務内容：AWS（ECS、StepFunctions等）を活用し、ADASデータの推論処理システムの検証・実装を行う。担当工程：要件検証、実装、デプロイ、テスト、運用支援。スキル：必須：スクラム開発経験、AWS（ECS、StepFunctions等）知見、Kubernetes知識、Python（PySpark、JupyterNotebook等）実務経験、Dockerfile作成・読解、機械学習アプリケーション知見、GitHubActionsコード作成・読解尚可：動画形式等の知識（Pythonベース）稼働場所：フルリモート（初回出社あり）その他：業種：情報・通信・メディア、開始時期：即日、募集枠：1名、年齢制限：なし、外国籍：不可、事業主：可 |
SQL／Python案件：AWS Glue活用リモート勤務 - 5日前に公開
| 業務内容：-Python（Redshift）からSparkSQLへの移行実装に伴う不具合修正-修正後のテスト実施-SQL実装（サブクエリ・外部結合）-AWSGlueジョブのGUI作成-AWS（S3、IAMロール等）の基本操作担当工程：-不具合修正およびテスト実施-SQL実装およびGlueジョブ作成スキル：必須：SQL実装経験（サブクエリ・外部結合構築可能）、Pythonコード解析・SQL化スキル、AWSGlueのGUIジョブ作成スキル、AWS基礎知識（S3、IAMロール等）、高いコミュニケーション能力尚可：Redshiftの知識、SparkSQLの知識稼働場所：東京都（リモート勤務）週4日リモート、初期2週間はオフィスへ出社その他：業種：製造業系（大手メーカー向けデータ利活用支援）プロジェクトは移行実装完了後の不具合修正フェーズ |
データエンジニア／AWS×GCPマルチクラウド ETL基盤構築・運用 - 5日前に公開
| 業務内容：-データレイクおよびETL基盤の設計・構築-AWSGlue（ApacheSpark）を用いた分散ETL開発・チューニング-S3/LakeFormationによるデータ管理・セキュリティ設計-GCPBigQueryを活用したデータウェアハウス環境整備・クエリ最適化-AWSとGCP間のデータ連携パイプラインの最適化-TerraformによるマルチクラウドIaCの構築・環境差分管理-Airflow等を用いたワークフロー管理・CI/CDパイプライン整備-データ品質テストの自動化担当工程：要件定義、設計、実装、テスト、運用・保守までの全工程スキル：必須：AWS（S3、IAM、VPC等）でのインフラ構築経験、GCP（BigQuery、IAM、ネットワーク）での構築経験、AWSGlue（PySpark）でのETL開発、BigQueryを用いた分析SQL実務経験、TerraformによるマルチクラウドIaC実践尚可：LookerStudio等によるBIダッシュボード構築、Airflow／MWAAでのジョブ管理、DeltaLake／Iceberg／Hudiを用いたデータレイクハウス設計、Kinesis／Firehose／Pub/Subでのストリーミング処理、Python／Go／Javaでのツール開発稼働場所：東京都（常駐勤務）その他：業種：情報・通信・メディア、 |
Databricks活用データレイク構築／運用支援・テレワーク併用 - 5日前に公開
| 業務内容：-データレイク（レイクハウス）構築-データ収集・加工の自動化-データ分析・活用PoC実施-BIツールによる可視化担当工程：要件定義、設計、構築、運用支援、PoC実施スキル：必須：Databricks実務経験、顧客要件定義経験、能動的に動く姿勢尚可：BIツール利用経験、データレイク構築経験、データパイプライン設計・運用経験、システム構成図・アーキテクチャ図設計、Terraform・ApacheSpark経験、AIモデル開発環境構築経験、AWS（S3,Athena,Glue,QuickSight,LakeFormation,Redshift,EMR,SageMaker）利用経験稼働場所：東京都（テレワーク併用、出社週2回）その他：業種：情報・通信・メディア、外国籍可、開始時期や詳細は相談に応じて決定 |
| 業務内容：-AWSGlue（PySpark）での分散ETL開発・チューニング-S3・LakeFormationを用いたデータガバナンス・セキュリティ設計-GCPBigQueryでのデータモデリング・クエリ最適化-AWS⇔GCP間のデータ連携フロー構築-Terraformによるマルチクラウド環境のIaC自動化-Airflow等でのワークフロー管理・CI/CD整備担当工程：設計、構築、テスト、運用支援スキル：必須：AWS（S3、IAM、VPC等）インフラ構築・運用経験、GCP（特にBigQuery）構築・運用経験、BigQuery実務レベルSQL経験（パーティショニング・クラスタリング）、AWSGlue（PySpark）でのETL開発・チューニング経験、TerraformによるIaC実践経験（マルチクラウド）尚可：Airflow等ワークフロー管理ツール使用経験、CI/CDパイプライン構築経験稼働場所：東京都（出社メイン）その他：業種：情報・通信・メディア、開始時期：随時、参画期間：長期（応相談） |
| 業務内容：-AWSデータ系サービスを活用したETLパイプラインの設計・構築・運用-Python、Shell、Spark/PySparkによる大規模データ処理-データウェアハウス（DWH）およびディメンション・ファクトモデルの設計-運用改善と運用チームのリード担当工程：-要件定義、設計、実装、テスト、運用保守スキル：必須：Python、Shell、Spark/PySparkでの大規模データ処理経験；AWSデータ系サービス（例：Glue、Redshift、S3等）を用いたETL自走開発経験；DWH・ディメンション・ファクトのデータモデル設計スキル；中国語（ビジネスレベル）と日本語（日常～ビジネスレベル）のバイリンガル能力尚可：Databricks利用経験；dbtによるモデル設計・開発経験；グローバルチームやオフショア案件の対応経験；Tableau等によるデータ可視化、DevOps・CI/CD構築経験稼働場所：東京都（リモート併用勤務）その他：業種：製造・小売業（大手）開始時期：2026年1月長期案件（2026年1月以降）外国籍の方も応募可スキル見合いの報酬 |
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue等）を活用した基盤の開発・運用-Python／PySparkによるデータパイプラインの構築-複数テーブルのJOINを含むSQL実装-StoredProcedureの開発・レビュー-情報系システムの運用支援、ジョブフロー設計書のレビュー-Gitを用いたチーム開発-TableauServerの構築・運用、TableauPrep／Desktopによる開発（尚可）-関係部署・関連チームとの調整担当工程：-設計、実装、テスト、運用保守全般スキル：必須：AWS（EventBridge、StepFunctions、Lambda、Glue等）での開発経験、AWS基盤（S3、EC2、ELB、SG等）の知識、Python開発経験、PySparkを用いたデータパイプライン構築経験、SQL（複数テーブルJOIN）実装経験、StoredProcedureの開発またはレビュー経験、Gitを用いたチーム開発経験、情報系システムの運用経験、ジョブフロー設計書のレビュー経験尚可：Snowflakeの利用経験、TableauServerの構築・保守運用経験、TableauPrep／Desktopによる開発経験、銀行系システムでの業務経験稼働場所：東京都（出社30％、在宅70％）。本番環境作業時は出 |
| 業務内容：-SAS基盤の信用リスクシステムをAWSGlueへ移行-Python・PySparkを用いた詳細設計、製造、テスト-Shellスクリプトによるバッチ開発-関係者との要件調整・コミュニケーション担当工程：詳細設計、製造、テスト、バッチ開発スキル：必須：Pythonでの詳細設計以降の実務経験、Shellスクリプト開発経験、AWS（Glueを含む）経験、関係者とのコミュニケーション力、自走力尚可：PySparkの実務経験稼働場所：東京都中野（リモート併用、週1～2日出社）その他：業種：金融・保険業（銀行・信託）プロジェクトは信用リスクシステムの統合・再構築開始時期は相談可能 |
| 業務内容：-PowerBIの設計・実装およびPythonを用いた保守改修-データ管理基盤の要件整理・開発支援（Python、DataBricks、Azure、Spark）-FAシステムの技術調査・要件定義・React・Goを用いた開発（Azure基盤）-GoogleWorkspace等からM365へのグループウェア統合支援と顧客折衝担当工程：要件定義・設計・実装・保守・運用・顧客折衝スキル：必須：PowerBI設計・実装経験、Python開発経験、React開発経験、Go開発経験、グループウェア移行経験、顧客折衝経験尚可：リーダー業務経験、PowerApps・M365の経験、Pandas・DataBricks開発経験、Azure・Sparkの実務経験稼働場所：大阪府堺東（バス約10分）・本町（リモート併用可）その他：業種：機械・重工業（農機具メーカー）就業時間：9:00‑17:30（昼休憩12:15‑13:00）開始時期：相談に応じて決定 |
| 業務内容：-既存データ分析基盤のリプレイスに向けた処理検討-機能詳細・データフロー図等の内部設計書作成-MicrosoftFabric上でPySparkを用いたETL開発およびテスト実施-インターフェース単位でのアジャイル的な進行管理担当工程：要件検討、基本設計、詳細設計、開発、テスト、リリーススキル：必須：Python（PySpark）での開発経験3年以上、MicrosoftSQLServerの取扱経験、MicrosoftFabricの使用経験、YAMLの取扱経験、基本設計・詳細設計の実務経験、アジャイル開発経験、コミュニケーション能力尚可：特になし稼働場所：東京都（テレワーク可、テスト実施時は開発拠点へ出社）その他：業種：保険業（生命保険）開始時期：相談に応じて外国籍不可プロジェクトはデータ分析基盤の刷新を目的 |
| 業務内容：-SAS基盤の信用リスクシステムをAWSGlueへ移行-Python/PySparkを用いたデータパイプラインの設計・実装-詳細設計、製造、テスト工程全般担当工程：詳細設計、製造、テストスキル：必須：Python実務経験、AWS実務経験、関係者との円滑なコミュニケーション力、自走力尚可：PySpark実務経験稼働場所：東京都（リモート併用、週2日程度）その他：業種：金融・保険業（銀行・信託等）開始時期：2026年1月〜長期 |
| 業務内容：-既存システムのリプレイスに向けた処理検討-機能詳細・データフロー図等の内部設計書執筆-MicrosoftFabric上でPySparkを用いたETL処理の実装・試験（Pythonライブラリ作成、I/F単位の処理実装）-アジャイル的にI/F単位で開発を推進担当工程：内部設計、実装、試験スキル：必須：PythonまたはPySparkでの開発経験3年以上、MicrosoftFabric・MicrosoftSQLServer・YAMLの実務経験、基本設計の理解と詳細設計作成、アジャイル開発経験、高いコミュニケーション能力と自発的行動尚可：クラウド基盤の運用経験、データウェアハウスやBIツールの知識稼働場所：東京都（テレワーク可、試験は開発拠点で実施）その他：業種：保険、プロジェクトは長期、開始時期は相談、外国籍は不可 |
SAS基盤統合／AWS再構築・Python実装／金融システム詳細設計 - 9日前に公開
| 業務内容：-金融機関・グループ企業間のSAS基盤統合-AWS上への再構築・移行対応-関係者調整、詳細設計、実装、テスト等の各工程担当担当工程：詳細設計、実装、テスト、関係者調整など全工程スキル：必須：システム開発経験（詳細設計以降）、コミュニケーション力、リーダーシップ力、自走力（主体的に動けること）尚可：リーダー／サブリーダー等のチームマネジメント経験、Python（PySpark）およびクラウド関連システムの開発・保守経験稼働場所：東京都（リモート週2日程度）その他：業種：金融・保険業（銀行・信託等）プロジェクトは長期で、開始時期は相談の上決定勤務時間：9:00‑18:00対象年齢上限45歳まで、外国籍不可、2名募集 |
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue等）を用いた次期情報系基盤の開発・運用強化-PySparkによるデータパイプライン構築、SQL／StoredProcedureの設計・レビュー-S3、EC2、SecurityGroup、ELB等インフラリソースの設定・最適化-情報系システムのジョブフロー設計書レビュー担当工程：要件定義、設計、実装、テスト、運用保守スキル：必須：AWS実務経験（EventBridge、StepFunctions、Lambda、Glue）、S3・EC2・SecurityGroup・ELB基礎知識、DB設計・StoredProcedureレビュー経験、複数テーブルJOINを伴うSQL実装、Python開発経験、PySparkによるデータパイプライン構築、Gitを用いたチーム開発経験、情報系システムの運用経験尚可：SnowflakeのStoredProcedure開発経験、TableauServerの構築・保守・運用経験、TableauPrep／Desktopの開発経験稼働場所：東京都（出社70～80％・在宅20～30％）その他：業種：金融・保険業（銀行・信託）勤務時間：9:00～18:00服装：私服／ビジネスカジュアル年齢上限：52歳まで募集人数：1名開始時期：相談に応じて |
| 業務内容：-AWSGlue（ApacheSpark）による分散処理・ETL開発-S3・LakeFormationを活用したデータガバナンス・セキュリティ設計-GCPBigQueryを用いたデータモデリング・クエリ最適化-AWSからGCPへのデータ連携フロー構築-Terraformによるマルチクラウド環境の自動化-Airflow等を用いたワークフロー管理とCI/CD整備-データ基盤全体のアーキテクチャ設計支援担当工程：設計、構築、運用、保守、CI/CDパイプライン構築、オーケストレーションスキル：必須：AWS（S3、IAM、VPC等）のインフラ構築・運用経験、GCP（BigQuery、IAM、ネットワーク設定）経験、BigQueryでの分析SQL（パーティショニング/クラスタリング）経験、AWSGlue（PySpark）でのETL開発・チューニング経験、TerraformによるIaC実践経験（マルチクラウド）尚可：大規模データ基盤の設計・運用経験、Airflow等のオーケストレーションツール使用経験、CI/CDパイプライン構築経験稼働場所：関東（リモート勤務相談可）その他：業種：情報・通信・メディア、データ基盤構築案件、開始時期は相談可能、長期参画歓迎 |
AI SaaS データ分析・AI活用プロジェクト／データサイエンティスト募集 - 10日前に公開
| 業務内容：-生成AIプラットフォームの利用ログや業務データの分析・可視化-ユーザー行動・離脱率・機能利用状況の分析-AIモデル出力データの品質評価（精度・誤答率・業務貢献度）-Pythonによるデータ前処理・統計解析・特徴量抽出-顧客向けレポート・経営層向けダッシュボード設計-BIツールでの可視化・レポーティング-AIエンジニア・ビジネス部門との協働による施策立案・モデル改善支援担当工程：-データ抽出・前処理-分析・モデリング-可視化・レポート作成-モデル評価・改善提案スキル：必須：Python（pandas,NumPy,scikit-learn,matplotlib等）による実務経験3年以上、SQL（MySQL/PostgreSQL/Redshift等）でのデータ抽出・分析経験、BIツールまたはJupyter等を用いたデータ可視化・レポーティング経験、基本的な機械学習手法（回帰・分類等）の実装経験、ビジネス課題の整理と分析テーマ設定経験尚可：QuickSight,Tableau,Looker等でのダッシュボード構築経験、AWS（S3,Athena,Glue,Redshift,SageMaker等）上でのデータ基盤活用経験、Spark・EMR等を用いた大規模データ処理経験、A/Bテストやプロダクト改善に結びつく分析経験、顧客折衝・レポーティング業務経験稼働場所：フルリ |
| 業務内容：-データレイク・ETL基盤の設計・構築・運用-AWSGlue（ApacheSpark）を用いた分散処理・ETL開発-S3・LakeFormationによるデータ管理・セキュリティ設計-BigQueryを活用したDWH環境整備・データモデリング・クエリ最適化-AWS↔GCP間のデータ連携パイプラインの構築・最適化-TerraformによるマルチクラウドIaC実装・環境差分管理・自動化-Airflow等を用いたワークフロー管理とCI/CDパイプライン整備-データ品質テストの自動化担当工程：-要件定義、設計、実装、テスト、運用・保守スキル：必須：-AWS（S3・IAM・VPC等）でのインフラ構築・運用経験-GCP（特にBigQuery・IAM・ネットワーク設定）での構築経験-BigQueryを用いた分析SQL実務経験（パーティショニング・クラスタリング含む）-AWSGlue（PySpark）でのETL開発・パフォーマンスチューニング経験-TerraformによるIaC実践（マルチクラウドまたは複数環境）尚可：-LookerStudio等によるBIダッシュボード構築-Airflow／MWAAでのジョブ管理経験-DeltaLake・Iceberg・Hudi等を活用したデータレイクハウス設計-Kinesis／Firehose／Pub/Sub等のストリーミン |
AWS/GCPハイブリッド基盤データエンジニア／長期プロジェクト - 11日前に公開
| 業務内容：-AWSGlue（ApacheSpark）を用いた分散処理・ETL開発-S3／LakeFormationによるデータレイク管理・セキュリティ設計-BigQueryを活用したデータウェアハウス構築、データモデリング、クエリ最適化-AWSとGCP間のデータ連携パイプラインの設計・最適化-Terraformによるマルチクラウド環境のIaC管理・自動化-Airflow等を用いたワークフロー管理、CI/CDパイプライン整備-データ品質テストの自動化担当工程：要件定義、基盤設計、ETL実装、パフォーマンスチューニング、運用保守、CI/CD構築スキル：必須：AWS（S3、IAM、VPC等）でのインフラ構築・運用経験、GCP（特にBigQuery）での構築・IAM・ネットワーク設定経験、BigQueryでの分析SQL実務経験、AWSGlue（PySpark）でのETL開発・パフォーマンスチューニング、TerraformでのマルチクラウドIaC実践経験尚可：LookerStudio等によるBIダッシュボード構築、Airflow／MWAAでのジョブ管理、DeltaLake／Iceberg／Hudiを用いたデータレイクハウス設計、Kinesis／Firehose／Pub/Sub等のストリーミング処理経験、Python／Go／Javaでのツール開発稼働場所：東京都（現 |
| 業務内容：-DWH/ETL基盤のクラウドリフト（事前調査・PoC実装）-Oracle・DB2・DataStage環境からAWS（主にAWSGlue）への移行-バッチ処理・ETLジョブ設計、データモデリング等担当工程：-要件調査・設計-PoC実装・検証-移行設計・実装支援スキル：必須：DWH/ETL開発経験（データ移行・モダナイゼーション）、Oracleまたは他RDBのSQL開発・運用経験、AWSGlueでの開発経験（Java/Spark）、バッチ処理・ETLジョブ設計経験、基本的なクラウド知識、チームでの協調作業尚可：SnowflakeまたはDatabricks利用経験、DataStageの知識、DWH設計（データモデリング・性能設計）、データ分析基盤構築経験、CI/CD・IaCの基本理解稼働場所：東京都（宮崎台付近）初日および週1回程度出社（リモート作業可）その他：業種：情報・通信・メディア／データ基盤構築、開始時期：2025年1月頃、期間：長期、人数：1名、勤務時間：9:00〜17:45 |
| 業務内容：-Python（Redshift）からSparkSQLへの移行実装コードの不具合修正-修正後の動作確認・テスト実施-AWSGlueを用いたETLジョブの作成・運用支援担当工程：-コード解析・修正-テスト実施-ETLジョブ構築支援スキル：必須：SQL（サブクエリ・外部結合）実装経験、Python（Redshift）コード解析能力、AWSGlueの操作経験、AWS基本知識（S3、IAM等）、コミュニケーション力尚可：RedshiftとSparkSQLの知識またはいずれかの経験稼働場所：東京都（リモート可、キャッチアップ期間はオフィス出社、以降は週1回出社）その他：業種：情報・通信・メディア、データ利活用支援、短期（即日開始～1月）プロジェクト、リモート作業可、サポートあり |
データ利活用支援／PythonからSparkSQLへの移行・不具合修正 - 12日前に公開
| 業務内容：Python（Redshift）からSparkSQLへの移行に伴う不具合修正およびテストを実施し、SQL実装やAWSGlueジョブ作成を行います。担当工程：要件分析、コード読解、SQL変換、ジョブ作成、単体テスト、統合テスト、問題修正。スキル：必須：SQL実装経験（サブクエリ・外部結合構築可能）、Pythonによるデータ解析・コード読解能力、AWS基礎知識（S3、IAMロール等）、AWSGlueでのジョブ作成経験、コミュニケーション能力尚可：Redshiftの知識、SparkSQLの知識稼働場所：東京都、週4回リモート勤務（開始初期2週間は出社が必要）その他：製造業系プロジェクト、開始時期は相談可能、外国籍不可 |
AI検証環境構築／AWS・Databricks導入・データ加工支援 - 12日前に公開
| 業務内容：-AI製品の導入支援および環境構築フォロー-AWS上でのDatabricks基盤の構築・運用-データ加工要件定義、設計、実装支援-Databricks上でのデータパイプライン開発（機械学習バッチ含む）-顧客折衝、資料作成、ベンダ調整担当工程：要件定義、設計、構築、運用、データパイプライン開発、機械学習バッチ実装、顧客折衝スキル：必須：AWS上でのDatabricks構築・運用経験、AI関連のAWS環境構築経験、Pythonでのデータ加工経験、機械学習バッチ処理実装経験、プロジェクトリーダーまたはPMO経験、顧客折衝・資料作成経験、英語資料読解能力（翻訳ツール使用可）尚可：PySparkでのデータ加工経験、Databricks操作経験、AI製品への知見習得意欲稼働場所：東京都（テレワーク中心、必要に応じてオフィス出社）その他：業種：情報・通信・メディア、開始時期：2025年1月、期間：2025年1月～2026年3月（以降継続の可能性あり） |
| 業務内容：-既存データ分析基盤のETLツールをPython（PySpark）とMicrosoftFabricへ置き換えるための処理検討-機能詳細やデータフロー図等を含む内部設計書の作成-MicrosoftFabric上でのPySparkを用いたETL開発・製造・試験-I/F単位でのアジャイル的進行管理担当工程：基本設計、詳細設計、実装、テスト（単体・結合）スキル：必須：PythonまたはPySparkでの開発経験（3年以上）、MicrosoftSQLServerの利用経験、MicrosoftFabricの実務経験、YAMLの取り扱い経験、基本設計の理解と詳細設計作成経験、アジャイル開発経験、コミュニケーション能力が高く自発的に行動できること尚可：なし稼働場所：東京都（テレワーク可、試験は開発拠点で出社）その他：保険業界のデータ分析基盤リプレイスプロジェクト、長期案件、開始時期は要相談、アジャイル方式で推進 |