新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:213件
| 業務内容：-Databricks（PySpark,Scala）環境のパフォーマンス最適化-大規模データ処理の実装・改修-Azureデータ基盤のパフォーマンス改善-保守・構成管理およびリファクタリング担当工程：-要件確認・設計-実装・テスト-パフォーマンスチューニング-運用保守スキル：必須：DatabricksでのPySpark・Scalaコーディング、コードチューニング、Sparkクラスタ構造・最適化、大規模データ（数億行規模）取扱経験尚可：Azureデータ基盤構築・運用（DataFactory,SQLServer,Databricks等）、Azureインフラ知識（VNet,PrivateLink等）、Transact‑SQLによるクエリチューニング、Python・PowerShellスクリプト、GitHubによるソース管理稼働場所：神奈川県（初月は週3回出社、以降は週1回出社、リモート可）その他：業種：自動車・輸送機器（トラック製造販売メーカー向け物流可視化基盤）開始時期：2025年3月開始予定プロジェクトは既に数名がアサイン済みで、迅速な立ち上げが求められる外国籍不可 |
| 業務内容：-AWS基盤（EventBridge、StepFunctions、Lambda、Glue、S3、EC2、SG、ELB）を用いた開発・運用支援-データパイプラインの整備・高度化（PySpark）-AWSサービス連携の最適化-情報系業務フロー改善-基盤の開発・運用・保守全般担当工程：開発、運用、保守スキル：必須：AWS（EventBridge、StepFunctions、Lambda、Glue）での開発経験、S3・EC2・SG・ELB等の基盤知識、Python開発経験、PySparkでのデータパイプライン構築経験、SQL実装（複数テーブルJOIN）経験、StoredProcedureのレビュー・開発経験、Gitを用いたチーム開発経験、情報系システムまたは運用経験、ジョブフロー設計書のレビュー経験尚可：Snowflake利用経験、TableauServerの構築・保守運用経験、TableauPrep・Desktopでの開発経験稼働場所：東京都（リモート併用、在宅20～30％、出社70～80％）その他：業種：金融（銀行）情報系システム、開始時期：即日または相談可能、就業時間：9:00～18:00、服装：私服またはビジネスカジュアル |
金融機関信用リスクシステム統合／AWS再構築・Python-PySpark対応 - 10日前に公開
| 業務内容：-Python/PySparkを用いた信用リスクシステムの再構築およびAWSへの移行-WBS作成等タスク整理、進捗・課題管理、各種報告書作成-プロジェクト推進に関わる会議出席・報告-プロジェクト推進業務全般担当工程：要件定義、詳細設計、実装、テスト、運用、プロジェクト管理スキル：必須：Python開発経験、AWS上での開発経験、詳細設計以降を含むシステム開発経験尚可：AWSGlueの使用経験、PySparkの実務経験、リーダー／サブリーダー等のチームマネジメント経験稼働場所：東京都（リモート併用、週に2～3日程度）その他：業種：銀行・信託、開始時期：即日開始可能 |
データエンジニア募集／AWS活用データパイプライン開発・リモート併用 - 10日前に公開
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue、S3、EC2、SecurityGroup、ELB）を用いた基盤の設計・開発・運用-Python・PySparkによるデータパイプラインの構築-RDB・SQLを使用したテーブル定義書・StoredProcedureのレビュー・実装-Gitを利用したチーム開発-情報系システムのジョブフロー設計書のレビュー担当工程：要件定義、設計、実装、テスト、運用・保守スキル：必須：-AWS（EventBridge、StepFunctions、Lambda、Glue）での開発経験-AWS基盤全般（S3、EC2、SecurityGroup、ELB等）の知識-Python開発経験-PySparkを用いたデータパイプライン構築経験-SQLを用いた複数テーブルJOINとStoredProcedureの実装・レビュー経験-Gitを利用したチーム開発経験-情報系システムまたは他システムの運用・ジョブフロー設計書レビュー経験尚可：-Snowflakeの利用経験-TableauServerの構築・保守運用経験-TableauPrep／Desktopを用いた開発経験稼働場所：東京都（リモート併用）在宅20〜30％、出社70〜80％その他：-金融（銀行）向け次期情報系基盤プロジェクト-長期継続の可能 |
金融系銀行次期情報基盤／AWSデータエンジニア支援 - 11日前に公開
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue等）を用いた基盤開発-S3、EC2、SecurityGroup、ELB等のインフラ設定・運用-テーブル定義書・StoredProcedureのレビュー・開発-複数テーブルJOINを含むSQL実装-Python・PySparkによるデータパイプライン構築-Gitを利用したチーム開発-情報系システムの運用・ジョブフロー設計書レビュー担当工程：要件定義、設計、実装、テスト、運用保守までの全工程を担当（特に基盤開発・データパイプライン構築）スキル：必須：AWS（EventBridge、StepFunctions、Lambda、Glue）実装経験、AWS基盤（S3、EC2、SecurityGroup、ELB等）知識、テーブル定義書・StoredProcedureのレビュー経験、複数テーブルJOINを伴うSQL実装経験、Python開発経験、PySparkを用いたデータパイプライン構築経験、Gitを利用したチーム開発経験、情報系システム（または類似システム）での運用経験、ジョブフロー設計書レビュー経験尚可：Snowflakeの実務経験、TableauServerの構築・保守運用経験、TableauPrep／Desktopの開発経験、大規模データ基盤の設計・運用経験稼働場所： |
データ基盤構築／AWS×GCP：マルチクラウドETL・DWH実装 - 11日前に公開
| 業務内容：-AWSGlue（PySpark）を用いたETL開発およびパフォーマンスチューニング-S3とLakeFormationによるデータレイクのガバナンス・セキュリティ設計-BigQueryを活用したデータウェアハウス構築、データモデリング、クエリ最適化-AWSとGCP間のデータ連携フローの設計・最適化-Terraformによるマルチクラウド環境のIaC自動化-ApacheAirflowを用いたワークフロー管理とCI/CDパイプライン整備-テスト自動化によるデータ信頼性向上-CTO・リードエンジニアと共同で全体アーキテクチャ設計支援担当工程：要件定義、設計、実装、テスト、CI/CD構築、運用支援スキル：必須：-AWS（S3、IAM、VPC等）でのインフラ構築・運用経験-GCP（特にBigQuery、IAM、ネットワーク）での構築経験-BigQueryを用いた実務レベルのSQL開発経験（パーティショニング・クラスタリング等）-AWSGlue（PySpark）でのETL開発経験-TerraformによるIaC実践経験（マルチクラウドまたは複数環境）尚可：-データガバナンス・セキュリティ設計の実務経験-大規模データ基盤の運用・改善経験稼働場所：東京都（出社中心）その他：-情報・通信・メディア業界向けのハイブリッドデータ基盤構築プロジェクト-参画時期は相談に |
| 業務内容：-データ分析プロジェクトの運営・開発チームリード-アクセス権限管理・監査-ユーザ要件確認・案件マネジメント・QuickSight管理-JIRAを用いたチケット化・担当チームへの依頼-AWS（S3、Glue、StepFunctions、Athena、Lambda、Notebook等）およびDatabricks環境での保守・開発担当工程：プロジェクトマネジメント、要件定義、設計、実装、テスト、運用保守スキル：必須：日本語でのコミュニケーション、英語での書面対応、AWS（Glue、StepFunctions、Athena、S3、Lambda、Notebook等）実務経験、SQL実務経験、PMO／PL経験尚可：DataLake/Lakehouse基礎知識、QuickSight・PowerBI利用経験、Databricks、Terraform、CI/CD知識、JIRA管理者操作経験、Python・PySpark開発経験、損保業務・Guidewire知識、英語での口頭コミュニケーション稼働場所：東京（週1～2回の現場出社、リモート可）その他：業種：情報・通信・メディア（データ分析系システム）開始時期：2026年2月開始（1月からの開始も可）、長期就業時間：9:00～18:00（休憩1時間）募集人数：SE2名 |
ADASデータ処理基盤R&D支援／AWS・Kubernetes活用／フルリモート - 14日前に公開
| 業務内容：-AWS（ECS、StepFunction等）を用いたデータ処理基盤の構築・検証-Kubernetes上でのコンテナ運用-Python（pyspark、JupyterNotebook等）によるアルゴリズム実装-Dockerfileの作成・読解-GitHubActionsのCI/CD設定担当工程：基盤の設計・構築・検証およびアルゴリズム実装支援スキル：必須：スクラム開発経験、AWS（ECS、StepFunction等）の実務知見、Kubernetesの知識、Python（pyspark、JupyterNotebook等）での開発経験、Dockerfileの作成・読解経験、機械学習アプリケーションに関する知見、GitHubActionsのコード作成・読解経験尚可：動画データ処理に関する知識（Pythonベース）稼働場所：東京都（フルリモート、初回出社あり）その他：業種：自動車・輸送機器（ADAS）関連、開始時期：即日開始可能、募集人数：1名、年齢制限なし、外国籍不可 |
| 業務内容：-Python/Pysparkによる信用リスクシステムの再構築-WBS作成、進捗・課題・メンバー管理、各種報告書作成-プロジェクト推進に関わる会議出席・報告-その他プロジェクト推進業務全般担当工程：要件定義、詳細設計、実装、テスト、運用保守スキル：必須：Pythonでの開発・保守経験、Pyspark経験、詳細設計以降のシステム開発経験、AWS上での開発経験尚可：なし稼働場所：東京都（リモート併用）その他：業種：金融・保険業（銀行・信託）／開始時期：随時／リモート勤務：週2〜3日程度可能 |
| 業務内容：-AWSGlue（ApacheSpark）を用いた分散ETLパイプラインの設計・実装・チューニング-S3／LakeFormationによるデータレイク管理・セキュリティ設計-GCPBigQuery環境の構築、データモデリング、パーティショニング・クラスタリングを含むクエリ最適化-AWS↔GCP間のデータ連携パイプラインの設計・最適化-TerraformによるマルチクラウドインフラのIaC管理-Airflow等を用いたワークフロー管理、CI/CDパイプライン整備、データ品質テストの自動化担当工程：設計、実装、テスト、運用スキル：必須：-AWS（S3、IAM、VPC等）でのインフラ構築・運用経験-AWSGlue（PySpark）によるETL開発とパフォーマンスチューニング-GCPBigQueryでの実務レベルSQL分析（パーティショニング、クラスタリング）経験-Terraformを用いたIaC実践（マルチクラウドまたは複数環境）経験-基本的なネットワーク・IAM設定の知識尚可：-LookerStudio等でのBIダッシュボード作成-ApacheAirflow／MWAAでの複雑ジョブ管理-データレイクハウス設計（DeltaLake、Iceberg、Hudi等）-Kinesis、Firehose、Pub/Sub等を用いたストリーミング処理経験-Pyth |
| 業務内容：AWS（ECS、StepFunctions等）を活用し、ADASデータの推論処理システムの検証・実装を行う。担当工程：要件検証、実装、デプロイ、テスト、運用支援。スキル：必須：スクラム開発経験、AWS（ECS、StepFunctions等）知見、Kubernetes知識、Python（PySpark、JupyterNotebook等）実務経験、Dockerfile作成・読解、機械学習アプリケーション知見、GitHubActionsコード作成・読解尚可：動画形式等の知識（Pythonベース）稼働場所：フルリモート（初回出社あり）その他：業種：情報・通信・メディア、開始時期：即日、募集枠：1名、年齢制限：なし、外国籍：不可、事業主：可 |
SQL／Python案件：AWS Glue活用リモート勤務 - 18日前に公開
| 業務内容：-Python（Redshift）からSparkSQLへの移行実装に伴う不具合修正-修正後のテスト実施-SQL実装（サブクエリ・外部結合）-AWSGlueジョブのGUI作成-AWS（S3、IAMロール等）の基本操作担当工程：-不具合修正およびテスト実施-SQL実装およびGlueジョブ作成スキル：必須：SQL実装経験（サブクエリ・外部結合構築可能）、Pythonコード解析・SQL化スキル、AWSGlueのGUIジョブ作成スキル、AWS基礎知識（S3、IAMロール等）、高いコミュニケーション能力尚可：Redshiftの知識、SparkSQLの知識稼働場所：東京都（リモート勤務）週4日リモート、初期2週間はオフィスへ出社その他：業種：製造業系（大手メーカー向けデータ利活用支援）プロジェクトは移行実装完了後の不具合修正フェーズ |
データエンジニア／AWS×GCPマルチクラウド ETL基盤構築・運用 - 19日前に公開
| 業務内容：-データレイクおよびETL基盤の設計・構築-AWSGlue（ApacheSpark）を用いた分散ETL開発・チューニング-S3/LakeFormationによるデータ管理・セキュリティ設計-GCPBigQueryを活用したデータウェアハウス環境整備・クエリ最適化-AWSとGCP間のデータ連携パイプラインの最適化-TerraformによるマルチクラウドIaCの構築・環境差分管理-Airflow等を用いたワークフロー管理・CI/CDパイプライン整備-データ品質テストの自動化担当工程：要件定義、設計、実装、テスト、運用・保守までの全工程スキル：必須：AWS（S3、IAM、VPC等）でのインフラ構築経験、GCP（BigQuery、IAM、ネットワーク）での構築経験、AWSGlue（PySpark）でのETL開発、BigQueryを用いた分析SQL実務経験、TerraformによるマルチクラウドIaC実践尚可：LookerStudio等によるBIダッシュボード構築、Airflow／MWAAでのジョブ管理、DeltaLake／Iceberg／Hudiを用いたデータレイクハウス設計、Kinesis／Firehose／Pub/Subでのストリーミング処理、Python／Go／Javaでのツール開発稼働場所：東京都（常駐勤務）その他：業種：情報・通信・メディア、 |
Databricks活用データレイク構築／運用支援・テレワーク併用 - 19日前に公開
| 業務内容：-データレイク（レイクハウス）構築-データ収集・加工の自動化-データ分析・活用PoC実施-BIツールによる可視化担当工程：要件定義、設計、構築、運用支援、PoC実施スキル：必須：Databricks実務経験、顧客要件定義経験、能動的に動く姿勢尚可：BIツール利用経験、データレイク構築経験、データパイプライン設計・運用経験、システム構成図・アーキテクチャ図設計、Terraform・ApacheSpark経験、AIモデル開発環境構築経験、AWS（S3,Athena,Glue,QuickSight,LakeFormation,Redshift,EMR,SageMaker）利用経験稼働場所：東京都（テレワーク併用、出社週2回）その他：業種：情報・通信・メディア、外国籍可、開始時期や詳細は相談に応じて決定 |
| 業務内容：-AWSGlue（PySpark）での分散ETL開発・チューニング-S3・LakeFormationを用いたデータガバナンス・セキュリティ設計-GCPBigQueryでのデータモデリング・クエリ最適化-AWS⇔GCP間のデータ連携フロー構築-Terraformによるマルチクラウド環境のIaC自動化-Airflow等でのワークフロー管理・CI/CD整備担当工程：設計、構築、テスト、運用支援スキル：必須：AWS（S3、IAM、VPC等）インフラ構築・運用経験、GCP（特にBigQuery）構築・運用経験、BigQuery実務レベルSQL経験（パーティショニング・クラスタリング）、AWSGlue（PySpark）でのETL開発・チューニング経験、TerraformによるIaC実践経験（マルチクラウド）尚可：Airflow等ワークフロー管理ツール使用経験、CI/CDパイプライン構築経験稼働場所：東京都（出社メイン）その他：業種：情報・通信・メディア、開始時期：随時、参画期間：長期（応相談） |
| 業務内容：-AWSデータ系サービスを活用したETLパイプラインの設計・構築・運用-Python、Shell、Spark/PySparkによる大規模データ処理-データウェアハウス（DWH）およびディメンション・ファクトモデルの設計-運用改善と運用チームのリード担当工程：-要件定義、設計、実装、テスト、運用保守スキル：必須：Python、Shell、Spark/PySparkでの大規模データ処理経験；AWSデータ系サービス（例：Glue、Redshift、S3等）を用いたETL自走開発経験；DWH・ディメンション・ファクトのデータモデル設計スキル；中国語（ビジネスレベル）と日本語（日常～ビジネスレベル）のバイリンガル能力尚可：Databricks利用経験；dbtによるモデル設計・開発経験；グローバルチームやオフショア案件の対応経験；Tableau等によるデータ可視化、DevOps・CI/CD構築経験稼働場所：東京都（リモート併用勤務）その他：業種：製造・小売業（大手）開始時期：2026年1月長期案件（2026年1月以降）外国籍の方も応募可スキル見合いの報酬 |
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue等）を活用した基盤の開発・運用-Python／PySparkによるデータパイプラインの構築-複数テーブルのJOINを含むSQL実装-StoredProcedureの開発・レビュー-情報系システムの運用支援、ジョブフロー設計書のレビュー-Gitを用いたチーム開発-TableauServerの構築・運用、TableauPrep／Desktopによる開発（尚可）-関係部署・関連チームとの調整担当工程：-設計、実装、テスト、運用保守全般スキル：必須：AWS（EventBridge、StepFunctions、Lambda、Glue等）での開発経験、AWS基盤（S3、EC2、ELB、SG等）の知識、Python開発経験、PySparkを用いたデータパイプライン構築経験、SQL（複数テーブルJOIN）実装経験、StoredProcedureの開発またはレビュー経験、Gitを用いたチーム開発経験、情報系システムの運用経験、ジョブフロー設計書のレビュー経験尚可：Snowflakeの利用経験、TableauServerの構築・保守運用経験、TableauPrep／Desktopによる開発経験、銀行系システムでの業務経験稼働場所：東京都（出社30％、在宅70％）。本番環境作業時は出 |
| 業務内容：-SAS基盤の信用リスクシステムをAWSGlueへ移行-Python・PySparkを用いた詳細設計、製造、テスト-Shellスクリプトによるバッチ開発-関係者との要件調整・コミュニケーション担当工程：詳細設計、製造、テスト、バッチ開発スキル：必須：Pythonでの詳細設計以降の実務経験、Shellスクリプト開発経験、AWS（Glueを含む）経験、関係者とのコミュニケーション力、自走力尚可：PySparkの実務経験稼働場所：東京都中野（リモート併用、週1～2日出社）その他：業種：金融・保険業（銀行・信託）プロジェクトは信用リスクシステムの統合・再構築開始時期は相談可能 |
| 業務内容：-PowerBIの設計・実装およびPythonを用いた保守改修-データ管理基盤の要件整理・開発支援（Python、DataBricks、Azure、Spark）-FAシステムの技術調査・要件定義・React・Goを用いた開発（Azure基盤）-GoogleWorkspace等からM365へのグループウェア統合支援と顧客折衝担当工程：要件定義・設計・実装・保守・運用・顧客折衝スキル：必須：PowerBI設計・実装経験、Python開発経験、React開発経験、Go開発経験、グループウェア移行経験、顧客折衝経験尚可：リーダー業務経験、PowerApps・M365の経験、Pandas・DataBricks開発経験、Azure・Sparkの実務経験稼働場所：大阪府堺東（バス約10分）・本町（リモート併用可）その他：業種：機械・重工業（農機具メーカー）就業時間：9:00‑17:30（昼休憩12:15‑13:00）開始時期：相談に応じて決定 |
| 業務内容：-既存データ分析基盤のリプレイスに向けた処理検討-機能詳細・データフロー図等の内部設計書作成-MicrosoftFabric上でPySparkを用いたETL開発およびテスト実施-インターフェース単位でのアジャイル的な進行管理担当工程：要件検討、基本設計、詳細設計、開発、テスト、リリーススキル：必須：Python（PySpark）での開発経験3年以上、MicrosoftSQLServerの取扱経験、MicrosoftFabricの使用経験、YAMLの取扱経験、基本設計・詳細設計の実務経験、アジャイル開発経験、コミュニケーション能力尚可：特になし稼働場所：東京都（テレワーク可、テスト実施時は開発拠点へ出社）その他：業種：保険業（生命保険）開始時期：相談に応じて外国籍不可プロジェクトはデータ分析基盤の刷新を目的 |
| 業務内容：-SAS基盤の信用リスクシステムをAWSGlueへ移行-Python/PySparkを用いたデータパイプラインの設計・実装-詳細設計、製造、テスト工程全般担当工程：詳細設計、製造、テストスキル：必須：Python実務経験、AWS実務経験、関係者との円滑なコミュニケーション力、自走力尚可：PySpark実務経験稼働場所：東京都（リモート併用、週2日程度）その他：業種：金融・保険業（銀行・信託等）開始時期：2026年1月〜長期 |
| 業務内容：-既存システムのリプレイスに向けた処理検討-機能詳細・データフロー図等の内部設計書執筆-MicrosoftFabric上でPySparkを用いたETL処理の実装・試験（Pythonライブラリ作成、I/F単位の処理実装）-アジャイル的にI/F単位で開発を推進担当工程：内部設計、実装、試験スキル：必須：PythonまたはPySparkでの開発経験3年以上、MicrosoftFabric・MicrosoftSQLServer・YAMLの実務経験、基本設計の理解と詳細設計作成、アジャイル開発経験、高いコミュニケーション能力と自発的行動尚可：クラウド基盤の運用経験、データウェアハウスやBIツールの知識稼働場所：東京都（テレワーク可、試験は開発拠点で実施）その他：業種：保険、プロジェクトは長期、開始時期は相談、外国籍は不可 |
SAS基盤統合／AWS再構築・Python実装／金融システム詳細設計 - 23日前に公開
| 業務内容：-金融機関・グループ企業間のSAS基盤統合-AWS上への再構築・移行対応-関係者調整、詳細設計、実装、テスト等の各工程担当担当工程：詳細設計、実装、テスト、関係者調整など全工程スキル：必須：システム開発経験（詳細設計以降）、コミュニケーション力、リーダーシップ力、自走力（主体的に動けること）尚可：リーダー／サブリーダー等のチームマネジメント経験、Python（PySpark）およびクラウド関連システムの開発・保守経験稼働場所：東京都（リモート週2日程度）その他：業種：金融・保険業（銀行・信託等）プロジェクトは長期で、開始時期は相談の上決定勤務時間：9:00‑18:00対象年齢上限45歳まで、外国籍不可、2名募集 |
AWS データエンジニア／大手ネット銀行／Python・PySpark活用 - 23日前に公開
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue等）を用いた次期情報系基盤の開発・運用強化-PySparkによるデータパイプライン構築、SQL／StoredProcedureの設計・レビュー-S3、EC2、SecurityGroup、ELB等インフラリソースの設定・最適化-情報系システムのジョブフロー設計書レビュー担当工程：要件定義、設計、実装、テスト、運用保守スキル：必須：AWS実務経験（EventBridge、StepFunctions、Lambda、Glue）、S3・EC2・SecurityGroup・ELB基礎知識、DB設計・StoredProcedureレビュー経験、複数テーブルJOINを伴うSQL実装、Python開発経験、PySparkによるデータパイプライン構築、Gitを用いたチーム開発経験、情報系システムの運用経験尚可：SnowflakeのStoredProcedure開発経験、TableauServerの構築・保守・運用経験、TableauPrep／Desktopの開発経験稼働場所：東京都（出社70～80％・在宅20～30％）その他：業種：金融・保険業（銀行・信託）勤務時間：9:00～18:00服装：私服／ビジネスカジュアル年齢上限：52歳まで募集人数：1名開始時期：相談に応じて |
| 業務内容：-AWSGlue（ApacheSpark）による分散処理・ETL開発-S3・LakeFormationを活用したデータガバナンス・セキュリティ設計-GCPBigQueryを用いたデータモデリング・クエリ最適化-AWSからGCPへのデータ連携フロー構築-Terraformによるマルチクラウド環境の自動化-Airflow等を用いたワークフロー管理とCI/CD整備-データ基盤全体のアーキテクチャ設計支援担当工程：設計、構築、運用、保守、CI/CDパイプライン構築、オーケストレーションスキル：必須：AWS（S3、IAM、VPC等）のインフラ構築・運用経験、GCP（BigQuery、IAM、ネットワーク設定）経験、BigQueryでの分析SQL（パーティショニング/クラスタリング）経験、AWSGlue（PySpark）でのETL開発・チューニング経験、TerraformによるIaC実践経験（マルチクラウド）尚可：大規模データ基盤の設計・運用経験、Airflow等のオーケストレーションツール使用経験、CI/CDパイプライン構築経験稼働場所：関東（リモート勤務相談可）その他：業種：情報・通信・メディア、データ基盤構築案件、開始時期は相談可能、長期参画歓迎 |