新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:245件
公共DWH基盤構築／AWS CDKインフラ・帳票開発 - 3日前に公開
| 業務内容：-AWSCDKを用いたRedshift・Glue・QuickSightなどのインフラ構築・試験-共通ETLジョブ（コード・CDK）実装-ユーザー定義帳票・汎用分析帳票の詳細設計・実装-単体テスト実施と品質成績書作成担当工程：-基本設計・詳細設計-インフラ構築・コード実装-テスト実施-ドキュメンテーション作成スキル：必須：-Redshift、Glue、QuickSight等のインフラ構築経験（IaC/CDK）-DWHスキーマ・テーブル作成経験-Python開発経験（PySpark学習意欲）-QuickSightによるダッシュボード開発経験（GUIベース）尚可：-PySparkを用いたジョブ開発実務経験稼働場所：-東京都（六本木、都庁前）または千葉県（海浜幕張）から選択可能-出社は通いやすい拠点を選択、ドキュメンテーション業務はリモート可-AWS環境へのアクセス時はオンサイト必須その他：-業種：公共・社会インフラ（官公庁・自治体）-プロジェクト開始は2026年4月、最長2028年3月まで継続見込み-チーム構成はシニア1名、スタッフ2名の計3名 |
| 業務内容：-CDKを用いたインフラ環境構築（S3、Glue、Redshift、QuickSight）-インフラ構築・試験、単体テスト-共通加工コード・CDK実装-ユーザー定義帳票・汎用分析帳票の詳細設計・実装-Glueジョブ開発（PySpark／Python）-QuickSightダッシュボード作成（GUI）-帳票設計・加工処理作成・テスト-品質成績書作成担当工程：設計、実装、単体テスト、品質評価スキル：必須：Redshift、Glue、QuickSightのインフラ構築経験（IaC）、DWHスキーマ・テーブル設計経験、Glueジョブ開発（PySpark、Python）、QuickSightでのダッシュボード作成（GUI）尚可：AWSLambda、StepFunctionsの実装経験、Okta連携経験稼働場所：東京都（オンサイト）※ドキュメンテーションはリモート可その他：業種：公共・社会インフラ／官公庁・自治体向けシステム基盤更改開始時期：2026年4月開始、2026年9月末までの期間（継続見込みあり） |
金融系次期情報基盤／AWS・データエンジニア支援 - 4日前に公開
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue等）を用いた基盤の開発・運用-データベース設計書・IF定義書の読解・レビュー-ジョブフロー設計書のレビュー・運用改善-Python／PySparkによるデータパイプライン構築-TableauPrepによるデータ加工・前処理-TableauServerの環境設定・構築・運用-関係部署・チームとの調整担当工程：設計、開発、テスト、運用保守スキル：必須：AWS（EventBridge、StepFunctions、Lambda、Glue等）実務経験、AWS基盤全般知識（S3、EC2、SG、ELB等）、TableauPrepによるデータ加工経験、TableauServerの環境設定・運用経験、テーブル定義書・StoredProcedure・IF定義書のレビュー経験、複数テーブルJOINを伴うSQL実装経験、StoredProcedure開発経験、Python開発経験、PySparkを用いたデータパイプライン構築経験、Gitを利用したチーム開発経験、情報系システムの運用経験、ジョブフロー設計書のレビュー経験尚可：Snowflakeの利用経験、TableauDesktopの利用経験稼働場所：東京都／在宅20～30％、出社70～80％その他：業種：銀行（金融系）／プロジェクトは |
| 業務内容：-AWSGlue（PySpark）を用いた分散処理・ETL開発-S3、LakeFormationによるデータガバナンス・セキュリティ設計-GCPBigQueryでのデータモデリング・クエリ最適化-AWSからGCPへのデータ連携フローの最適化-Terraformによるマルチクラウド環境の自動化-Airflow等を用いたワークフロー管理・CI/CDパイプライン整備-CTO/リードエンジニアと共同で基盤全体のアーキテクチャ設計策定担当工程：要件定義、設計、実装、テスト、運用保守までの全工程を担当スキル：必須：-AWS（S3、IAM、VPC等）でのインフラ構築・運用経験-GCP（特にBigQuery）での構築経験およびIAM・ネットワーク設定経験-BigQueryを用いた分析SQL実務経験（パーティショニング、クラスタリング等）-AWSGlue（PySpark）でのETL開発・パフォーマンスチューニング経験-TerraformによるIaC実践経験（マルチクラウドまたは複数環境）尚可：-大規模データ基盤の設計・運用経験-CI/CDパイプライン構築経験-データガバナンス・品質保証に関する知見稼働場所：東京都（出社メイン）その他：業種：情報・通信・メディア開始時期：随時開始可能参画期間：随時～長期（応相談） |
| 業務内容：-Databricks、AzureBlobStorage、AzureDataFactoryを用いたデータパイプラインの構築・運用-SQL、Python、Sparkによるデータ処理-Power BIを使用したレポート作成-要件定義、基本設計、詳細設計、テスト設計・実装（ユニットテスト含む）担当工程：要件定義、設計、実装、テスト全工程スキル：必須：SQL、Python、Spark（またはHadoop、Apache Kafka、Mesos等）でのデータ処理経験、データパイプライン構築・運用経験、テストコード作成を含むユニットテスト経験、要件定義・設計・テスト設計の実務経験、ドキュメント作成による関係者との円滑なコミュニケーション能力尚可：Databricksの実務経験、BigQuery・Snowflakeの実務経験、AWS・Azure・GCP等クラウドプラットフォームの実務経験、システムアーキテクトまたは開発チームリーダー経験稼働場所：フルリモート（地方可）その他：業種：情報・通信・メディア／データ解析領域、プロジェクト期間は2026年2月から2026年3月末まで（延長可能）、募集人数は1名 |
| 業務内容：-Databricks（PySpark,Scala）環境のパフォーマンス最適化-大規模データ処理の実装・改修-Azureデータ基盤のパフォーマンス改善-保守・構成管理およびリファクタリング担当工程：データ基盤の設計・実装・チューニング・保守スキル：必須：Databricksでのコーディング（PySpark,Scala）経験、Sparkクラスタ構造・最適化知識、大規模データ（数億行）処理経験尚可：Azureデータ基盤構築・運用経験（DataFactory,SQLServer/Database,Databricks,Functions,DevOps等）、Azureインフラ知識（VNet,PrivateLink,PrivateEndpoint,LoadBalancer等）、Transact‑SQLによるクエリ最適化経験、Python・PowerShell等スクリプト言語、GitHubなどのソースコード管理経験稼働場所：神奈川県（開始1ヶ月は週3出社、その後は週1出社）その他：業種：サービス業／情報・通信・メディア（物流可視化プラットフォーム）開始時期：2023年3月開始予定プロジェクトは既に数名がアサイン済みで、迅速に推進中 |
データエンジニア／AWS×GCP・マルチクラウドETL基盤構築 - 5日前に公開
| 業務内容：-AWSGlue（ApacheSpark）を用いた大規模ETLパイプラインの設計・実装-S3/LakeFormationによるデータレイク構築とセキュリティ設計-BigQueryを活用したデータウェアハウス（DWH）環境の整備・最適化-AWSとGCP間のデータ連携パイプラインのパフォーマンスチューニング-TerraformによるマルチクラウドインフラのIaC管理・自動化-Airflow等を用いたジョブスケジューリングとCI/CDパイプライン構築-データ品質テストの自動化と運用効率化担当工程：要件定義、設計、構築、テスト、運用・保守までの全工程を担当スキル：必須：-AWS（S3、IAM、VPC等）でのインフラ構築・運用経験-GCP（特にBigQuery、IAM、ネットワーク設定）での構築経験-BigQueryを用いた分析SQL（パーティショニング・クラスタリング）実務経験-AWSGlue（PySpark）でのETL開発・パフォーマンスチューニング-Terraformによるマルチクラウドまたは複数環境のIaC実践経験尚可：-LookerStudio等によるBIダッシュボード構築経験-Airflow/MWAAでの複雑ジョブ管理経験-DeltaLake/Iceberg/Hudiを用いたデータレイクハウス設計経験-Kinesis/Firehose/Pub |
| 業務内容：-SAS資産をAWSGlueとPython／PySparkを用いて再構築-詳細設計、製造、テストを実施-データ分析基盤の統合・移行対応担当工程：詳細設計、プログラミング、テストスキル：必須：Pythonでの開発実務経験（3年以上）、SQLによるデータ集計・加工実装経験、大規模データ処理への関心尚可：PySpark、Pandas、Dask等のデータ処理ライブラリ経験（特にPySpark）、AWSGlueを利用した開発経験稼働場所：東京都（リモート併用、初週はフル出社、その後週1～2日出社）その他：業種：金融・保険業、開始時期：即日開始可能、長期想定、募集人数：1名 |
大手インターネット企業向け DWH設計・構築 SE／フルリモート・地方可 - 11日前に公開
| 業務内容：-BigQueryを用いたDWH開発-Airflowによるデータ取り込みパイプラインの設計・実装・運用改善-Spark、Kafka、Debezium等を活用したストリーミング・CDCの構築-データ品質管理・障害監視・アラート設計担当工程：-要件定義・設計-実装（パイプライン、DWH）-テスト・運用改善スキル：必須：BigQueryの開発経験、DWH／データ基盤の構築経験、Airflowの利用経験、データ取り込みパイプラインの設計・実装経験尚可：Docker、CI/CDの基礎知識、Debezium等のCDC利用経験、データ品質管理（重複・欠損・遅延検知）の設計経験、障害監視・アラート設計・運用改善の経験稼働場所：フルリモート（拠点は東京都）／地方在住者（例：仙台・兵庫等）からも参画可その他：業種：情報・通信・メディア／開始時期：相談に応じて調整可能 |
Python・Databricks活用金融DWH開発／東京都オンサイト／3月開始 - 11日前に公開
| 業務内容：-新規データ取込ジョブの追加開発・テスト（既存ロジック流用）-既存ETLパイプラインの保守・運用対応担当工程：設計、開発、テスト、運用保守スキル：必須：Pythonでの開発経験（2年以上）、SQLでの開発経験（2年以上）、設計～開発～テストまでのシステム開発経験（3年以上）尚可：Databricks実務経験、ApacheSpark（PySpark）実務経験、GoogleBigQueryのSQL操作経験、SAS言語・SASViyaの理解、チームリーダー／PMO経験、データ移行計画書作成経験、AWS／Azure／GoogleCloud利用経験稼働場所：東京都（100％オンサイト）その他：業種：金融・保険業、金融機関向けDWH構築プロジェクト開始時期：3月 |
金融系次期基盤構築／AWS・データエンジニア支援：東京大崎在宅可 - 11日前に公開
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue、S3、EC2、SG、ELB等）を用いた基盤の開発・運用-データベース設計書・IF定義書の読解・レビュー-ジョブフロー設計書のレビュー・運用改善-Python／PySparkによるデータパイプライン構築-Tableau Prepによるデータ加工・前処理-Tableau Serverの環境設定・構築・運用-関係部署・関連チームとの調整業務担当工程：設計、開発、テスト、運用・保守全般（基盤設計・構築・レビュー・運用改善）スキル：必須：-AWS（EventBridge、StepFunctions、Lambda、Glue等）での開発経験-AWS基盤全般（S3、EC2、SG、ELB等）の知識-Tableau Prepでのデータ加工・前処理実務経験-Tableau Serverの環境設定・運用経験-テーブル定義書、StoredProcedure、IF定義書のレビュー経験-複数テーブルJOINを伴うSQL実装経験-StoredProcedure開発経験-Python開発経験-PySparkを用いたデータパイプライン構築経験-Gitを利用したチーム開発経験-情報系システムまたはシステム運用経験-ジョブフロー設計書のレビュー経験尚可：-Snowflakeの利用経験-Tableau |
ハイブリッドデータ基盤構築／AWS×GCP・Terraform・Airflow - 11日前に公開
| 業務内容：-AWSGlue（PySpark）による分散ETL開発・チューニング-S3・LakeFormationを用いたデータガバナンス・セキュリティ設計-GCPBigQueryでのデータモデリング・クエリ最適化-AWS↔GCP間のデータ連携フロー構築-TerraformによるマルチクラウドIaC管理-Airflow等でのワークフロー管理・CI/CD整備-CTO・リードエンジニアと協働し全体アーキテクチャ方針策定担当工程：設計、構築、運用、CI/CDパイプライン整備スキル：必須：AWS（S3、IAM、VPC等）でのインフラ構築・運用経験、GCP（特にBigQuery）での構築経験とIAM・ネットワーク設定、BigQueryを用いた実務レベルのSQL分析経験、AWSGlue（PySpark）でのETL開発・パフォーマンスチューニング、TerraformによるIaC実践（マルチクラウドまたは複数環境）尚可：なし稼働場所：東京都（出社メイン）その他：業種：情報・通信・メディア、開始時期：随時〜長期（参画時期応相談） |
車両データ可視化システム保守対応／Java・AWS開発／リモート可 - 11日前に公開
| 業務内容：-既存の車両データ可視化システムの維持保守-監視レポートの作成および報告-設計・開発（製造）-単体テスト、結合テスト、システムテストの実施-リリース作業担当工程：設計から開発、テスト、リリースまでの全工程を自律的に担当スキル：必須：Javaでの開発経験5年以上、AWSでの開発経験1年以上、設計・開発・テストを一貫して実施できること、報告資料作成能力尚可：Hadoop、Spark、AWSEMR等を用いたビッグデータ分散処理の経験、顧客とのコミュニケーション・報告経験稼働場所：愛知県（リモート勤務可、ただし初日は出社必須）その他：業種：自動車・輸送機器関連システムの保守・運用、開始時期は相談可能 |
| 業務内容：-Databricks（PySpark,Scala）環境のパフォーマンス最適化-大規模データ処理の実装・改修-Azureデータ基盤（DataFactory,SQL系,Functions等）のパフォーマンス改善-保守・構成管理およびリファクタリング担当工程：-要件分析・設計-コーディング・チューニング-テスト・検証-デプロイ・運用支援スキル：必須：-Databricksを用いた開発経験（PySpark,Scala）-Sparkクラスタのチューニング経験-数億行規模の大規模データ取扱経験（Hadoop/Spark）尚可：-Azureデータ基盤構築・運用経験（DataFactory,SQLServer/Database,Functions,DevOps）-Azureインフラ知識（VNet,PrivateLink,LoadBalancer等）-T‑SQLによるクエリチューニング経験-Python,PowerShell等のスクリプティングスキル-GitHub等によるソースコード管理経験稼働場所：神奈川県内（初月は週3出社、以降は週1出社）その他：-業種：情報・通信・メディア（物流・輸送機器向けデータ基盤）-募集人数：1名-開始時期：2026年3月頃-プロジェクトは既に数名がアサイン済みで、迅速な展開が求められる-外国籍不可 |
銀行系開発部／次期情報基盤構築 AWS・データエンジニア支援 - 12日前に公開
| 業務内容：-AWS（EventBridge、StepFunctions、Lambda、Glue等）を用いた開発・運用-テーブル定義書／StoredProcedureのレビュー-複数テーブルJOINを伴うSQL実装・StoredProcedure開発-Python／PySparkによるデータパイプライン構築-Gitを利用したチーム開発-情報系システムの運用・ジョブフロー設計書レビュー-任意でTableauServerの構築・保守、TableauPrep／Desktop開発-関係部署・チームとの調整担当工程：要件定義、設計、実装、テスト、運用保守、ジョブフロー設計書レビュースキル：必須：AWS（EventBridge、StepFunctions、Lambda、Glue等）実装経験、S3・EC2・SG・ELB等基盤知識、テーブル定義書／StoredProcedureのレビュー経験、SQL（複数テーブルJOIN）実装経験、Python開発経験、PySparkを用いたデータパイプライン構築経験、Gitでの共同開発経験、情報系システムの運用経験尚可：Snowflake使用経験、TableauServerの構築・保守運用経験、TableauPrep／Desktop開発経験稼働場所：東京都（大崎駅周辺）※在宅20〜30％、出社70〜80％その他：業種：銀行（金融系）／情 |
| 業務内容：-SAS資産をAWSGlue上に再構築し、Python／PySparkでデータ分析基盤へ統合-詳細設計、製造、テストを実施-データ分析基盤の移行対応担当工程：-詳細設計-実装（Python／PySpark）-テスト-移行作業スキル：必須：-Pythonを用いた開発実務経験（3年以上）-SQLによるデータ集計・加工の実装経験-大規規模データ処理への関心・興味尚可：-PySpark、Pandas、Dask等のデータ処理ライブラリ経験（PySpark優先）-AWSGlue等のクラウド環境での開発経験稼働場所：東京都（リモート併用、初週はフル出社、その後週1～2日出社）その他：-業種：金融・保険業（金融機関）-開始時期：即日～（2月開始も可）-勤務時間：9:00～18:00-募集人数：1名-長期想定 |
| 業務内容：既存の車両データ可視化システムの維持保守。監視レポートの作成・報告、設計・製造、単体テスト、結合テスト、システムテスト、リリース作業を実施。担当工程：設計、実装、テスト（単体・結合・システム）、リリース作業、運用レポート作成。スキル：必須：Javaでの開発経験5年以上、AWSを用いた開発経験1年以上、設計からリリースまで自律的に遂行できること、報告資料作成スキル。尚可：Hadoop・Spark・AWSEMR等のビッグデータ基盤経験、顧客とのコミュニケーション・報告経験。稼働場所：愛知県（リモート可、必要に応じて出社、初日は出社必須）。その他：業種は自動車・輸送機器、開始時期は相談可能、既存システムの保守・機能追加を中心としたプロジェクト。 |
| 業務内容：-MicrosoftFabric上でPySparkを用いたETL処理の設計・実装・テスト-既存システムのリプレイスに伴う処理検討・内部設計書作成-アジャイル開発手法でI/F単位の進行管理担当工程：設計、実装、テストスキル：必須：PythonまたはPySparkの開発経験（3年以上）、詳細設計経験、アジャイル開発経験、自発的な行動力と円滑なコミュニケーション能力尚可：ETLツールのリプレイス経験、金融・保険系システム開発経験稼働場所：東京都（テレワーク可、試験期間は出社）その他：業種：金融・保険業、開始時期：相談、外国籍不可 |
Databricks データ解析システム構築支援／製薬・化学向け／リモート - 16日前に公開
| 業務内容：製薬・化学業界向けにDatabricksを用いたデータ解析システムの設計、実装、テストを支援します。データパイプラインの構築・運用やユニットテストコード作成、関連ドキュメント作成を行います。担当工程：要件定義、基本設計、詳細設計、実装、テスト設計・実装、テスト実行スキル：必須：SQL、Python、Spark、分散処理基盤（Hadoop、ApacheKafka、Mesos等）の構築経験、データパイプライン構築・運用経験、Git等のバージョン管理、テスティングフレームワークによるユニットテスト経験、要件定義からテスト設計までの実務経験、ドキュメント作成能力尚可：Databricks実務経験、BigQueryまたはSnowflake実務経験、AWS、Azure、GCP等のクラウドプラットフォーム実務経験、システムアーキテクトまたは開発チームリーダー経験稼働場所：基本リモート（東京都在住者歓迎）その他：業種：製薬・化学（情報・通信・メディア領域に含む）開始時期：2026年2月予定作業時間は主に9時〜10時開始が多い使用OSはMacまたはWindowsが選択可能 |
データ分析基盤リプレイス／PySpark実装／アジャイル開発 - 16日前に公開
| 業務内容：-既存システムのリプレイスに向けた処理検討-機能詳細・データフロー図等の内部設計書作成-MicrosoftFabric上でPySparkを用いたETL処理の実装・試験-I/F単位でのアジャイル開発推進担当工程：設計、実装、テストスキル：必須：PythonまたはPySparkでの開発経験3年以上、MicrosoftFabric、MicrosoftSQLServer、YAML等の技術経験、基本設計・詳細設計の実務経験、アジャイル開発経験、コミュニケーション能力が高く自発的に行動できること尚可：データ分析基盤や大規模データ処理の経験稼働場所：東京都（テレワーク可、試験は開発拠点で出社必須）その他：業種：保険、開始時期：相談、勤務時間：9:30-18:00、外国籍NG |
金融系次期情報基盤構築／AWS・データエンジニア支援 - 16日前に公開
| 業務内容：-AWSを活用した次期情報系基盤の開発・運用-データベース設計書・IF定義書の読解・レビュー-ジョブフロー設計書のレビュー・運用改善-Python／PySparkによるデータパイプライン構築-TableauPrepでのデータ加工・前処理-TableauServerの環境設定・構築・運用-関係部署・関連チームとの調整業務担当工程：要件定義、設計、実装、テスト、運用スキル：必須：AWS（EventBridge、StepFunctions、Lambda、Glue、S3、EC2、SecurityGroup、ELB等）の開発経験、Python開発経験、PySparkでのデータパイプライン構築経験、SQLによる複数テーブルJOIN実装、StoredProcedure開発・レビュー経験、TableauPrepでのデータ加工経験、TableauServerの設定・運用経験、Gitを用いたチーム開発経験、情報系システム運用経験尚可：Snowflake利用経験、TableauDesktop利用経験稼働場所：東京都（在宅20～30％、出社70～80％）その他：業種：銀行（金融系）／プロジェクトは次期情報系基盤構築案件／勤務時間9:00～18:00、服装は私服またはビジネスカジュアル |
| 業務内容：-既存データ分析基盤のリプレイス検討-内部設計書の作成-MicrosoftFabric上でのPySparkを用いたETL処理の実装および試験-I/F単位でのアジャイル開発担当工程：要件定義、詳細設計、実装、テストスキル：必須：PythonまたはPySparkでの開発経験3年以上、詳細設計経験、アジャイル開発経験、自発的な行動と円滑なコミュニケーション能力尚可：ETLツールのリプレイス経験、金融・保険系システム開発経験稼働場所：東京都内（テレワーク可、試験時は出社）その他：業種：情報・通信・メディア、開始時期：相談、外国籍不可 |
銀行決算業務自動化／Python・ETL活用／詳細設計〜結合テスト - 17日前に公開
| 業務内容：取引データ等のファイルから抽出・変換・出力、ETLツールを用いた下流システム向けファイル作成、詳細設計、結合テストの実施担当工程：詳細設計、実装、結合テストスキル：必須：PythonまたはETLツールの実務経験、詳細設計から結合テストまでの経験尚可：AWSGlue、PySparkの知見稼働場所：東京都の客先、リモートワークは状況により可能その他：金融・信託業界の決算業務自動化プロジェクト、開始時期は2026年2月頃、期間は2026年2月～2027年3月を予定、募集人数は1〜2名 |
金融機関信用リスク統合／AWS再構築・リモート併用 - 18日前に公開
| 業務内容：信用リスクシステム（SAS基盤）をAWS上に統合・再構築SAS資産をAWSGlueとPython/PySparkで置き換え詳細設計から実装、単体テスト、結合テスト、システムテストまでを担当担当工程：詳細設計プログラム作成単体テスト結合テストシステムテストスキル：必須：システム開発経験（詳細設計以降）関係者とのコミュニケーション力・理解力自己管理能力（スケジュール管理等）尚可：Python（PySpark）での開発経験クラウド（AWS）関連システムの開発・保守経験稼働場所：東京都（リモート併用）その他：業種：金融・保険業プロジェクトは上位リーダーのもとで開発チームメンバーとして参画開始時期：相談リモート併用で作業可能 |
| 業務内容：-金融機関向け信用リスクシステムの統合・再構築-SAS資産をAWSGlue上に移行し、Python/PySparkで実装-大規模データの集計・分析基盤構築担当工程：-詳細設計-製造（実装・単体テスト）-結合テスト・総合テストスキル：必須：Pythonでの開発実務（3年以上）、SQLによる高度なデータ集計経験、大規模データ処理への関心尚可：PySpark、Pandas、Dask等のデータ処理ライブラリ経験（特にPySpark）、AWS（S3、Glue、Lambda等）での開発経験稼働場所：東京都内（初週はフル出勤、その後は週1〜2回出勤でリモート中心）その他：業種：金融・保険業（銀行・信託）／開始時期：即日または2月以降の長期参画可能 |