新着案件をメール受信

いつでもキャンセルできます

検索キーワード:Spark

検索結果:227件
業務内容:製薬・化学業界向けにDatabricksを用いたデータ解析システムの設計、実装、テストを支援します。データパイプラインの構築・運用やユニットテストコード作成、関連ドキュメント作成を行います。担当工程:要件定義、基本設計、詳細設計、実装、テスト設計・実装、テスト実行スキル:必須:SQL、Python、Spark、分散処理基盤(Hadoop、ApacheKafka、Mesos等)の構築経験、データパイプライン構築・運用経験、Git等のバージョン管理、テスティングフレームワークによるユニットテスト経験、要件定義からテスト設計までの実務経験、ドキュメント作成能力尚可:Databricks実務経験、BigQueryまたはSnowflake実務経験、AWS、Azure、GCP等のクラウドプラットフォーム実務経験、システムアーキテクトまたは開発チームリーダー経験稼働場所:基本リモート(東京都在住者歓迎)その他:業種:製薬・化学(情報・通信・メディア領域に含む)開始時期:2026年2月予定作業時間は主に9時〜10時開始が多い使用OSはMacまたはWindowsが選択可能
業務内容:-既存システムのリプレイスに向けた処理検討-機能詳細・データフロー図等の内部設計書作成-MicrosoftFabric上でPySparkを用いたETL処理の実装・試験-I/F単位でのアジャイル開発推進担当工程:設計、実装、テストスキル:必須:PythonまたはPySparkでの開発経験3年以上、MicrosoftFabric、MicrosoftSQLServer、YAML等の技術経験、基本設計・詳細設計の実務経験、アジャイル開発経験、コミュニケーション能力が高く自発的に行動できること尚可:データ分析基盤や大規模データ処理の経験稼働場所:東京都(テレワーク可、試験は開発拠点で出社必須)その他:業種:保険、開始時期:相談、勤務時間:9:30-18:00、外国籍NG
業務内容:-AWSを活用した次期情報系基盤の開発・運用-データベース設計書・IF定義書の読解・レビュー-ジョブフロー設計書のレビュー・運用改善-Python/PySparkによるデータパイプライン構築-TableauPrepでのデータ加工・前処理-TableauServerの環境設定・構築・運用-関係部署・関連チームとの調整業務担当工程:要件定義、設計、実装、テスト、運用スキル:必須:AWS(EventBridge、StepFunctions、Lambda、Glue、S3、EC2、SecurityGroup、ELB等)の開発経験、Python開発経験、PySparkでのデータパイプライン構築経験、SQLによる複数テーブルJOIN実装、StoredProcedure開発・レビュー経験、TableauPrepでのデータ加工経験、TableauServerの設定・運用経験、Gitを用いたチーム開発経験、情報系システム運用経験尚可:Snowflake利用経験、TableauDesktop利用経験稼働場所:東京都(在宅20~30%、出社70~80%)その他:業種:銀行(金融系)/プロジェクトは次期情報系基盤構築案件/勤務時間9:00~18:00、服装は私服またはビジネスカジュアル
業務内容:-既存データ分析基盤のリプレイス検討-内部設計書の作成-MicrosoftFabric上でのPySparkを用いたETL処理の実装および試験-I/F単位でのアジャイル開発担当工程:要件定義、詳細設計、実装、テストスキル:必須:PythonまたはPySparkでの開発経験3年以上、詳細設計経験、アジャイル開発経験、自発的な行動と円滑なコミュニケーション能力尚可:ETLツールのリプレイス経験、金融・保険系システム開発経験稼働場所:東京都内(テレワーク可、試験時は出社)その他:業種:情報・通信・メディア、開始時期:相談、外国籍不可
業務内容:取引データ等のファイルから抽出・変換・出力、ETLツールを用いた下流システム向けファイル作成、詳細設計、結合テストの実施担当工程:詳細設計、実装、結合テストスキル:必須:PythonまたはETLツールの実務経験、詳細設計から結合テストまでの経験尚可:AWSGlue、PySparkの知見稼働場所:東京都の客先、リモートワークは状況により可能その他:金融・信託業界の決算業務自動化プロジェクト、開始時期は2026年2月頃、期間は2026年2月~2027年3月を予定、募集人数は1〜2名
業務内容:信用リスクシステム(SAS基盤)をAWS上に統合・再構築SAS資産をAWSGlueとPython/PySparkで置き換え詳細設計から実装、単体テスト、結合テスト、システムテストまでを担当担当工程:詳細設計プログラム作成単体テスト結合テストシステムテストスキル:必須:システム開発経験(詳細設計以降)関係者とのコミュニケーション力・理解力自己管理能力(スケジュール管理等)尚可:Python(PySpark)での開発経験クラウド(AWS)関連システムの開発・保守経験稼働場所:東京都(リモート併用)その他:業種:金融・保険業プロジェクトは上位リーダーのもとで開発チームメンバーとして参画開始時期:相談リモート併用で作業可能
業務内容:-金融機関向け信用リスクシステムの統合・再構築-SAS資産をAWSGlue上に移行し、Python/PySparkで実装-大規模データの集計・分析基盤構築担当工程:-詳細設計-製造(実装・単体テスト)-結合テスト・総合テストスキル:必須:Pythonでの開発実務(3年以上)、SQLによる高度なデータ集計経験、大規模データ処理への関心尚可:PySpark、Pandas、Dask等のデータ処理ライブラリ経験(特にPySpark)、AWS(S3、Glue、Lambda等)での開発経験稼働場所:東京都内(初週はフル出勤、その後は週1〜2回出勤でリモート中心)その他:業種:金融・保険業(銀行・信託)/開始時期:即日または2月以降の長期参画可能
業務内容:-SAS資産をAWSGlue上に再構築し、Python/PySparkでデータ分析基盤を統合-詳細設計、実装、テストを実施担当工程:-詳細設計、製造(実装)、テストスキル:必須:-Pythonでの開発実務(3年以上)-SQLを用いたデータ集計・加工経験-大規模データ処理への関心尚可:-PySpark、Pandas、Dask等のデータ処理ライブラリ経験(特にPySpark)-AWSGlueでの開発経験稼働場所:-東京(リモート併用、参画後1週間フル出社、その後週1〜2日出社)その他:-業種:金融・保険業(銀行・信託)-開始時期:即日開始可能、長期想定
業務内容:-Databricks(PySpark・Scala)環境のパフォーマンス最適化-数億件規模の大規模データ処理の実装・改修-Azure上のデータ基盤(DataFactory、SQL等)のパフォーマンス改善-保守・構成管理およびリファクタリング担当工程:設計・実装・チューニング・保守スキル:必須:Databricks/Sparkの開発経験(3年以上)、Sparkクラスタのチューニング経験、大規模データ(数億件規模)処理経験尚可:Azure環境(DataFactory、SQL等)の構築経験、SQLクエリの最適化スキル稼働場所:神奈川県(週1出社、開始時は週3出社の可能性あり)その他:業種:自動車・輸送機器(トラック製造販売メーカー向けリアルタイム可視化アプリ)開始時期:3月開始可能備考:外国籍不可、プロパー2名参画中
業務内容:-AWS(EventBridge、StepFunctions、Lambda、Glue等)を用いた開発・運用-テーブル定義書・StoredProcedureのレビューおよび開発-複数テーブルJOINを伴うSQL実装-Python/PySparkによるデータパイプライン構築-Gitを利用したチーム開発-情報系システムの運用およびジョブフロー設計書レビュー-TableauServerの構築・保守、TableauPrep/Desktopの開発(任意)-関係部署・関連チームとの調整業務担当工程:要件定義、設計、実装、テスト、運用保守、ジョブフロー設計書レビュースキル:必須:AWS(EventBridge、StepFunctions、Lambda、Glue等)の実務経験、S3・EC2・SG・ELB等基盤知識、テーブル定義書・StoredProcedureのレビュー経験、複数テーブルJOINを伴うSQL実装経験、StoredProcedure開発経験、Python開発経験、PySparkを用いたデータパイプライン構築経験、Gitを用いた共同開発経験、情報系システムの運用経験尚可:Snowflakeの使用経験、TableauServerの構築・保守運用経験、TableauPrep/Desktopの開発経験稼働場所:東京都大崎駅周辺(在宅勤務併用、出社率約70%
業務内容:-データレイク基盤(AWSGlue、S3、LakeFormation)の設計・実装-BigQueryを活用したデータウェアハウス構築とパフォーマンス最適化-AWSからGCPへのデータ連携フローの設計・最適化-Terraformによるマルチクラウド環境のIaC管理-ApacheAirflowを用いたワークフロー管理とCI/CDパイプライン整備-テスト自動化によるデータ信頼性向上-CTO・リードエンジニアと協働した全体アーキテクチャ設計支援担当工程:要件定義、アーキテクチャ設計、インフラ構築、ETL開発、CI/CDパイプライン構築、テスト自動化、運用支援スキル:必須:AWS(S3、IAM、VPC等)でのインフラ構築・運用経験、GCP(BigQuery、IAM、ネットワーク)構築経験、BigQueryを用いた分析SQL実務経験、AWSGlue(PySpark)でのETL開発・チューニング経験、TerraformによるマルチクラウドIaC実践尚可:ApacheAirflowの運用経験、CI/CDツール(GitLabCI、Jenkins等)活用経験、データ品質管理・テスト自動化の実務経験稼働場所:東京都内(出社中心)その他:業種:情報・通信・メディア、プロジェクト開始時期は相談に応じて調整、長期参画を想定
業務内容:・データレイク/ETL基盤の設計・構築・運用・AWSGlue(ApacheSpark)による分散処理・パフォーマンスチューニング・S3/LakeFormationを用いたデータ管理・セキュリティ設計・GCPBigQueryを用いたDWH環境整備・クエリ最適化・AWSとGCP間のデータ連携パイプライン最適化・TerraformによるマルチクラウドIaC実装・自動化・Airflow等によるワークフロー管理とCI/CD整備・データ品質テストの自動化担当工程:設計、構築、運用、保守スキル:必須:・AWS(S3、IAM、VPC等)でのインフラ構築・運用経験・GCP(特にBigQuery)での構築・IAM・ネットワーク設定経験・BigQueryを用いた分析SQL実務経験(パーティショニング/クラスタリング)・AWSGlue(PySpark)でのETL開発・パフォーマンスチューニング・TerraformによるIaC実践(マルチクラウドまたは複数環境)尚可:・LookerStudio等によるBIダッシュボード構築・Airflow/MWAAでの複雑ジョブ管理・DeltaLake/Iceberg/Hudiなどのデータレイクハウス設計経験・Kinesis/Firehose/Pub/Subを用いたストリーミング処理経験・Python/Go/Javaでのツール開発経験稼
業務内容:-Databricks(PySpark,Scala)環境のパフォーマンス最適化-大規模データ処理の実装・改修-Azureデータ基盤のパフォーマンス改善-保守・構成管理およびリファクタリング担当工程:設計、実装、テスト、保守・運用スキル:必須:Databricksでの開発経験(PySpark、Scala)、Sparkクラスタの構造理解とチューニング経験、数億行規模の大規模データ処理経験(Hadoop/Spark)尚可:Azureデータ基盤(DataFactory、SQLServer、SQLDatabase、Functions、DevOps等)の構築・運用経験、Azureインフラ(VNet、PrivateLink、LoadBalancer等)の知識、Transact‑SQLによるクエリ最適化経験、Python・PowerShell等のスクリプティングスキル、GitHub等のソースコード管理経験稼働場所:神奈川県(初月は週3回出社、その後は週1回出社)その他:業種:自動車・輸送機器(トラック製造販売メーカー)/開始時期:2024年3月~/募集人数:1名/外国籍不可/経験年数が浅い候補者を優先する可能性あり
業務内容:-AI基盤(Databricks)利用部門からの申請対応(ユーザー登録・権限付与・システム接続設定等)-問い合わせ対応・原因切り分け(Sparkログを用いた調査・対応方針策定・実行)-基盤機能のメンテナンス(不具合対応・機能改善)-基盤機能の拡充(Databricks機能の検討・新機能導入方針策定)担当工程:運用保守/機能拡充スキル:必須:Databricksまたは類似クラウドデータ基盤の運用保守経験、Sparkログを用いた原因調査・定常保守経験、利用部門や関連部署とのコミュニケーション経験尚可:AzureADとDatabricks連携等の認証・権限設計経験、AI・データ分析基盤の要件定義・設計経験、Databricks上でのモデル実装やPoC推進経験、AzureやAWS上でのシステム監視・保守経験稼働場所:東京都(基本リモート、必要に応じ客先出社)その他:業種:金融・保険業、開始時期:1月、PC貸与あり、リモート頻度:基本リモート
業務内容:-Databricks(PySpark,Scala)環境のパフォーマンス最適化-大規模データ処理の実装・改修-Azureデータ基盤のパフォーマンス改善-保守・構成管理およびリファクタリング担当工程:-要件確認・設計-実装・テスト-パフォーマンスチューニング-運用保守スキル:必須:DatabricksでのPySpark・Scalaコーディング、コードチューニング、Sparkクラスタ構造・最適化、大規模データ(数億行規模)取扱経験尚可:Azureデータ基盤構築・運用(DataFactory,SQLServer,Databricks等)、Azureインフラ知識(VNet,PrivateLink等)、Transact‑SQLによるクエリチューニング、Python・PowerShellスクリプト、GitHubによるソース管理稼働場所:神奈川県(初月は週3回出社、以降は週1回出社、リモート可)その他:業種:自動車・輸送機器(トラック製造販売メーカー向け物流可視化基盤)開始時期:2025年3月開始予定プロジェクトは既に数名がアサイン済みで、迅速な立ち上げが求められる外国籍不可
業務内容:-AWS基盤(EventBridge、StepFunctions、Lambda、Glue、S3、EC2、SG、ELB)を用いた開発・運用支援-データパイプラインの整備・高度化(PySpark)-AWSサービス連携の最適化-情報系業務フロー改善-基盤の開発・運用・保守全般担当工程:開発、運用、保守スキル:必須:AWS(EventBridge、StepFunctions、Lambda、Glue)での開発経験、S3・EC2・SG・ELB等の基盤知識、Python開発経験、PySparkでのデータパイプライン構築経験、SQL実装(複数テーブルJOIN)経験、StoredProcedureのレビュー・開発経験、Gitを用いたチーム開発経験、情報系システムまたは運用経験、ジョブフロー設計書のレビュー経験尚可:Snowflake利用経験、TableauServerの構築・保守運用経験、TableauPrep・Desktopでの開発経験稼働場所:東京都(リモート併用、在宅20~30%、出社70~80%)その他:業種:金融(銀行)情報系システム、開始時期:即日または相談可能、就業時間:9:00~18:00、服装:私服またはビジネスカジュアル
業務内容:-Python/PySparkを用いた信用リスクシステムの再構築およびAWSへの移行-WBS作成等タスク整理、進捗・課題管理、各種報告書作成-プロジェクト推進に関わる会議出席・報告-プロジェクト推進業務全般担当工程:要件定義、詳細設計、実装、テスト、運用、プロジェクト管理スキル:必須:Python開発経験、AWS上での開発経験、詳細設計以降を含むシステム開発経験尚可:AWSGlueの使用経験、PySparkの実務経験、リーダー/サブリーダー等のチームマネジメント経験稼働場所:東京都(リモート併用、週に2~3日程度)その他:業種:銀行・信託、開始時期:即日開始可能
業務内容:-AWS(EventBridge、StepFunctions、Lambda、Glue、S3、EC2、SecurityGroup、ELB)を用いた基盤の設計・開発・運用-Python・PySparkによるデータパイプラインの構築-RDB・SQLを使用したテーブル定義書・StoredProcedureのレビュー・実装-Gitを利用したチーム開発-情報系システムのジョブフロー設計書のレビュー担当工程:要件定義、設計、実装、テスト、運用・保守スキル:必須:-AWS(EventBridge、StepFunctions、Lambda、Glue)での開発経験-AWS基盤全般(S3、EC2、SecurityGroup、ELB等)の知識-Python開発経験-PySparkを用いたデータパイプライン構築経験-SQLを用いた複数テーブルJOINとStoredProcedureの実装・レビュー経験-Gitを利用したチーム開発経験-情報系システムまたは他システムの運用・ジョブフロー設計書レビュー経験尚可:-Snowflakeの利用経験-TableauServerの構築・保守運用経験-TableauPrep/Desktopを用いた開発経験稼働場所:東京都(リモート併用)在宅20〜30%、出社70〜80%その他:-金融(銀行)向け次期情報系基盤プロジェクト-長期継続の可能
業務内容:-AWS(EventBridge、StepFunctions、Lambda、Glue等)を用いた基盤開発-S3、EC2、SecurityGroup、ELB等のインフラ設定・運用-テーブル定義書・StoredProcedureのレビュー・開発-複数テーブルJOINを含むSQL実装-Python・PySparkによるデータパイプライン構築-Gitを利用したチーム開発-情報系システムの運用・ジョブフロー設計書レビュー担当工程:要件定義、設計、実装、テスト、運用保守までの全工程を担当(特に基盤開発・データパイプライン構築)スキル:必須:AWS(EventBridge、StepFunctions、Lambda、Glue)実装経験、AWS基盤(S3、EC2、SecurityGroup、ELB等)知識、テーブル定義書・StoredProcedureのレビュー経験、複数テーブルJOINを伴うSQL実装経験、Python開発経験、PySparkを用いたデータパイプライン構築経験、Gitを利用したチーム開発経験、情報系システム(または類似システム)での運用経験、ジョブフロー設計書レビュー経験尚可:Snowflakeの実務経験、TableauServerの構築・保守運用経験、TableauPrep/Desktopの開発経験、大規模データ基盤の設計・運用経験稼働場所:
業務内容:-AWSGlue(PySpark)を用いたETL開発およびパフォーマンスチューニング-S3とLakeFormationによるデータレイクのガバナンス・セキュリティ設計-BigQueryを活用したデータウェアハウス構築、データモデリング、クエリ最適化-AWSとGCP間のデータ連携フローの設計・最適化-Terraformによるマルチクラウド環境のIaC自動化-ApacheAirflowを用いたワークフロー管理とCI/CDパイプライン整備-テスト自動化によるデータ信頼性向上-CTO・リードエンジニアと共同で全体アーキテクチャ設計支援担当工程:要件定義、設計、実装、テスト、CI/CD構築、運用支援スキル:必須:-AWS(S3、IAM、VPC等)でのインフラ構築・運用経験-GCP(特にBigQuery、IAM、ネットワーク)での構築経験-BigQueryを用いた実務レベルのSQL開発経験(パーティショニング・クラスタリング等)-AWSGlue(PySpark)でのETL開発経験-TerraformによるIaC実践経験(マルチクラウドまたは複数環境)尚可:-データガバナンス・セキュリティ設計の実務経験-大規模データ基盤の運用・改善経験稼働場所:東京都(出社中心)その他:-情報・通信・メディア業界向けのハイブリッドデータ基盤構築プロジェクト-参画時期は相談に
業務内容:-データ分析プロジェクトの運営・開発チームリード-アクセス権限管理・監査-ユーザ要件確認・案件マネジメント・QuickSight管理-JIRAを用いたチケット化・担当チームへの依頼-AWS(S3、Glue、StepFunctions、Athena、Lambda、Notebook等)およびDatabricks環境での保守・開発担当工程:プロジェクトマネジメント、要件定義、設計、実装、テスト、運用保守スキル:必須:日本語でのコミュニケーション、英語での書面対応、AWS(Glue、StepFunctions、Athena、S3、Lambda、Notebook等)実務経験、SQL実務経験、PMO/PL経験尚可:DataLake/Lakehouse基礎知識、QuickSight・PowerBI利用経験、Databricks、Terraform、CI/CD知識、JIRA管理者操作経験、Python・PySpark開発経験、損保業務・Guidewire知識、英語での口頭コミュニケーション稼働場所:東京(週1~2回の現場出社、リモート可)その他:業種:情報・通信・メディア(データ分析系システム)開始時期:2026年2月開始(1月からの開始も可)、長期就業時間:9:00~18:00(休憩1時間)募集人数:SE2名
業務内容:-AWS(ECS、StepFunction等)を用いたデータ処理基盤の構築・検証-Kubernetes上でのコンテナ運用-Python(pyspark、JupyterNotebook等)によるアルゴリズム実装-Dockerfileの作成・読解-GitHubActionsのCI/CD設定担当工程:基盤の設計・構築・検証およびアルゴリズム実装支援スキル:必須:スクラム開発経験、AWS(ECS、StepFunction等)の実務知見、Kubernetesの知識、Python(pyspark、JupyterNotebook等)での開発経験、Dockerfileの作成・読解経験、機械学習アプリケーションに関する知見、GitHubActionsのコード作成・読解経験尚可:動画データ処理に関する知識(Pythonベース)稼働場所:東京都(フルリモート、初回出社あり)その他:業種:自動車・輸送機器(ADAS)関連、開始時期:即日開始可能、募集人数:1名、年齢制限なし、外国籍不可
業務内容:-Python/Pysparkによる信用リスクシステムの再構築-WBS作成、進捗・課題・メンバー管理、各種報告書作成-プロジェクト推進に関わる会議出席・報告-その他プロジェクト推進業務全般担当工程:要件定義、詳細設計、実装、テスト、運用保守スキル:必須:Pythonでの開発・保守経験、Pyspark経験、詳細設計以降のシステム開発経験、AWS上での開発経験尚可:なし稼働場所:東京都(リモート併用)その他:業種:金融・保険業(銀行・信託)/開始時期:随時/リモート勤務:週2〜3日程度可能
業務内容:-AWSGlue(ApacheSpark)を用いた分散ETLパイプラインの設計・実装・チューニング-S3/LakeFormationによるデータレイク管理・セキュリティ設計-GCPBigQuery環境の構築、データモデリング、パーティショニング・クラスタリングを含むクエリ最適化-AWS↔GCP間のデータ連携パイプラインの設計・最適化-TerraformによるマルチクラウドインフラのIaC管理-Airflow等を用いたワークフロー管理、CI/CDパイプライン整備、データ品質テストの自動化担当工程:設計、実装、テスト、運用スキル:必須:-AWS(S3、IAM、VPC等)でのインフラ構築・運用経験-AWSGlue(PySpark)によるETL開発とパフォーマンスチューニング-GCPBigQueryでの実務レベルSQL分析(パーティショニング、クラスタリング)経験-Terraformを用いたIaC実践(マルチクラウドまたは複数環境)経験-基本的なネットワーク・IAM設定の知識尚可:-LookerStudio等でのBIダッシュボード作成-ApacheAirflow/MWAAでの複雑ジョブ管理-データレイクハウス設計(DeltaLake、Iceberg、Hudi等)-Kinesis、Firehose、Pub/Sub等を用いたストリーミング処理経験-Pyth
業務内容:AWS(ECS、StepFunctions等)を活用し、ADASデータの推論処理システムの検証・実装を行う。担当工程:要件検証、実装、デプロイ、テスト、運用支援。スキル:必須:スクラム開発経験、AWS(ECS、StepFunctions等)知見、Kubernetes知識、Python(PySpark、JupyterNotebook等)実務経験、Dockerfile作成・読解、機械学習アプリケーション知見、GitHubActionsコード作成・読解尚可:動画形式等の知識(Pythonベース)稼働場所:フルリモート(初回出社あり)その他:業種:情報・通信・メディア、開始時期:即日、募集枠:1名、年齢制限:なし、外国籍:不可、事業主:可