新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:84件
| 業務内容：エンタメ企業の基幹システム更改におけるハイブリッドクラウド（OCI・Azure・オンプレ）設計〜テスト、運用設計・監視設計／建設業向けJava＋Reactでのサーバサイド・フロント一貫開発／Linuxサーバ構築・切替・運用オペレーション支援／自動車製造業向け見積システムのAWS設計・構築・保守／情報・通信・メディア系サービスのBIデータ抽出・可視化支援／自動車製造業マスタデータ管理システムのJava・Spring再設計・実装／銀行・信託や保険領域を含む金融システムのPM・運用推進／生保向けAzure基盤保守・Datadog導入・運用改善／航空系情報転送インターフェースのVC++移設・総合試験／受発注管理システムのAWSGlueVisualETL・PySparkによるETL再構築など、多様な案件をまとめてご紹介。担当工程：要件定義、アーキテクチャ検討、PoC、基本設計、詳細設計、実装、テスト、運用設計、監視設計、保守・改善、PM・進捗／課題管理、データ抽出・可視化、トラブルシューティングほかスキル：必須：AWS（各種マネージドサービス）／Azure基盤設計・保守／OCI／Terraform／Linuxサーバ設計・構築・運用／コンテナ設計・構築／Tomcatほかミドルウェア構築／Java（Spring）／React／VC++2019／SQL・BIツール／ETL（ |
| 業務内容：AzureDatabricksとMicrosoftFabricを活用し、Lakehouse形式のデータ分析基盤を要件定義から設計・構築・実装まで技術リードとして推進します。具体的にはSQLクエリ開発、ETL処理、PySparkによるデータ変換および分析ロジック実装、Lakehouseアーキテクチャに基づくソリューション開発、ドキュメント整備、運用保守フェーズへの引き継ぎ・支援を行います。担当工程：要件定義／基本設計／詳細設計／実装／テスト／導入／運用移行スキル：必須：日本語・英語バイリンガル、テクニカルリード経験、SQLクエリ開発経験、AzureDataLake・AzureSynapseなどAzureサービス連携経験尚可：AzureDatabricksまたはPySpark開発経験、CI／CD・GitなどDevOps環境での経験、PowerBI・MicrosoftFabric経験稼働場所：東京都／フルリモート（PC受取などで出社の可能性あり）その他：期間：即日開始、約1年間予定外国籍応募可（日本語能力試験N1〜N2レベル） |
| 業務内容：AWSLambda+Javaで実装されたデータの転送処理アプリをDatabricks(Sparkのマネージド基盤)上で動くようにマイグレーションし性能検証を実施する。基本的にはアプリケーションのPoCになる。担当工程：-データ転送処理アプリのマイグレーション-性能検証スキル:-Java開発経験-アジャイル開発経験もしくは近い環境での開発経験-PoC作業への興味-勤怠、コミュニケーション能力-AWS(特にLambda)環境での開発経験があれば尚可その他:-業界：自動車・輸送機器-勤務地：神奈川県-テレワークメイン（立ち上がり時は出勤の可能性あり）-面談回数：1回-ウォーターフォール型案件のみの経験者は不可 |
| 業務内容：自動車業界向けの車両データ転送処理のPoC（概念実証）を実施。AWSLambdaとJavaで実装されたデータ転送処理アプリケーションをDatabricks（Sparkのマネージド基盤）上で動作するようにマイグレーションし、性能検証を行う。担当工程：-アプリケーションのマイグレーション-性能検証スキル:必須：-Java開発経験-アジャイル開発経験または類似環境での開発経験-PoCに対する興味-優れたコミュニケーション能力尚可：-AWS（特にLambda）環境での開発経験その他：-勤務地：神奈川県-作業環境：リモートワークが主体-開発手法：アジャイル-使用技術：Java,AWSLambda,Databricks,Spark |
| 業務内容：自動車業界向けのデータ転送処理アプリケーションのPoCを実施。AWSLambda+Javaで実装されたデータの転送処理アプリをDatabricks(Sparkのマネージド基盤)上で動作するようにマイグレーションし、性能検証を行う。担当工程：-アプリケーションのマイグレーション-性能検証スキル:必須：-Java開発経験-アジャイル開発経験もしくは近い環境での開発経験-PoC作業への興味-良好な勤怠とコミュニケーション能力尚可：-AWS(特にLambda)環境での開発経験その他：-業界：自動車・輸送機器-勤務地：神奈川県-面談回数：1回-テレワークメインだが、立ち上がり時は出勤が多くなる可能性あり-ウォーターフォール型案件のみの経験者は不可 |
データエンジニア：大手求人検索サービス／東京都／週1出社 - 7日前に公開
| 業務内容：大手求人検索サービスにおけるデータエンジニアの業務担当工程：データエンジニアリング全般スキル:データエンジニアリングスキル大規模データ処理データパイプライン構築データウェアハウス設計ETL処理クラウドプラットフォーム（AWS、GCP、Azureなど）ビッグデータ技術（Hadoop、Spark、Hiveなど）SQLプログラミング言語（Python、Java、Scalaなど）データ可視化ツール勤務地：東京都業界：情報・通信・メディア |
| 業務内容：車両データを可視化する既存システムに新規機能を追加する開発案件。主な作業は以下の通り。・特定のデータを削除する機能追加・車両データを可視化する新規グラフ追加作業範囲は設計、製造、単体テスト、結合テスト、システムテスト、リリース作業。・車両データを可視化する既存システムへの新規機能追加開発・バックエンド(バッチ処理)の改修担当工程：設計、製造、単体テスト、結合テスト、システムテスト、リリース作業スキル:・Java開発5年以上・AWS開発2年以上・設計~開発~各種テストを自律して完遂できる能力尚可スキル：・ビックデータ開発経験(分散処理、Hadoop、Spark、AWS、EMRなど)・顧客とのコミュニケーション、報告などの経験・Iceberg、AWSS3Tablesの利用経験業種業界：自動車・輸送機器勤務地：愛知県稼働場所：リモート可、必要に応じ出社 |
| 業務内容：GenerativeAI向けデータ基盤の構築・運用支援DB設計・運用(RDB/NoSQL/DWHなど)クラウド(GCP/AWS)でのインフラ構築(Docker/Kubernetes)API開発、データ連携設計・実装データパイプライン開発必要スキル：Python/SQLによるデータ処理経験DB設計・運用経験クラウド利用経験Docker/Kubernetesを用いたインフラ構築経験API開発またはデータ連携設計・実装経験ビジネスレベルの日本語力尚可スキル：LLM/GenerativeAIの知見または活用経験AI学習用データの管理・整備経験データパイプライン開発経験Spark、Hadoopなどのビッグデータ技術の知見多国籍・英語環境での業務経験面談：オンライン開発環境：Python、TypeScript(React/Next.js)、GCP、Docker、Kubernetes、GitHub、Slack、Linear、GoogleWorkspace勤務地：東京都業種：情報・通信・メディア |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援を行います。主な業務は以下の通りです。-各種データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、運用スキル:必須スキル：-AWS(EventBridge、StepFunctions、Lambda、Glueのいずれかを用いた開発経験)-SQL開発経験(複数テーブルJOINを含む)-ストアドプロシージャの設計/開発経験-Pythonの開発経験-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験歓迎スキル：-PySparkでのデータパイプライン構築経験-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験勤務地：東京都業種：情報・通信・メディア |
| 業務内容：広告プラットフォームのデータ分析基盤構築、機械学習モデル開発、運用担当工程：データ分析基盤構築、機械学習モデル開発、運用スキル:必須：-Python(Pandas,NumPy,Scikit-learn)-SQL-機械学習モデル開発経験-クラウド(AWS/GCP/Azure)での開発経験-Docker/Kubernetes尚可：-Spark-Hadoop-データ可視化ツール(Tableau,PowerBI)-自然言語処理-広告業界経験その他：-勤務地：東京都-業種：情報・通信・メディア-リモートワーク週2日まで可-期間6ヶ月~(長期)-勤務時間9:00~18:00(休憩1時間) |
| 業務内容：某大手企業の小中学生向け学習支援サービスのデータ分析基盤の保守開発を担当します。フルリモートでの勤務となります。担当工程：データ分析基盤の構築運用、大規模データ処理スキル:-AzureDataFactoryを用いたデータ分析基盤の構築運用経験-Databricksの経験-PySparkを用いた大規模データ処理経験その他情報：-期間：7月から長期-勤務時間：9:00～18:00-募集人数：2名-面談回数：2回 |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援業務-各種データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、運用スキル:必須：-AWSサービス(EventBridge、StepFunctions、Lambda、Glue)の知識と開発経験-SQL開発経験(複数テーブルJOIN含む)-StoredProcedure設計/開発経験-Python開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験歓迎：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験勤務地：東京都業種：情報・通信・メディア |
| 業務内容：クレジットカードシステム開発、加盟店データ中継システム新規構築（ホスト→Hadoop基盤へのデータ連携）基本設計・詳細設計・製造・テスト・本番リリースまで一連の作業担当工程：基本設計、詳細設計、製造、テスト、本番リリーススキル:必須：-Java開発経験（目安：5年以上）-Linux、Windows（ファイル連携システム開発のためDB無）尚可：-加盟店精算系知識および経験-Sparkフレームワーク-ApacheParquet、HDFS、Hive、VSCode、GitLab-COBOL（現行システム解析）勤務地：東京都業界：金融・保険業 |
| 業務内容：AzureDatabricks/Fabricを中心としたデータ分析基盤の設計/構築/実装のリードSQL、ETL、PySpark、Databricksを活用し、Lakehouseアーキテクチャに沿った分析ソリューションの開発要件定義からデリバリー、技術リード、ドキュメント化を担当必要スキル:日本語/英語バイリンガルテクニカルリードの経験AzureDatabricksもしくはPySparkを用いた開発経験SQLによるクエリ開発経験Azureサービスとの連携経験(AzureDataLake、AzureSynapseなど)尚可スキル:CI/CDやGitなどのDevOps経験PowerBI、MicrosoftFabric経験勤務地:東京都勤務形態:フルリモート可※PC受け取りなどで出社あり業界:情報・通信・メディア |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援をご担当いただきます。各種データパイプラインの設計・開発、インタフェースレイヤの構築（外部システムとのデータ連携）、物理レイヤにおけるデータ登録・加工・データマート構築、インタフェース～物理レイヤの一気通貫ジョブの作成、テスト計画および実施、ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー、Backlogを用いた課題管理、ベンダーとの折衝、定例MTGへの参加が含まれます。担当工程：設計、開発、テスト、運用スキル：必須：-AWSに関する知識(EventBridge、StepFunctions、Lambda、Glueのいずれかを用いた開発経験)-SQL開発経験(複数テーブルJOINを含む)-StoredProcedureの設計/開発経験-Pythonの開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWSの基本サービス知識(S3、EC2、SG、ELBなど)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験勤務地：東京都業種：情報・通信・メディア |
| 業務内容：・パッケージ製品である小中学生向け学習支援サービスのデータ分析基盤の保守開発・Azureのデータ分析基盤の構築運用・クラウド(ETL/ELT)の作業・PySparkを用いた大規模データ処理担当工程：保守開発スキル:・Azureのデータ分析基盤の構築運用経験・クラウド(ETL/ELT)の経験・PySparkを用いた大規模データ処理経験その他：・フルリモート勤務・7月から長期案件・募集人数は2名・web面談2回 |
| 業務内容：大手電機メーカーの社内システムにおいて、AWSGlueを使って需要予測システムから出力したデータを抽出・変換し、DWH(Redshift)からデータマート(Redshift)に登録する機能の設計・開発を行う。既存のPythonShellによるETLがあるが性能要件を満たさないため、VisualETLおよびPySparkで作り直しを行う。担当工程：-AWSGlueでVisualETLおよびPySparkを使ったETLの設計・開発-需要予測システムからのデータ抽出・変換-DWH(Redshift)からデータマート(Redshift)へのデータ登録スキル:必須：-AWSGlueでVisualETLの経験-PySparkの経験-RDBMSの経験尚可：-Python-SQL-AmazonRedshift-AmazonS3-PowerBI勤務地：東京都稼働形態：フルリモート業種：電機・電子・精密機器期間：2023年7月1日開始(調整可能)短期(2ヶ月程度) |
| 業務内容：AzureDatabricks/Fabricを中心としたデータ分析基盤の設計/構築/実装をリード。SQL、ETL、PySpark、Databricksを活用し、Lakehouseアーキテクチャに沿った分析ソリューションを開発。要件定義からデリバリー、技術リード、ドキュメント化までを担当。担当工程：要件定義、設計、構築、実装、デリバリー、技術リード、ドキュメント化スキル：必須：-日本語/英語バイリンガル-テクニカルリードの経験-AzureDatabricksもしくはPySparkを用いた開発経験-SQLによるクエリ開発経験-Azureサービスとの連携経験(AzureDataLake、AzureSynapseなど)尚可：-CI/CDやGitなどのDevOps経験-PowerBI、MicrosoftFabric経験その他：-稼働場所：フルリモート-地方勤務可-外国籍可（日本語JLPTN1-N2レベル）-面談回数：2回(予定)業種業界：情報・通信・メディア |
| 業務内容：キャリア向けFraudManagementSystem(FMS)のリプレース案件。現状のパッケージ製品から内製化を目指す。FMSは回線契約者の不正利用を検知するシステム。主な業務：-バッチ系におけるETLアーキテクチャの検討-数億件レベルの大量データ処理アーキテクチャの検討-コンテナAPIの開発-SPA(Single-pageapplication)のコンテナ構築担当工程：設計、開発スキル：必須：-PySpark/ApacheKafka/ApacheFlinkのいずれかの使用経験歓迎：-バッチ系におけるETLアーキテクチャの検討経験-数億件レベルの大量データ処理アーキテクチャの検討経験-コンテナAPIの開発経験(k8s)-SPA(Single-pageapplication)のコンテナ構築に関する知見その他：-協調性とコミュニケーション能力勤務地：東京都業界：情報・通信・メディア |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援業務。主な業務内容は以下の通り。-各種データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、レビュースキル:必須：-AWSの製品(EventBridge、StepFunctions、Lambda、Glue)に関する知識と開発経験-SQL開発経験(複数テーブルJOINを含む)-StoredProcedureの設計/開発経験-Python開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験案件情報：-開始時期：2025年7月から（6月途中からも可）-場所：東京都 |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援。各種データパイプラインの設計・開発、インタフェースレイヤの構築、物理レイヤにおけるデータ登録・加工・データマート構築、インタフェース～物理レイヤの一気通貫ジョブの作成、テスト計画および実施、各種設計書のドキュメントレビュー、Backlogを用いた課題管理、ベンダーとの折衝、定例MTGへの参加。担当工程：要件定義、設計、開発、テスト、運用スキル：必須：-AWS(EventBridge、StepFunctions、Lambda、Glueのいずれかを用いた開発経験)-SQL開発経験(複数テーブルJOINを含む)-ストアドプロシージャの設計/開発経験-Python開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験業種業界：情報・通信・メディア勤務地：東京都 |
| 業務内容：B2CのWebアプリケーションシステム開発、サービス維持対応。Webシステムの設計・開発、本番システム保守。基本設計～リリース、リリース後の保守（問合せ対応、障害対応）まで。担当工程：基本設計～リリース、リリース後の保守スキル:-PHP、JavaScript、HTML、CSS、SQL-基本設計以上の上流工程経験（3年以上）-本番リリース検証、本番システム保守開発経験-DBパフォーマンスを意識したSQL開発-DBパフォーマンスチューニング経験業務内容：生保システムのマイグレーションスキル:-AzureApacheSparkでの設計経験-Azureを使用した設計経験-生保システム開発経験-代理店成績管理業務業務内容：生保システム開発（PMO）。チームと関係者との調整業務。スキル:-PMOの経験-進捗管理の経験-顧客折衝およびベンダーコントロールの経験-能動的なコミュニケーション能力-開発案件でのPMO経験-金融案件の参画経験案件の地域：東京都業種業界：金融・保険業 |
| 業務内容：データウェアハウス移行プロジェクトにおいて、DIH(DataIntegrationHub)からADF(AzureDataFactory)への移行作業を行います。具体的には、ADF移行方針決定、検証、連携テストを実施します。担当工程：移行方針決定、検証、連携テストスキル:必須:・AzureDataFactoryの設計経験・SQL(ストアドプロシージャ等)の設計経験・コミュニケーションスキル歓迎:・DataIntegrationHubの知識と経験・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験勤務地:東京都（テレワークメイン）業種業界:情報・通信・メディア |
| 業務内容：飲料メーカー向け需要予測サービスの開発業務支援。AzureDatabricksを使用した、Python,SQL言語による開発業務。需要予測サービスの追加機能開発と既存機能の改善を行う。担当工程：分析、設計（基本設計,詳細設計）、プログラミング、単体テスト、結合テスト、ドキュメント作成スキル:必須：・Azure上での商用サービスの開発経験・SQLを用いたデータ抽出・加工経験が3年以上・Python（pandas、matplotlib）を使用したチーム開発の実務経験が3年以上尚可：・AzureDataBricksなどを使ったデータのETL処理や機械学習モデルの開発経験・Pysparkツールを使ってデータ操作ができること・データに基づいた客観的な判断力や問題解決能力勤務地：東京都業種：食品・飲料 |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援業務。主な業務は以下の通り。-データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-各種設計書のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、運用スキル:必須：-AWS製品(EventBridge、StepFunctions、Lambda、Glue)に関する知識と開発経験-SQL開発経験(複数テーブルJOINを含む)-StoredProcedureの設計/開発経験-Pythonの開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験業種業界：情報・通信・メディア勤務地：東京都 |