新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:205件
| 業務内容：自動車業界向けのデータ転送処理アプリケーションのPoCを実施。AWSLambda+Javaで実装されたデータの転送処理アプリをDatabricks(Sparkのマネージド基盤)上で動作するようにマイグレーションし、性能検証を行う。担当工程：-アプリケーションのマイグレーション-性能検証スキル:必須：-Java開発経験-アジャイル開発経験もしくは近い環境での開発経験-PoC作業への興味-良好な勤怠とコミュニケーション能力尚可：-AWS(特にLambda)環境での開発経験その他：-業界：自動車・輸送機器-勤務地：神奈川県-面談回数：1回-テレワークメインだが、立ち上がり時は出勤が多くなる可能性あり-ウォーターフォール型案件のみの経験者は不可 |
| 業務内容：大手求人検索サービスにおけるデータエンジニアの業務担当工程：データエンジニアリング全般スキル:データエンジニアリングスキル大規模データ処理データパイプライン構築データウェアハウス設計ETL処理クラウドプラットフォーム（AWS、GCP、Azureなど）ビッグデータ技術（Hadoop、Spark、Hiveなど）SQLプログラミング言語（Python、Java、Scalaなど）データ可視化ツール勤務地：東京都業界：情報・通信・メディア |
| 業務内容：車両データを可視化する既存システムに新規機能を追加する開発案件。主な作業は以下の通り。・特定のデータを削除する機能追加・車両データを可視化する新規グラフ追加作業範囲は設計、製造、単体テスト、結合テスト、システムテスト、リリース作業。・車両データを可視化する既存システムへの新規機能追加開発・バックエンド(バッチ処理)の改修担当工程：設計、製造、単体テスト、結合テスト、システムテスト、リリース作業スキル:・Java開発5年以上・AWS開発2年以上・設計~開発~各種テストを自律して完遂できる能力尚可スキル：・ビックデータ開発経験(分散処理、Hadoop、Spark、AWS、EMRなど)・顧客とのコミュニケーション、報告などの経験・Iceberg、AWSS3Tablesの利用経験業種業界：自動車・輸送機器勤務地：愛知県稼働場所：リモート可、必要に応じ出社 |
| 業務内容：GenerativeAI向けデータ基盤の構築・運用支援DB設計・運用(RDB/NoSQL/DWHなど)クラウド(GCP/AWS)でのインフラ構築(Docker/Kubernetes)API開発、データ連携設計・実装データパイプライン開発必要スキル：Python/SQLによるデータ処理経験DB設計・運用経験クラウド利用経験Docker/Kubernetesを用いたインフラ構築経験API開発またはデータ連携設計・実装経験ビジネスレベルの日本語力尚可スキル：LLM/GenerativeAIの知見または活用経験AI学習用データの管理・整備経験データパイプライン開発経験Spark、Hadoopなどのビッグデータ技術の知見多国籍・英語環境での業務経験面談：オンライン開発環境：Python、TypeScript(React/Next.js)、GCP、Docker、Kubernetes、GitHub、Slack、Linear、GoogleWorkspace勤務地：東京都業種：情報・通信・メディア |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援を行います。主な業務は以下の通りです。-各種データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、運用スキル:必須スキル：-AWS(EventBridge、StepFunctions、Lambda、Glueのいずれかを用いた開発経験)-SQL開発経験(複数テーブルJOINを含む)-ストアドプロシージャの設計/開発経験-Pythonの開発経験-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験歓迎スキル：-PySparkでのデータパイプライン構築経験-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験勤務地：東京都業種：情報・通信・メディア |
| 業務内容：広告プラットフォームのデータ分析基盤構築、機械学習モデル開発、運用担当工程：データ分析基盤構築、機械学習モデル開発、運用スキル:必須：-Python(Pandas,NumPy,Scikit-learn)-SQL-機械学習モデル開発経験-クラウド(AWS/GCP/Azure)での開発経験-Docker/Kubernetes尚可：-Spark-Hadoop-データ可視化ツール(Tableau,PowerBI)-自然言語処理-広告業界経験その他：-勤務地：東京都-業種：情報・通信・メディア-リモートワーク週2日まで可-期間6ヶ月~(長期)-勤務時間9:00~18:00(休憩1時間) |
| 業務内容：某大手企業の小中学生向け学習支援サービスのデータ分析基盤の保守開発を担当します。フルリモートでの勤務となります。担当工程：データ分析基盤の構築運用、大規模データ処理スキル:-AzureDataFactoryを用いたデータ分析基盤の構築運用経験-Databricksの経験-PySparkを用いた大規模データ処理経験その他情報：-期間：7月から長期-勤務時間：9:00～18:00-募集人数：2名-面談回数：2回 |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援業務-各種データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、運用スキル:必須：-AWSサービス(EventBridge、StepFunctions、Lambda、Glue)の知識と開発経験-SQL開発経験(複数テーブルJOIN含む)-StoredProcedure設計/開発経験-Python開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験歓迎：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験勤務地：東京都業種：情報・通信・メディア |
| 業務内容：クレジットカードシステム開発、加盟店データ中継システム新規構築（ホスト→Hadoop基盤へのデータ連携）基本設計・詳細設計・製造・テスト・本番リリースまで一連の作業担当工程：基本設計、詳細設計、製造、テスト、本番リリーススキル:必須：-Java開発経験（目安：5年以上）-Linux、Windows（ファイル連携システム開発のためDB無）尚可：-加盟店精算系知識および経験-Sparkフレームワーク-ApacheParquet、HDFS、Hive、VSCode、GitLab-COBOL（現行システム解析）勤務地：東京都業界：金融・保険業 |
| 業務内容：AzureDatabricks/Fabricを中心としたデータ分析基盤の設計/構築/実装のリードSQL、ETL、PySpark、Databricksを活用し、Lakehouseアーキテクチャに沿った分析ソリューションの開発要件定義からデリバリー、技術リード、ドキュメント化を担当必要スキル:日本語/英語バイリンガルテクニカルリードの経験AzureDatabricksもしくはPySparkを用いた開発経験SQLによるクエリ開発経験Azureサービスとの連携経験(AzureDataLake、AzureSynapseなど)尚可スキル:CI/CDやGitなどのDevOps経験PowerBI、MicrosoftFabric経験勤務地:東京都勤務形態:フルリモート可※PC受け取りなどで出社あり業界:情報・通信・メディア |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援をご担当いただきます。各種データパイプラインの設計・開発、インタフェースレイヤの構築（外部システムとのデータ連携）、物理レイヤにおけるデータ登録・加工・データマート構築、インタフェース～物理レイヤの一気通貫ジョブの作成、テスト計画および実施、ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー、Backlogを用いた課題管理、ベンダーとの折衝、定例MTGへの参加が含まれます。担当工程：設計、開発、テスト、運用スキル：必須：-AWSに関する知識(EventBridge、StepFunctions、Lambda、Glueのいずれかを用いた開発経験)-SQL開発経験(複数テーブルJOINを含む)-StoredProcedureの設計/開発経験-Pythonの開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWSの基本サービス知識(S3、EC2、SG、ELBなど)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験勤務地：東京都業種：情報・通信・メディア |
| 業務内容：・パッケージ製品である小中学生向け学習支援サービスのデータ分析基盤の保守開発・Azureのデータ分析基盤の構築運用・クラウド(ETL/ELT)の作業・PySparkを用いた大規模データ処理担当工程：保守開発スキル:・Azureのデータ分析基盤の構築運用経験・クラウド(ETL/ELT)の経験・PySparkを用いた大規模データ処理経験その他：・フルリモート勤務・7月から長期案件・募集人数は2名・web面談2回 |
| 業務内容：大手電機メーカーの社内システムにおいて、AWSGlueを使って需要予測システムから出力したデータを抽出・変換し、DWH(Redshift)からデータマート(Redshift)に登録する機能の設計・開発を行う。既存のPythonShellによるETLがあるが性能要件を満たさないため、VisualETLおよびPySparkで作り直しを行う。担当工程：-AWSGlueでVisualETLおよびPySparkを使ったETLの設計・開発-需要予測システムからのデータ抽出・変換-DWH(Redshift)からデータマート(Redshift)へのデータ登録スキル:必須：-AWSGlueでVisualETLの経験-PySparkの経験-RDBMSの経験尚可：-Python-SQL-AmazonRedshift-AmazonS3-PowerBI勤務地：東京都稼働形態：フルリモート業種：電機・電子・精密機器期間：2023年7月1日開始(調整可能)短期(2ヶ月程度) |
| 業務内容：AzureDatabricks/Fabricを中心としたデータ分析基盤の設計/構築/実装をリード。SQL、ETL、PySpark、Databricksを活用し、Lakehouseアーキテクチャに沿った分析ソリューションを開発。要件定義からデリバリー、技術リード、ドキュメント化までを担当。担当工程：要件定義、設計、構築、実装、デリバリー、技術リード、ドキュメント化スキル：必須：-日本語/英語バイリンガル-テクニカルリードの経験-AzureDatabricksもしくはPySparkを用いた開発経験-SQLによるクエリ開発経験-Azureサービスとの連携経験(AzureDataLake、AzureSynapseなど)尚可：-CI/CDやGitなどのDevOps経験-PowerBI、MicrosoftFabric経験その他：-稼働場所：フルリモート-地方勤務可-外国籍可（日本語JLPTN1-N2レベル）-面談回数：2回(予定)業種業界：情報・通信・メディア |
| 業務内容：キャリア向けFraudManagementSystem(FMS)のリプレース案件。現状のパッケージ製品から内製化を目指す。FMSは回線契約者の不正利用を検知するシステム。主な業務：-バッチ系におけるETLアーキテクチャの検討-数億件レベルの大量データ処理アーキテクチャの検討-コンテナAPIの開発-SPA(Single-pageapplication)のコンテナ構築担当工程：設計、開発スキル：必須：-PySpark/ApacheKafka/ApacheFlinkのいずれかの使用経験歓迎：-バッチ系におけるETLアーキテクチャの検討経験-数億件レベルの大量データ処理アーキテクチャの検討経験-コンテナAPIの開発経験(k8s)-SPA(Single-pageapplication)のコンテナ構築に関する知見その他：-協調性とコミュニケーション能力勤務地：東京都業界：情報・通信・メディア |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援業務。主な業務内容は以下の通り。-各種データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、レビュースキル:必須：-AWSの製品(EventBridge、StepFunctions、Lambda、Glue)に関する知識と開発経験-SQL開発経験(複数テーブルJOINを含む)-StoredProcedureの設計/開発経験-Python開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験案件情報：-開始時期：2025年7月から（6月途中からも可）-場所：東京都 |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援。各種データパイプラインの設計・開発、インタフェースレイヤの構築、物理レイヤにおけるデータ登録・加工・データマート構築、インタフェース～物理レイヤの一気通貫ジョブの作成、テスト計画および実施、各種設計書のドキュメントレビュー、Backlogを用いた課題管理、ベンダーとの折衝、定例MTGへの参加。担当工程：要件定義、設計、開発、テスト、運用スキル：必須：-AWS(EventBridge、StepFunctions、Lambda、Glueのいずれかを用いた開発経験)-SQL開発経験(複数テーブルJOINを含む)-ストアドプロシージャの設計/開発経験-Python開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験業種業界：情報・通信・メディア勤務地：東京都 |
| 業務内容：B2CのWebアプリケーションシステム開発、サービス維持対応。Webシステムの設計・開発、本番システム保守。基本設計～リリース、リリース後の保守（問合せ対応、障害対応）まで。担当工程：基本設計～リリース、リリース後の保守スキル:-PHP、JavaScript、HTML、CSS、SQL-基本設計以上の上流工程経験（3年以上）-本番リリース検証、本番システム保守開発経験-DBパフォーマンスを意識したSQL開発-DBパフォーマンスチューニング経験業務内容：生保システムのマイグレーションスキル:-AzureApacheSparkでの設計経験-Azureを使用した設計経験-生保システム開発経験-代理店成績管理業務業務内容：生保システム開発（PMO）。チームと関係者との調整業務。スキル:-PMOの経験-進捗管理の経験-顧客折衝およびベンダーコントロールの経験-能動的なコミュニケーション能力-開発案件でのPMO経験-金融案件の参画経験案件の地域：東京都業種業界：金融・保険業 |
| 業務内容：データウェアハウス移行プロジェクトにおいて、DIH(DataIntegrationHub)からADF(AzureDataFactory)への移行作業を行います。具体的には、ADF移行方針決定、検証、連携テストを実施します。担当工程：移行方針決定、検証、連携テストスキル:必須:・AzureDataFactoryの設計経験・SQL(ストアドプロシージャ等)の設計経験・コミュニケーションスキル歓迎:・DataIntegrationHubの知識と経験・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験勤務地:東京都（テレワークメイン）業種業界:情報・通信・メディア |
| 業務内容：飲料メーカー向け需要予測サービスの開発業務支援。AzureDatabricksを使用した、Python,SQL言語による開発業務。需要予測サービスの追加機能開発と既存機能の改善を行う。担当工程：分析、設計（基本設計,詳細設計）、プログラミング、単体テスト、結合テスト、ドキュメント作成スキル:必須：・Azure上での商用サービスの開発経験・SQLを用いたデータ抽出・加工経験が3年以上・Python（pandas、matplotlib）を使用したチーム開発の実務経験が3年以上尚可：・AzureDataBricksなどを使ったデータのETL処理や機械学習モデルの開発経験・Pysparkツールを使ってデータ操作ができること・データに基づいた客観的な判断力や問題解決能力勤務地：東京都業種：食品・飲料 |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援業務。主な業務は以下の通り。-データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-各種設計書のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、運用スキル:必須：-AWS製品(EventBridge、StepFunctions、Lambda、Glue)に関する知識と開発経験-SQL開発経験(複数テーブルJOINを含む)-StoredProcedureの設計/開発経験-Pythonの開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験業種業界：情報・通信・メディア勤務地：東京都 |
| 業務内容：データウェアハウス移行支援作業。DataIntegrationHubからAzureDataFactoryへの移行作業が主な業務。ADF移行方針決定、検証、連携テストを行う。担当工程：設計、検証、テストスキル:必須：-AzureDataFactoryの設計経験-SQL（ストアドプロシージャ等）の設計経験-コミュニケーションスキル尚可：-DataIntegrationHubの知識と経験-ApacheSparkやDatabricksの知識と経験-SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験案件情報：-業界：情報・通信・メディア-勤務地：東京都-稼働場所：テレワーク（入場から2週間程度は大手町近辺）-期間：2025年6月から7月を予定-Web面談2回（別途事前面談1回の場合あり） |
| 業務内容：大手SIerのシステムEOSL対応プロジェクトにて、以下の業務を担当。-ApacheSparkからDatabricksへのマイグレーション-Databricksを利用した開発標準の策定-プロジェクトリード担当工程：-マイグレーション-開発標準策定-プロジェクトマネジメントスキル:必須：-Databricksを用いたマイグレーションの経験-テックリードの経験尚可：-Spark処理のマイグレーションの経験その他条件：-勤務地：東京都（原則リモート）-業界：情報・通信・メディア-稼働時間：9:00～18:00-募集人数：1名 |
| ##案件1業務内容：B2CのWebアプリケーションシステムの設計・開発、サービス維持対応。基本設計～リリース、リリース後の保守（問合せ対応、障害対応）まで。担当工程：基本設計～リリース、保守スキル：・PHP、JavaScript、HTML、CSS、SQL・Webシステムの設計・開発経験・本番システム保守経験勤務地：東京都##案件2業務内容：生保システムのマイグレーション担当工程：設計スキル：・AzureApacheSparkでの設計経験・Azureを使用した設計経験・生保システム開発経験（尚可）勤務地：東京都##案件3業務内容：証券システムのEUC構築（要件定義、設計、開発、テスト、リリース、運用保守）スキル：・AccessVBAによるEUC構築経験・コミュニケーション能力・証券システムの業務知識（尚可）勤務地：東京都##案件4業務内容：SAP/S4HANAの維持保守、エンハンス業務・COチームの上流牽引・ユーザ問合せ対応・マスタ登録等の特殊作業・小規模改修の見積り、要件定義、設計、推進・開発ベンダのコントロールスキル：・COの知見およびFI・SD・MMとの連携知識・維持管理経験・コミュニケーション能力・積極的な業務遂行能力勤務地：神奈川県横浜市##案件5業務内容：自治体システムのリプレース・ダッシュボード機能新規構築・メール送信機能・ファイルアップロード機能・帳票出 |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援・各種データパイプラインの設計・開発・インタフェースレイヤの構築（外部システムとのデータ連携）・物理レイヤにおけるデータ登録・加工・データマート構築・インタフェース～物理レイヤの一気通貫ジョブの作成・テスト計画および実施・ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー・Backlogを用いた課題管理・ベンダーとの折衝、定例MTGへの参加場所：東京都品川区必要スキル：・AWS製品に関する知識（EventBridge,StepFunctions,Lambda,Glueのいずれかを用いた開発経験）・SQL開発経験（複数テーブルJOINを含む）・StoredProcedureの設計／開発経験・Pythonの開発経験（PySparkでのデータパイプライン構築経験歓迎）・Gitを用いたチーム開発経験・情報系システムの運用経験またはシステム運用全般の経験・ジョブフロー設計書のレビュー経験歓迎スキル：・AWSの基本サービス知識（S3,EC2,SG,ELB等）・Snowflakeを利用した開発経験・TableauServerの構築／運用経験・Tableauダッシュボードの開発経験 |