新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:122件
| 業務内容：AWSGlue（Spark）とPythonを用いたデータ収集・加工プログラムの設計・開発、データマートの構築・性能検討を実施。さらにPowerBIによるBIダッシュボードを設計・開発し、データマートを基にした指標定義や可視化要件の整理、性能検討を行う。DX推進チームと連携し、アウトプットを意識したDB／テーブル設計、可視化方針の策定まで担当。担当工程：要件定義、基本設計、詳細設計、実装、テスト、リリース、性能検証スキル：必須：・Pythonによる設計・開発経験・PowerBIでのダッシュボード構築経験・DB設計および複雑なSQLの実装経験・データ加工・編集およびデータマート構築経験尚可：・AWSGlueや他ETLツールでの開発経験・AWSRedshift、QuickSightなどAWSデータサービスの利用経験・Spark開発経験・その他BIツールの開発経験稼働場所：東京都（リモート併用、週1日程度出社／参画前2週間はオンサイト）その他：業種：製造業系外国籍不可 |
| 業務内容：-大手メーカーのDX推進プロジェクトにおけるデータ整備、データマート概要設計およびPowerBIダッシュボード開発-データ量や項目の整理、Sparkジョブ性能測定、SQLによるデータ加工・編集-顧客要件に基づいた可視化レポート作成とデータ利活用支援担当工程：要件確認、概要設計、詳細設計、開発、テスト、リリース支援スキル：必須：・PowerBIでのダッシュボード設計・開発経験・データ加工・編集およびデータマート設計経験・複雑なSQLおよびデータベース設計経験尚可：・AWSGlueなどETL開発経験・AWSRedshift／QuickSight等クラウドデータ活用サービス経験・その他BIツールでのダッシュボード開発経験稼働場所：東京都／基本リモート（参画初期2週間程度と週1回出社）その他：業種：機械・重工業開始時期：9月（データ整備・データマート設計開始）、10月以降ダッシュボード開発予定外国籍不可チームでのコミュニケーションを重視できる方を歓迎 |
| 業務内容：大手メーカーのDXプロジェクトにおいて、性能と運用を考慮したデータマートの概要設計、AWSGlue（Spark）によるデータ収集・加工プログラムの設計〜単体テスト、PowerBIによるダッシュボードの設計〜単体テスト、ならびに結合テスト支援を担当します。担当工程：要件確認、概要設計、詳細設計、開発、単体テスト、結合テスト支援スキル：必須：・顧客要件を踏まえたデータ加工・編集およびデータマート、ダッシュボード具体化経験・データベース設計と複雑なSQL作成経験・Pythonによるプログラム設計・開発経験・アウトプットを意識したDB・テーブル設計経験・PowerBIでのダッシュボード構築設計・開発経験・チームでの協調的な開発姿勢とDX領域への興味尚可：・AWSGlueなどETLツールの開発経験・AWSデータ系サービス（Redshift、QuickSight等）の利用経験・他BIツールを用いたダッシュボード開発経験稼働場所：東京都（週1出社・週4リモート）その他：開始時期：9月より概要設計開始、10月以降開発・テスト、12月以降結合テスト支援募集枠：9月開始1名、10月開始2名年齢目安：50代前半まで外国籍不可 |
| 業務内容：受発注管理システムのRedshift向けETL処理をAWSGlueVisualETLおよびPySparkで再構築し、データマート登録を行う。S3連携および性能改善を伴うETL設計・開発を担当。担当工程：ETL設計、開発、性能改善スキル：必須：AWSGlue(VisualETL)またはPySparkの実務経験、RDBMSの利用経験尚可：Python、SQL、AmazonRedshift、PowerBI稼働場所：東京都／フルリモートその他：年齢上限：50代まで国籍要件：外国籍不可 |
| 業務内容：大手メーカーのDX推進プロジェクトにおいて、AWSGlue（Spark／Python）を用いたデータ収集・加工と、PowerBIによるダッシュボード開発を担当します。9月にデータ整備・データマート概要設計を行い、10月以降は設計・開発・テスト、12月以降は結合テスト支援を実施します。担当工程：要件確認、概要設計、詳細設計、開発、単体テスト、結合テスト支援スキル：必須：・データ加工・編集およびデータマート設計の経験・DB設計と複雑なSQLの経験・Pythonでのプログラム設計・開発経験・アウトプットを意識したDB／テーブル設計経験・PowerBIでのダッシュボード設計・開発経験・チームおよび顧客のDX活動への理解尚可：・AWSGlueなどETLツールの実務経験・AWSのデータ分析系サービス（Redshift、QuickSight等）の経験・その他BIツールでのダッシュボード開発経験稼働場所：東京都（初期フェーズは常駐、以降は週1出社・週4リモート）その他：開始時期：9月予定募集年齢目安：50代前半まで外国籍不可 |
| 業務内容：ハイブリッドクラウド基幹システム更改（OCI・Azure・オンプレ）、運用設計見直し、建設業向け基幹システムリプレイス（Java／React）、Linuxサーバ構築・運用支援、自動車製造業向けAWS基盤構築・保守、マスタデータ管理システム再設計（Java／Spring）、金融系システムPM、生命保険向けAzure基盤保守、航空系インターフェース移設（VC++）、受発注管理システムETL再構築（AWSGlue／PySpark）、情報・通信メディアサービスBIデータ分析支援。担当工程：要件定義、基本設計、詳細設計、実装、テスト、運用設計、保守、PoC、改善提案、PM／進捗管理、データ抽出・整形、インフラ構築・監視設計。スキル：必須：・ハイブリッドクラウド（OCI／Azure／AWS）での設計構築経験・Java／Spring／ReactまたはVC++2019等によるアプリケーション開発経験・TerraformなどIaCツールの利用経験・Linux系OS操作およびサーバ構築・運用経験・BIツールやSQLを用いたデータ分析またはETL開発経験・PMまたは顧客折衝・進捗／課題管理経験のいずれか尚可：・Datadog、Redshift、GlueVisualETL、PySpark、PowerShell、Ansible等の利用経験・クラウドコスト試算、Well- |
| 業務内容：・データ整備およびデータマートの概要設計・Spark（Python／AWSGlue）によるデータ収集・加工プログラムの設計・開発・単体テスト・PowerBIダッシュボードの設計・開発・単体テスト・結合テスト支援および関連開発支援・9月に概要設計開始、10月以降は設計・開発・テスト、12月以降は結合テスト支援を予定担当工程：要件確認、概要設計、詳細設計、開発、単体テスト、結合テスト支援スキル：必須：・データ加工・編集、データマート、ダッシュボードの具体化検討経験・DB設計および複雑なSQLの経験・Pythonでのプログラム設計・開発経験・アウトプットを意識したDB・テーブル設計経験・PowerBIでのダッシュボード設計・開発経験・チーム内での相互レビューおよび顧客DX活動への主体的参画経験尚可：・AWSGlue（ETL）経験・その他ETL開発経験・AWSデータ系サービス（Redshift、QuickSightなど）の利用経験・他BIツールでのダッシュボード開発経験稼働場所：東京都／入場後約2週間の常駐後、週1出社・週4リモートその他：開始時期：9月概要設計開始（10月以降開発・テスト、12月以降結合テスト支援）年齢目安：50代前半まで外国籍：不可 |
| 業務内容：大手メーカーのDXプロジェクトで、データ整備・マート設計、AWSGlue（Spark／Python）によるETL開発、PowerBIダッシュボード開発、結合テスト支援を行います。担当工程：概要設計、詳細設計、開発、単体テスト、結合テスト支援スキル：必須：・データ加工／編集、データマート、ダッシュボード具体化の検討経験・DB設計および複雑なSQLの実装経験・Pythonによるプログラム設計・開発経験・PowerBIでのダッシュボード構築経験・DX推進に主体的に取り組める方尚可：・AWSGlueによるETL開発経験・その他ETL開発経験・AWSデータ系サービス（Redshift、QuickSightなど）経験・その他BIツールの開発経験稼働場所：東京都／入場後2週間は常駐、以降は週1出社・週4リモートその他：開始時期：9月に概要設計開始、10月以降開発・テスト、12月以降結合テスト支援予定外国籍不可、50代前半までを想定 |
| 業務内容：GenerativeAIサービスで利用する大規模データ基盤の設計・構築・運用を担当。Python／SQLによるデータ処理パイプライン開発、RDB・NoSQL・DWHの設計運用、GCPまたはAWS上でのインフラ構築（Docker・Kubernetes利用）、API開発や外部システム連携、運用自動化・性能改善・監視設計を行う。担当工程：要件定義、基本設計、詳細設計、開発、テスト、リリース、運用保守スキル：必須：・Python／SQLでのデータ処理実務・RDB／NoSQL／DWHの設計・運用経験・GCPまたはAWSなどクラウド活用経験・Docker／Kubernetesによるインフラ構築経験・API開発またはデータ連携設計・実装経験・ビジネスレベルの日本語コミュニケーション尚可：・LLM／GenerativeAIの知見・AI学習用データの管理・整備経験・Spark／Hadoop等ビッグデータ技術の知見・データパイプライン開発3年以上の経験・多国籍／英語環境での業務経験稼働場所：東京都（週3出社＋週2リモート）その他：開始時期：8月開始予定、長期継続（1〜3か月ごと更新）フレックスタイム制（コアタイム応相談）開発環境：Python、TypeScript（React／Next.js）、GCP、Docker、Kubernetes、GitHub、Slack |
| 業務内容：・AWSGlueVisualETLとPySparkを用いたETL設計・開発・AmazonRedshiftからデータマートへのデータ登録処理の実装・既存PythonShell製ETLの性能改善と再実装担当工程：設計、開発、テストスキル：必須：AWSGlueを用いたVisualETL開発経験またはPySpark開発経験／RDBMS利用経験尚可：Python・SQL開発経験／AmazonRedshift・AmazonS3利用経験／PowerBI利用経験稼働場所：全国（フルリモート）※地方在住可その他：開始時期：7月または8月予定／受発注管理システム更改プロジェクト／PC貸与あり／募集人数複数名／年齢不問／外国籍不可 |
| 業務内容：AzureDatabricks・MicrosoftFabricを中心としたLakehouse型データ分析基盤の設計・構築・実装を技術リードとして推進し、要件定義からデリバリー、技術ドキュメント作成までを担当します。SQL・ETL・PySparkを用いた分析ソリューション開発も行います。担当工程：要件定義、基本設計、詳細設計、実装、テスト、デリバリー、ドキュメント作成、技術リードスキル：必須：-日本語・英語でのバイリンガルコミュニケーション-AzureDatabricksまたはPySparkを用いた開発経験-SQLによるクエリ開発経験-AzureDataLake、AzureSynapseなどAzureサービスとの連携経験-テクニカルリード経験尚可：-CI/CD・GitなどDevOps環境の経験-PowerBI、MicrosoftFabricの利用経験稼働場所：東京都（フルリモート、PC受取時のみ出社）その他：情報・通信・メディア分野のプロジェクト／外国籍の方も提案可／全国からのリモート参画可能 |
| 業務内容：Databricksを用いたETLパイプラインの開発およびバッチ処理、既存手順書に基づくテーブル定義書作成、Pythonスクリプトによる単体・結合テストを担当します。担当工程：要件確認、設計、開発、テスト、リリーススキル：必須：・Python、SQLでのデータ連携処理開発経験・Databricksまたは類似ジョブ／パイプラインの設計・試験経験・自律的にタスクを推進できること尚可：・Pytestを用いたテスト実施経験・ApacheSpark、AWSGlueなどを利用した大規模データ処理経験・AWS、Azure、GCPいずれかのクラウドサービス開発経験稼働場所：東京都（完全常駐、テレワーク不可）その他：業種：金融・保険業開始時期：未定（相談可）体制：既存チームへの増員ポジション |
| 業務内容：建築会社向け会計パッケージの機能追加・改修および保守を担当します。フロントエンド（JavaScript／Angular／HTML）とサーバーサイド（Java8／SpringBoot）の両面で開発を行い、AWS（Aurora、DynamoDB、EC2、S3など）上でのパフォーマンス改善やデータベース・インフラ運用も含まれます。基本設計から結合テストまで一貫して関与するフルスタックポジションです。担当工程：基本設計、詳細設計、実装、単体テスト、結合テスト、保守スキル：必須：・JavaまたはJavaScriptを用いた開発経験3年以上・Angular、HTMLを用いたフロントエンド開発経験・Java8、SpringBootを用いたサーバーサイド開発経験・AWS環境での開発・運用経験尚可：・Elasticsearch、ApacheSpark、ApacheCassandraいずれかの経験・AWSAurora、DynamoDBなどでのパフォーマンスチューニング経験・フルスタックでの設計～テスト一貫経験稼働場所：東京都／フルリモート（機材貸与・返却時のみ出社）その他：業種：不動産・建設開始時期：2025年8月予定期間：中長期想定募集年齢目安：30代までフルスタック前提（フロントエンドまたはサーバーのみの担当は不可） |
| 業務内容：エンタメ企業の基幹システム更改におけるハイブリッドクラウド（OCI・Azure・オンプレ）設計〜テスト、運用設計・監視設計／建設業向けJava＋Reactでのサーバサイド・フロント一貫開発／Linuxサーバ構築・切替・運用オペレーション支援／自動車製造業向け見積システムのAWS設計・構築・保守／情報・通信・メディア系サービスのBIデータ抽出・可視化支援／自動車製造業マスタデータ管理システムのJava・Spring再設計・実装／銀行・信託や保険領域を含む金融システムのPM・運用推進／生保向けAzure基盤保守・Datadog導入・運用改善／航空系情報転送インターフェースのVC++移設・総合試験／受発注管理システムのAWSGlueVisualETL・PySparkによるETL再構築など、多様な案件をまとめてご紹介。担当工程：要件定義、アーキテクチャ検討、PoC、基本設計、詳細設計、実装、テスト、運用設計、監視設計、保守・改善、PM・進捗／課題管理、データ抽出・可視化、トラブルシューティングほかスキル：必須：AWS（各種マネージドサービス）／Azure基盤設計・保守／OCI／Terraform／Linuxサーバ設計・構築・運用／コンテナ設計・構築／Tomcatほかミドルウェア構築／Java（Spring）／React／VC++2019／SQL・BIツール／ETL（ |
| 業務内容：AzureDatabricksとMicrosoftFabricを活用し、Lakehouse形式のデータ分析基盤を要件定義から設計・構築・実装まで技術リードとして推進します。具体的にはSQLクエリ開発、ETL処理、PySparkによるデータ変換および分析ロジック実装、Lakehouseアーキテクチャに基づくソリューション開発、ドキュメント整備、運用保守フェーズへの引き継ぎ・支援を行います。担当工程：要件定義／基本設計／詳細設計／実装／テスト／導入／運用移行スキル：必須：日本語・英語バイリンガル、テクニカルリード経験、SQLクエリ開発経験、AzureDataLake・AzureSynapseなどAzureサービス連携経験尚可：AzureDatabricksまたはPySpark開発経験、CI／CD・GitなどDevOps環境での経験、PowerBI・MicrosoftFabric経験稼働場所：東京都／フルリモート（PC受取などで出社の可能性あり）その他：期間：即日開始、約1年間予定外国籍応募可（日本語能力試験N1〜N2レベル） |
| 業務内容：AWSLambda+Javaで実装されたデータの転送処理アプリをDatabricks(Sparkのマネージド基盤)上で動くようにマイグレーションし性能検証を実施する。基本的にはアプリケーションのPoCになる。担当工程：-データ転送処理アプリのマイグレーション-性能検証スキル:-Java開発経験-アジャイル開発経験もしくは近い環境での開発経験-PoC作業への興味-勤怠、コミュニケーション能力-AWS(特にLambda)環境での開発経験があれば尚可その他:-業界：自動車・輸送機器-勤務地：神奈川県-テレワークメイン（立ち上がり時は出勤の可能性あり）-面談回数：1回-ウォーターフォール型案件のみの経験者は不可 |
| 業務内容：自動車業界向けの車両データ転送処理のPoC（概念実証）を実施。AWSLambdaとJavaで実装されたデータ転送処理アプリケーションをDatabricks（Sparkのマネージド基盤）上で動作するようにマイグレーションし、性能検証を行う。担当工程：-アプリケーションのマイグレーション-性能検証スキル:必須：-Java開発経験-アジャイル開発経験または類似環境での開発経験-PoCに対する興味-優れたコミュニケーション能力尚可：-AWS（特にLambda）環境での開発経験その他：-勤務地：神奈川県-作業環境：リモートワークが主体-開発手法：アジャイル-使用技術：Java,AWSLambda,Databricks,Spark |
| 業務内容：自動車業界向けのデータ転送処理アプリケーションのPoCを実施。AWSLambda+Javaで実装されたデータの転送処理アプリをDatabricks(Sparkのマネージド基盤)上で動作するようにマイグレーションし、性能検証を行う。担当工程：-アプリケーションのマイグレーション-性能検証スキル:必須：-Java開発経験-アジャイル開発経験もしくは近い環境での開発経験-PoC作業への興味-良好な勤怠とコミュニケーション能力尚可：-AWS(特にLambda)環境での開発経験その他：-業界：自動車・輸送機器-勤務地：神奈川県-面談回数：1回-テレワークメインだが、立ち上がり時は出勤が多くなる可能性あり-ウォーターフォール型案件のみの経験者は不可 |
| 業務内容：大手求人検索サービスにおけるデータエンジニアの業務担当工程：データエンジニアリング全般スキル:データエンジニアリングスキル大規模データ処理データパイプライン構築データウェアハウス設計ETL処理クラウドプラットフォーム（AWS、GCP、Azureなど）ビッグデータ技術（Hadoop、Spark、Hiveなど）SQLプログラミング言語（Python、Java、Scalaなど）データ可視化ツール勤務地：東京都業界：情報・通信・メディア |
| 業務内容：車両データを可視化する既存システムに新規機能を追加する開発案件。主な作業は以下の通り。・特定のデータを削除する機能追加・車両データを可視化する新規グラフ追加作業範囲は設計、製造、単体テスト、結合テスト、システムテスト、リリース作業。・車両データを可視化する既存システムへの新規機能追加開発・バックエンド(バッチ処理)の改修担当工程：設計、製造、単体テスト、結合テスト、システムテスト、リリース作業スキル:・Java開発5年以上・AWS開発2年以上・設計~開発~各種テストを自律して完遂できる能力尚可スキル：・ビックデータ開発経験(分散処理、Hadoop、Spark、AWS、EMRなど)・顧客とのコミュニケーション、報告などの経験・Iceberg、AWSS3Tablesの利用経験業種業界：自動車・輸送機器勤務地：愛知県稼働場所：リモート可、必要に応じ出社 |
| 業務内容：GenerativeAI向けデータ基盤の構築・運用支援DB設計・運用(RDB/NoSQL/DWHなど)クラウド(GCP/AWS)でのインフラ構築(Docker/Kubernetes)API開発、データ連携設計・実装データパイプライン開発必要スキル：Python/SQLによるデータ処理経験DB設計・運用経験クラウド利用経験Docker/Kubernetesを用いたインフラ構築経験API開発またはデータ連携設計・実装経験ビジネスレベルの日本語力尚可スキル：LLM/GenerativeAIの知見または活用経験AI学習用データの管理・整備経験データパイプライン開発経験Spark、Hadoopなどのビッグデータ技術の知見多国籍・英語環境での業務経験面談：オンライン開発環境：Python、TypeScript(React/Next.js)、GCP、Docker、Kubernetes、GitHub、Slack、Linear、GoogleWorkspace勤務地：東京都業種：情報・通信・メディア |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援を行います。主な業務は以下の通りです。-各種データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、運用スキル:必須スキル：-AWS(EventBridge、StepFunctions、Lambda、Glueのいずれかを用いた開発経験)-SQL開発経験(複数テーブルJOINを含む)-ストアドプロシージャの設計/開発経験-Pythonの開発経験-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験歓迎スキル：-PySparkでのデータパイプライン構築経験-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験勤務地：東京都業種：情報・通信・メディア |
| 業務内容：広告プラットフォームのデータ分析基盤構築、機械学習モデル開発、運用担当工程：データ分析基盤構築、機械学習モデル開発、運用スキル:必須：-Python(Pandas,NumPy,Scikit-learn)-SQL-機械学習モデル開発経験-クラウド(AWS/GCP/Azure)での開発経験-Docker/Kubernetes尚可：-Spark-Hadoop-データ可視化ツール(Tableau,PowerBI)-自然言語処理-広告業界経験その他：-勤務地：東京都-業種：情報・通信・メディア-リモートワーク週2日まで可-期間6ヶ月~(長期)-勤務時間9:00~18:00(休憩1時間) |
| 業務内容：某大手企業の小中学生向け学習支援サービスのデータ分析基盤の保守開発を担当します。フルリモートでの勤務となります。担当工程：データ分析基盤の構築運用、大規模データ処理スキル:-AzureDataFactoryを用いたデータ分析基盤の構築運用経験-Databricksの経験-PySparkを用いた大規模データ処理経験その他情報：-期間：7月から長期-勤務時間：9:00～18:00-募集人数：2名-面談回数：2回 |
| 業務内容：AWS基盤上での次期情報系基盤の開発支援業務-各種データパイプラインの設計・開発-インタフェースレイヤの構築(外部システムとのデータ連携)-物理レイヤにおけるデータ登録・加工・データマート構築-インタフェース～物理レイヤの一気通貫ジョブの作成-テスト計画および実施-ジョブ設計書、テーブル設計書、ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダーとの折衝、定例MTGへの参加担当工程：設計、開発、テスト、運用スキル:必須：-AWSサービス(EventBridge、StepFunctions、Lambda、Glue)の知識と開発経験-SQL開発経験(複数テーブルJOIN含む)-StoredProcedure設計/開発経験-Python開発経験(PySparkでのデータパイプライン構築経験歓迎)-Gitを用いたチーム開発経験-情報系システムの運用経験またはシステム運用全般の経験-ジョブフロー設計書のレビュー経験歓迎：-AWSの基本サービス知識(S3、EC2、SG、ELB等)-Snowflakeを利用した開発経験-TableauServerの構築/運用経験-Tableauダッシュボードの開発経験勤務地：東京都業種：情報・通信・メディア |