新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:205件
| 業務内容：-AWSGlue（Spark）とPythonを用いたデータ収集・加工プログラムの開発-データマートの設計・構築-PowerBIによるダッシュボード作成-データ加工・編集、データマート、ダッシュボードの具体化検討-結合テスト支援、その他開発支援担当工程：-設計、実装、テスト、デプロイスキル：必須：データ活用・可視化向けのデータ加工経験、DB設計と高度なSQL実務経験、Pythonでのプログラム設計・開発、アウトプットを意識したDB・テーブル設計スキル、DX活動への関心尚可：AWSGlue（ETL）経験、その他ETL開発経験、AWSRedshiftやQuickSight等のデータ活用サービス経験、PowerBI等BIツールでのダッシュボード開発経験稼働場所：東京都（初期は常勤、その後は週1出社・週4リモート）その他：業種：製造業系大手メーカー、開始時期は相談可能 |
| 業務内容：-データ管理基盤の運用・保守-企画支援（現状調査、現場ヒアリング）-要件整理支援（機能・非機能要件の取りまとめ）-開発支援（Python、DataBricks、Azure、Sparkを使用）担当工程：-運用・保守-要件定義・要件整理-設計・実装支援-テスト支援スキル：必須：Pythonでの開発経験尚可：Pandasでの開発経験、DataBricksでの開発経験稼働場所：大阪府内（現地作業）その他：業種：機械・重工業（農機具メーカー）開始時期：相談に応じて決定 |
| 業務内容：既存のRPAベースの受発注管理システムをJavaバッチへ移行するため、AWSGlue（VisualETL）またはPySparkを活用したETLバッチ処理を設計・開発し、AmazonRedshiftとの連携を実装します。担当工程：要件定義、詳細設計、バッチ開発、テスト、デプロイ、運用支援スキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの実務経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBIの経験稼働場所：フルリモート（必要に応じて出社）その他：業種：情報・通信・メディア、開始時期は相談、リモートワーク中心の勤務形態 |
| 業務内容：-データパイプラインの設計・開発-外部システムとのデータ連携インタフェース層構築-データマート（物理レイヤ）の構築およびジョブ作成-テスト計画の策定・実施-設計書・テーブル設計書・ETL設計書等のレビュー-Backlogによる課題管理-ベンダー折衝・定例ミーティングへの参加担当工程：要件定義、設計、実装、テスト、レビュー、運用支援スキル：必須：-AWS（EventBridge、StepFunctions、Lambda、Glue等）での開発経験-SQL（複数テーブルのJOIN）およびStoredProcedureの設計・開発経験-Python（PySparkを用いたデータパイプライン構築経験が望ましい）-Gitを用いたチーム開発経験-情報系システムの運用経験-ジョブフロー設計書のレビュー経験尚可：-S3、EC2、SecurityGroup、ELBなどの基本的なAWSサービス知識-Snowflakeを利用した開発経験-TableauServerの構築・運用経験-Tableauダッシュボードの開発経験稼働場所：東京都その他：業種：情報・通信・メディア開始時期：2025年7月開始（6月途中開始も可）募集人数：1名 |
| 業務内容：-各種データパイプラインの設計・開発-インタフェースレイヤ構築（外部システム連携）-データ登録・加工・データマート構築-インタフェース～物理レイヤ一貫ジョブ作成-テスト計画・実施-設計書等ドキュメントレビュー-Backlogでの課題管理-ベンダー折衝・定例MTG参加担当工程：要件定義・設計、開発、テスト、運用支援、ドキュメントレビュー、ベンダー調整スキル：必須：-AWS（EventBridge、StepFunctions、Lambda、Glue等）の実務知識-SQLによる複数テーブルJOIN作成経験-StoredProcedureの設計・開発経験-Python（PySpark歓迎）での開発経験-Gitを用いたチーム開発経験-情報系システムまたはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWS基本サービス（S3、EC2、SecurityGroup、ELB等）の知識-Snowflake利用経験-TableauServerの構築・運用経験-Tableauダッシュボード開発経験稼働場所：東京都（リモート可／出社は東京都内オフィス）その他：業種：情報・通信・メディア（情報系基盤開発）開始時期：6月途中または7月開始可能外国籍不可 |
| 業務内容：需要予測システムから抽出したデータをAWSGlue（VisualETL）またはPySparkを用いて再構築し、Redshiftからデータマートへ登録するETLパイプラインの設計・開発を実施。併せてPowerBI用レポート作成を支援。担当工程：要件定義、設計、実装、テスト、デプロイまでの一連工程を担当。スキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの使用経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBIの実務経験稼働場所：フルリモート（必要時は出社あり）その他：業種：情報・通信・メディア／サービス業開始時期：相談に応じて調整可能 |
| 業務内容：-データパイプラインの設計・開発-外部システムとのデータ連携インタフェース層構築-データ登録・加工・データマート（物理レイヤ）作成-インタフェース〜物理レイヤを結ぶ一気通貫ジョブ作成-テスト計画策定・実施-ジョブ設計書・テーブル設計書・ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダー折衝・定例ミーティング参加担当工程：要件定義・設計、実装、テスト、ドキュメントレビュー、ベンダー折衝スキル：必須：-AWS（EventBridge、StepFunctions、Lambda、Glue）知識-SQL（複数テーブルJOIN）開発経験-StoredProcedure設計・開発経験-Python開発経験（PySparkでのデータパイプライン構築歓迎）-Gitを用いたチーム開発経験-情報系システムまたはシステム運用全般の運用経験-ジョブフロー設計書のレビュー経験尚可：-AWS基本サービス（S3、EC2、SG、ELB等）知識-Snowflakeを利用した開発経験-TableauServerの構築・運用経験-Tableauダッシュボード開発経験稼働場所：東京都大崎駅周辺（常勤勤務、リモート不可）その他：業種：情報・通信・メディア開始時期：相談 |
| 業務内容：走行データ分析システムの機能追加開発、ミドルウェア（Java／Snowflake）のバージョンアップに伴う検証および移行作業を担当。担当工程：要件定義、基本設計、詳細設計、実装、検証、移行、リリーススキル：必須：・Javaを用いたWebアプリケーション開発経験3年以上・データベースに関する基礎知識尚可：・AWSまたはSnowflakeを利用した開発経験・Sparkなどを用いた大量データ処理経験・マイクロサービスアーキテクチャでの開発経験・ヒアリングから設計・実装まで一貫対応した経験稼働場所：愛知県（リモート併用：週3目安）その他：業種：自動車・輸送機器開始時期：2025年9月予定期間：長期募集人数：1名 |
| 業務内容：AWSGlue（Spark）とPythonを用いたデータ収集・加工プログラムの設計・開発、データマートの構築・性能検討を実施。さらにPowerBIによるBIダッシュボードを設計・開発し、データマートを基にした指標定義や可視化要件の整理、性能検討を行う。DX推進チームと連携し、アウトプットを意識したDB／テーブル設計、可視化方針の策定まで担当。担当工程：要件定義、基本設計、詳細設計、実装、テスト、リリース、性能検証スキル：必須：・Pythonによる設計・開発経験・PowerBIでのダッシュボード構築経験・DB設計および複雑なSQLの実装経験・データ加工・編集およびデータマート構築経験尚可：・AWSGlueや他ETLツールでの開発経験・AWSRedshift、QuickSightなどAWSデータサービスの利用経験・Spark開発経験・その他BIツールの開発経験稼働場所：東京都（リモート併用、週1日程度出社／参画前2週間はオンサイト）その他：業種：製造業系外国籍不可 |
| 業務内容：-大手メーカーのDX推進プロジェクトにおけるデータ整備、データマート概要設計およびPowerBIダッシュボード開発-データ量や項目の整理、Sparkジョブ性能測定、SQLによるデータ加工・編集-顧客要件に基づいた可視化レポート作成とデータ利活用支援担当工程：要件確認、概要設計、詳細設計、開発、テスト、リリース支援スキル：必須：・PowerBIでのダッシュボード設計・開発経験・データ加工・編集およびデータマート設計経験・複雑なSQLおよびデータベース設計経験尚可：・AWSGlueなどETL開発経験・AWSRedshift／QuickSight等クラウドデータ活用サービス経験・その他BIツールでのダッシュボード開発経験稼働場所：東京都／基本リモート（参画初期2週間程度と週1回出社）その他：業種：機械・重工業開始時期：9月（データ整備・データマート設計開始）、10月以降ダッシュボード開発予定外国籍不可チームでのコミュニケーションを重視できる方を歓迎 |
| 業務内容：大手メーカーのDXプロジェクトにおいて、性能と運用を考慮したデータマートの概要設計、AWSGlue（Spark）によるデータ収集・加工プログラムの設計〜単体テスト、PowerBIによるダッシュボードの設計〜単体テスト、ならびに結合テスト支援を担当します。担当工程：要件確認、概要設計、詳細設計、開発、単体テスト、結合テスト支援スキル：必須：・顧客要件を踏まえたデータ加工・編集およびデータマート、ダッシュボード具体化経験・データベース設計と複雑なSQL作成経験・Pythonによるプログラム設計・開発経験・アウトプットを意識したDB・テーブル設計経験・PowerBIでのダッシュボード構築設計・開発経験・チームでの協調的な開発姿勢とDX領域への興味尚可：・AWSGlueなどETLツールの開発経験・AWSデータ系サービス（Redshift、QuickSight等）の利用経験・他BIツールを用いたダッシュボード開発経験稼働場所：東京都（週1出社・週4リモート）その他：開始時期：9月より概要設計開始、10月以降開発・テスト、12月以降結合テスト支援募集枠：9月開始1名、10月開始2名年齢目安：50代前半まで外国籍不可 |
| 業務内容：受発注管理システムのRedshift向けETL処理をAWSGlueVisualETLおよびPySparkで再構築し、データマート登録を行う。S3連携および性能改善を伴うETL設計・開発を担当。担当工程：ETL設計、開発、性能改善スキル：必須：AWSGlue(VisualETL)またはPySparkの実務経験、RDBMSの利用経験尚可：Python、SQL、AmazonRedshift、PowerBI稼働場所：東京都／フルリモートその他：年齢上限：50代まで国籍要件：外国籍不可 |
| 業務内容：大手メーカーのDX推進プロジェクトにおいて、AWSGlue（Spark／Python）を用いたデータ収集・加工と、PowerBIによるダッシュボード開発を担当します。9月にデータ整備・データマート概要設計を行い、10月以降は設計・開発・テスト、12月以降は結合テスト支援を実施します。担当工程：要件確認、概要設計、詳細設計、開発、単体テスト、結合テスト支援スキル：必須：・データ加工・編集およびデータマート設計の経験・DB設計と複雑なSQLの経験・Pythonでのプログラム設計・開発経験・アウトプットを意識したDB／テーブル設計経験・PowerBIでのダッシュボード設計・開発経験・チームおよび顧客のDX活動への理解尚可：・AWSGlueなどETLツールの実務経験・AWSのデータ分析系サービス（Redshift、QuickSight等）の経験・その他BIツールでのダッシュボード開発経験稼働場所：東京都（初期フェーズは常駐、以降は週1出社・週4リモート）その他：開始時期：9月予定募集年齢目安：50代前半まで外国籍不可 |
| 業務内容：ハイブリッドクラウド基幹システム更改（OCI・Azure・オンプレ）、運用設計見直し、建設業向け基幹システムリプレイス（Java／React）、Linuxサーバ構築・運用支援、自動車製造業向けAWS基盤構築・保守、マスタデータ管理システム再設計（Java／Spring）、金融系システムPM、生命保険向けAzure基盤保守、航空系インターフェース移設（VC++）、受発注管理システムETL再構築（AWSGlue／PySpark）、情報・通信メディアサービスBIデータ分析支援。担当工程：要件定義、基本設計、詳細設計、実装、テスト、運用設計、保守、PoC、改善提案、PM／進捗管理、データ抽出・整形、インフラ構築・監視設計。スキル：必須：・ハイブリッドクラウド（OCI／Azure／AWS）での設計構築経験・Java／Spring／ReactまたはVC++2019等によるアプリケーション開発経験・TerraformなどIaCツールの利用経験・Linux系OS操作およびサーバ構築・運用経験・BIツールやSQLを用いたデータ分析またはETL開発経験・PMまたは顧客折衝・進捗／課題管理経験のいずれか尚可：・Datadog、Redshift、GlueVisualETL、PySpark、PowerShell、Ansible等の利用経験・クラウドコスト試算、Well- |
| 業務内容：・データ整備およびデータマートの概要設計・Spark（Python／AWSGlue）によるデータ収集・加工プログラムの設計・開発・単体テスト・PowerBIダッシュボードの設計・開発・単体テスト・結合テスト支援および関連開発支援・9月に概要設計開始、10月以降は設計・開発・テスト、12月以降は結合テスト支援を予定担当工程：要件確認、概要設計、詳細設計、開発、単体テスト、結合テスト支援スキル：必須：・データ加工・編集、データマート、ダッシュボードの具体化検討経験・DB設計および複雑なSQLの経験・Pythonでのプログラム設計・開発経験・アウトプットを意識したDB・テーブル設計経験・PowerBIでのダッシュボード設計・開発経験・チーム内での相互レビューおよび顧客DX活動への主体的参画経験尚可：・AWSGlue（ETL）経験・その他ETL開発経験・AWSデータ系サービス（Redshift、QuickSightなど）の利用経験・他BIツールでのダッシュボード開発経験稼働場所：東京都／入場後約2週間の常駐後、週1出社・週4リモートその他：開始時期：9月概要設計開始（10月以降開発・テスト、12月以降結合テスト支援）年齢目安：50代前半まで外国籍：不可 |
| 業務内容：大手メーカーのDXプロジェクトで、データ整備・マート設計、AWSGlue（Spark／Python）によるETL開発、PowerBIダッシュボード開発、結合テスト支援を行います。担当工程：概要設計、詳細設計、開発、単体テスト、結合テスト支援スキル：必須：・データ加工／編集、データマート、ダッシュボード具体化の検討経験・DB設計および複雑なSQLの実装経験・Pythonによるプログラム設計・開発経験・PowerBIでのダッシュボード構築経験・DX推進に主体的に取り組める方尚可：・AWSGlueによるETL開発経験・その他ETL開発経験・AWSデータ系サービス（Redshift、QuickSightなど）経験・その他BIツールの開発経験稼働場所：東京都／入場後2週間は常駐、以降は週1出社・週4リモートその他：開始時期：9月に概要設計開始、10月以降開発・テスト、12月以降結合テスト支援予定外国籍不可、50代前半までを想定 |
| 業務内容：GenerativeAIサービスで利用する大規模データ基盤の設計・構築・運用を担当。Python／SQLによるデータ処理パイプライン開発、RDB・NoSQL・DWHの設計運用、GCPまたはAWS上でのインフラ構築（Docker・Kubernetes利用）、API開発や外部システム連携、運用自動化・性能改善・監視設計を行う。担当工程：要件定義、基本設計、詳細設計、開発、テスト、リリース、運用保守スキル：必須：・Python／SQLでのデータ処理実務・RDB／NoSQL／DWHの設計・運用経験・GCPまたはAWSなどクラウド活用経験・Docker／Kubernetesによるインフラ構築経験・API開発またはデータ連携設計・実装経験・ビジネスレベルの日本語コミュニケーション尚可：・LLM／GenerativeAIの知見・AI学習用データの管理・整備経験・Spark／Hadoop等ビッグデータ技術の知見・データパイプライン開発3年以上の経験・多国籍／英語環境での業務経験稼働場所：東京都（週3出社＋週2リモート）その他：開始時期：8月開始予定、長期継続（1〜3か月ごと更新）フレックスタイム制（コアタイム応相談）開発環境：Python、TypeScript（React／Next.js）、GCP、Docker、Kubernetes、GitHub、Slack |
| 業務内容：・AWSGlueVisualETLとPySparkを用いたETL設計・開発・AmazonRedshiftからデータマートへのデータ登録処理の実装・既存PythonShell製ETLの性能改善と再実装担当工程：設計、開発、テストスキル：必須：AWSGlueを用いたVisualETL開発経験またはPySpark開発経験／RDBMS利用経験尚可：Python・SQL開発経験／AmazonRedshift・AmazonS3利用経験／PowerBI利用経験稼働場所：全国（フルリモート）※地方在住可その他：開始時期：7月または8月予定／受発注管理システム更改プロジェクト／PC貸与あり／募集人数複数名／年齢不問／外国籍不可 |
| 業務内容：AzureDatabricks・MicrosoftFabricを中心としたLakehouse型データ分析基盤の設計・構築・実装を技術リードとして推進し、要件定義からデリバリー、技術ドキュメント作成までを担当します。SQL・ETL・PySparkを用いた分析ソリューション開発も行います。担当工程：要件定義、基本設計、詳細設計、実装、テスト、デリバリー、ドキュメント作成、技術リードスキル：必須：-日本語・英語でのバイリンガルコミュニケーション-AzureDatabricksまたはPySparkを用いた開発経験-SQLによるクエリ開発経験-AzureDataLake、AzureSynapseなどAzureサービスとの連携経験-テクニカルリード経験尚可：-CI/CD・GitなどDevOps環境の経験-PowerBI、MicrosoftFabricの利用経験稼働場所：東京都（フルリモート、PC受取時のみ出社）その他：情報・通信・メディア分野のプロジェクト／外国籍の方も提案可／全国からのリモート参画可能 |
| 業務内容：Databricksを用いたETLパイプラインの開発およびバッチ処理、既存手順書に基づくテーブル定義書作成、Pythonスクリプトによる単体・結合テストを担当します。担当工程：要件確認、設計、開発、テスト、リリーススキル：必須：・Python、SQLでのデータ連携処理開発経験・Databricksまたは類似ジョブ／パイプラインの設計・試験経験・自律的にタスクを推進できること尚可：・Pytestを用いたテスト実施経験・ApacheSpark、AWSGlueなどを利用した大規模データ処理経験・AWS、Azure、GCPいずれかのクラウドサービス開発経験稼働場所：東京都（完全常駐、テレワーク不可）その他：業種：金融・保険業開始時期：未定（相談可）体制：既存チームへの増員ポジション |
| 業務内容：建築会社向け会計パッケージの機能追加・改修および保守を担当します。フロントエンド（JavaScript／Angular／HTML）とサーバーサイド（Java8／SpringBoot）の両面で開発を行い、AWS（Aurora、DynamoDB、EC2、S3など）上でのパフォーマンス改善やデータベース・インフラ運用も含まれます。基本設計から結合テストまで一貫して関与するフルスタックポジションです。担当工程：基本設計、詳細設計、実装、単体テスト、結合テスト、保守スキル：必須：・JavaまたはJavaScriptを用いた開発経験3年以上・Angular、HTMLを用いたフロントエンド開発経験・Java8、SpringBootを用いたサーバーサイド開発経験・AWS環境での開発・運用経験尚可：・Elasticsearch、ApacheSpark、ApacheCassandraいずれかの経験・AWSAurora、DynamoDBなどでのパフォーマンスチューニング経験・フルスタックでの設計～テスト一貫経験稼働場所：東京都／フルリモート（機材貸与・返却時のみ出社）その他：業種：不動産・建設開始時期：2025年8月予定期間：中長期想定募集年齢目安：30代までフルスタック前提（フロントエンドまたはサーバーのみの担当は不可） |
| 業務内容：エンタメ企業の基幹システム更改におけるハイブリッドクラウド（OCI・Azure・オンプレ）設計〜テスト、運用設計・監視設計／建設業向けJava＋Reactでのサーバサイド・フロント一貫開発／Linuxサーバ構築・切替・運用オペレーション支援／自動車製造業向け見積システムのAWS設計・構築・保守／情報・通信・メディア系サービスのBIデータ抽出・可視化支援／自動車製造業マスタデータ管理システムのJava・Spring再設計・実装／銀行・信託や保険領域を含む金融システムのPM・運用推進／生保向けAzure基盤保守・Datadog導入・運用改善／航空系情報転送インターフェースのVC++移設・総合試験／受発注管理システムのAWSGlueVisualETL・PySparkによるETL再構築など、多様な案件をまとめてご紹介。担当工程：要件定義、アーキテクチャ検討、PoC、基本設計、詳細設計、実装、テスト、運用設計、監視設計、保守・改善、PM・進捗／課題管理、データ抽出・可視化、トラブルシューティングほかスキル：必須：AWS（各種マネージドサービス）／Azure基盤設計・保守／OCI／Terraform／Linuxサーバ設計・構築・運用／コンテナ設計・構築／Tomcatほかミドルウェア構築／Java（Spring）／React／VC++2019／SQL・BIツール／ETL（ |
| 業務内容：AzureDatabricksとMicrosoftFabricを活用し、Lakehouse形式のデータ分析基盤を要件定義から設計・構築・実装まで技術リードとして推進します。具体的にはSQLクエリ開発、ETL処理、PySparkによるデータ変換および分析ロジック実装、Lakehouseアーキテクチャに基づくソリューション開発、ドキュメント整備、運用保守フェーズへの引き継ぎ・支援を行います。担当工程：要件定義／基本設計／詳細設計／実装／テスト／導入／運用移行スキル：必須：日本語・英語バイリンガル、テクニカルリード経験、SQLクエリ開発経験、AzureDataLake・AzureSynapseなどAzureサービス連携経験尚可：AzureDatabricksまたはPySpark開発経験、CI／CD・GitなどDevOps環境での経験、PowerBI・MicrosoftFabric経験稼働場所：東京都／フルリモート（PC受取などで出社の可能性あり）その他：期間：即日開始、約1年間予定外国籍応募可（日本語能力試験N1〜N2レベル） |
| 業務内容：AWSLambda+Javaで実装されたデータの転送処理アプリをDatabricks(Sparkのマネージド基盤)上で動くようにマイグレーションし性能検証を実施する。基本的にはアプリケーションのPoCになる。担当工程：-データ転送処理アプリのマイグレーション-性能検証スキル:-Java開発経験-アジャイル開発経験もしくは近い環境での開発経験-PoC作業への興味-勤怠、コミュニケーション能力-AWS(特にLambda)環境での開発経験があれば尚可その他:-業界：自動車・輸送機器-勤務地：神奈川県-テレワークメイン（立ち上がり時は出勤の可能性あり）-面談回数：1回-ウォーターフォール型案件のみの経験者は不可 |
| 業務内容：自動車業界向けの車両データ転送処理のPoC（概念実証）を実施。AWSLambdaとJavaで実装されたデータ転送処理アプリケーションをDatabricks（Sparkのマネージド基盤）上で動作するようにマイグレーションし、性能検証を行う。担当工程：-アプリケーションのマイグレーション-性能検証スキル:必須：-Java開発経験-アジャイル開発経験または類似環境での開発経験-PoCに対する興味-優れたコミュニケーション能力尚可：-AWS（特にLambda）環境での開発経験その他：-勤務地：神奈川県-作業環境：リモートワークが主体-開発手法：アジャイル-使用技術：Java,AWSLambda,Databricks,Spark |