新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:122件
| 業務内容：-ApacheKafkaのチューニング・トラブルシューティング-Kafkaを中心としたデータマネジメントシステムの設計・構築担当工程：設計、構築、チューニング、トラブルシューティングスキル：必須：Linux（カーネルパラメータのチューニング経験）、ApacheKafka、Java開発経験尚可：ApacheSpark等KafkaベースのOSS経験、データマネジメント・ストリーミング処理の知識稼働場所：東京都（基本リモート）その他：情報・通信・メディア業界のシステムインテグレーター案件、長期プロジェクト、開始時期は即日または相談可能 |
| 業務内容：-Databricksの設計・構築・運用-Terraformによるインフラ自動化-AWS環境の設計・構築-dbtによるデータ加工-Fivetran等を用いたデータ連携-Airflow・Dagster等のワークフロー管理担当工程：設計、構築、テスト、運用、インフラ自動化、データ連携スキル：必須：Databricksの設計・構築・運用経験、Terraformでのインフラ自動化スキル、AWS環境設計・構築経験、dbtによるデータ加工経験、Fivetran等を用いたデータ連携経験、AirflowまたはDagster等のワークフロー管理経験尚可：Python、PySparkの実務経験稼働場所：東京都（リモート中心、必要時に出社）その他：業種：自動車・輸送機器開始時期：2025年10月期間：2025年10月～11月（延長可）勤務時間：09:00‑17:30（休憩12:00‑13:00） |
| 業務内容：要件定義、設計、実装、テストまでの一連の開発支援担当工程：要件定義、設計、実装、テストスキル：必須：Scala、Python、ApacheSpark、Kubernetes、英語（ビジネスレベル）、日本語（流暢）尚可：DevOps、コンテナ技術、金融系システム開発経験稼働場所：東京都内その他：金融業界向けシステム開発、英語でのビジネスコミュニケーションが必須、外国籍可、年齢上限50代まで |
| 業務内容：Python、AWS、Airflow、Pandas、Kinesis、Spark、Redshift、Glue、Jenkins、Ansible、Kafka、MySQL、MongoDB等を用いたデータパイプライン（ETL）構築と、障害発生時の自動切り分け機能の実装。担当工程：要件定義、アーキテクチャ設計、DAG・パイプライン実装、テストコード作成、CI/CD構築、運用支援。スキル：必須：-Python開発経験10年以上-5名規模の開発チームリーダー経験-データパイプライン（ETL）構築経験-AWS上でのシステム開発経験-サーバレスワークフロー（Airflow/DAG）開発経験-Pytest等を用いたテスト実装経験-マイクロサービス・サーバレスアーキテクチャの理解-DWH・ビッグデータ基盤の知識尚可：-Pandas、Kinesis、Spark、Redshift、Glueの実務経験-Jenkins、Ansible、Lambda等のCI/CD・サーバレス開発経験-RDB（MySQL、MongoDB等）を用いたシステム開発経験-Kafka等のOSS活用経験-AWSマネージドサービス（Redshift、SQS/SNS、RDS）利用経験-アジャイル開発経験-JIRA、Confluence等のツール利用経験稼働場所：東京都品川（リモート併用、出社あり）その他：業種 |
| 業務内容：AWSGlueVisualETLまたはPySparkを用いたETL設計・開発、Redshiftからデータマートへのデータ転送実装、S3・PowerBI連携担当工程：設計、開発、テストスキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの利用経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBIの知識・経験稼働場所：フルリモート（必要時は東京都内出社）その他：業種：情報・通信・メディア開始時期：相談 |
PySpark分散処理アプリ開発／フルリモート／AWS経験者歓迎 - 9日前に公開
| 業務内容：設計済みアルゴリズムを基に、PySparkで分散処理アプリを開発します。T.B.D事項の確認・実装を含み、設計・開発・テストを実施します。担当工程：設計、開発、テストスキル：必須：Spark・PySpark開発経験、AWSサービス開発経験、AWS設計経験、能動的な業務遂行力尚可：EMRStudio、JupyterNotebookでの開発経験稼働場所：フルリモート（初日のみ出社希望）勤務地：愛知県その他：業種は情報・通信・メディア系。短期案件（期間は応相談）で、スキルに応じて継続案件への展開可能。 |
動画データ整備／データエンジニア募集／リモート（東京） - 10日前に公開
| 業務内容：-40万件以上の動画データへのタグ付け・フラグ付与-データ分類ルールの設計・実装・整備-SQLを用いたデータ抽出・フィルタリング担当工程：-要件定義、設計、実装、テスト、運用自動化スキル：必須：Python、SQL、Spark、Airflow、動画ファイル構造の理解、データ処理業務経験尚可：FFmpegを用いたメタ情報抽出稼働場所：基本リモート、東京でのミーティング出社の可能性ありその他：業種：情報・通信・メディア（SaaSベンチャー）プロジェクトは大規模動画データの整備 |
銀行システム開発支援／Scala・Python・Spark・K8s活用／英語必須 - 11日前に公開
| 業務内容：要件定義からテストまでを担当し、Scala、Python、Spark（PySpark）、Kubernetesを活用した銀行向けシステムの開発支援を行います。担当工程：要件定義、設計、実装、テストスキル：必須：Scala、Python、Spark（PySpark）、Kubernetes（k8s）、英語（ビジネスレベル）、日本語（流暢）尚可：DevOps知識、コンテナ技術全般、銀行プロジェクト経験稼働場所：東京都その他：業種：金融・保険業（銀行）／長期案件／外国籍可／出向必須／年齢上限50代まで／参画当初2か月間はイギリス商品に関するトレーニング実施／1対1のレビューと商品知識・業務ロジックに関する最終テストあり |
Python開発リーダー／ETLパイプライン構築／AWS・Airflow対応 - 12日前に公開
| 業務内容：-顧客内製システムの自動化開発-障害切り分けフローの一元化-データパイプライン（ETL）構築・運用担当工程：設計、実装、テスト、デプロイ、運用保守スキル：必須：Python実務経験10年以上、5名規模の開発チームリーダー経験、フレームワーク・ツール・プロセス選定経験、ETL構築経験、マイクロサービス・サーバレスアーキテクチャ理解、DWH・ビッグデータ実装理解、Pytest等によるテストコード実装経験、AWS上でのシステム開発経験、Airflow/DAGによるサーバレスワークフロー開発経験尚可：Pandas経験、Kinesis・Spark・Redshift・Glue実装経験、Jenkins・Ansible運用経験、Lambda等サーバレス開発経験、RDB（MySQL・MongoDB等）開発経験、Kafka等OSS活用経験、AWSマネージドサービス（Redshift、SQS/SNS、RDS）利用経験、アジャイル開発経験、JIRA・Confluence利用経験稼働場所：東京都（リモート併用、週2〜3回出社）その他：業種：情報・通信・メディア（サービス業）開始時期：相談 |
| 業務内容：-AzureDatabricksを用いたデータクレンジング-Tableauでの経営ダッシュボード設計・実装-PySparkによる分散データ処理-設計、開発、試験の各フェーズ実施担当工程：設計、開発、テストスキル：必須：データ分散処理の設計・実装経験、データベースアーキテクチャ経験、パフォーマンスチューニング経験、データ分析の設計・実装経験尚可：PySpark実務経験、Sparkパフォーマンス対策経験、Hadoop利用経験、DWH開発経験、AzureDatabricks実務経験稼働場所：東京都（リモート中心、顧客・社内ミーティング時に出社あり）その他：業種：情報・通信・メディア、プロジェクト期間：相談、募集人数：1〜2名 |
予防接種DBシステム開発支援／Python・AWS活用／リモート中心 - 16日前に公開
| 業務内容：-AWS上で予防接種情報を管理・配信するシステムの開発・運用-Pythonによる実装およびpytestでの単体テスト-結合テストの実施-S3、Lambda、EventBridge、StepFunctions、Glue、ECS等のマネージドサービスを用いた構築担当工程：実装、単体テスト、結合テスト、AWS環境構築・設定スキル：必須：Pythonでの開発経験、pytestによる単体テスト経験、AWS上でのアプリケーション開発経験、S3・Lambda・EventBridge・StepFunctions・Glue・ECS等の基礎知識、自己解決力、良好なコミュニケーション能力尚可：ApacheSparkを用いた開発経験または知見稼働場所：リモートワークメイン、必要時は東京都内出社その他：業種：医療・ヘルスケア、開始時期：即日可能、終了時期：未定、リリース予定：2026年5月頃、継続的な周辺システム支援あり、外国籍歓迎（日本語N1レベル必須） |
| 業務内容：要件定義、設計、実装、テストを実施し、1対1レビューやテスト実施を行います。参画初期にはイギリス商品に関するトレーニングがあります。担当工程：要件定義、設計、実装、テストスキル：必須：Scala、Python、ApacheSpark、Kubernetes、英語ビジネスレベル、日本語流暢尚可：DevOps、コンテナ技術、銀行システム開発経験稼働場所：東京都（オフィス勤務またはリモート可）その他：金融（銀行）システム開発支援プロジェクトです。長期案件で、2025年10月から11月までの期間を想定しています。 |
| 業務内容：-データ収集・加工プログラム（AWSGlue＋Sparkジョブ（Python））開発-データマートを基にしたPowerBIダッシュボード開発-設計・開発・単体テストの実施-結合テスト支援（12月以降）-その他開発支援担当工程：設計、開発、単体テスト、結合テスト、運用支援スキル：必須：データ加工・編集、データマート設計経験、PowerBI等BIツールの具体化検討経験、複雑なSQLおよびDB設計経験、Pythonプログラム設計・開発経験、DX活動への関心と積極性尚可：AWSGlue（ETL）経験、その他ETL開発経験、AWSデータ活用サービス（Redshift、QuickSight等）経験、PowerBI等BIツール開発経験稼働場所：東京都（入場後2〜3週間常勤、その後週1出社＋週4リモート）その他：業種：製造業系（自動車・輸送機器等）開始時期：即日または相談可能 |
| 業務内容：-Python／PySparkを用いた金融機関向けデータ分析システムの再構築・AWSへの移行-WBSの作成、進捗・課題・メンバー管理、各種報告書作成-会議出席、状況報告等のプロジェクト推進支援-その他付随業務担当工程：システム開発（基本設計〜実装・テスト・保守）およびプロジェクト管理業務全般スキル：必須：Python（PySpark）による開発・保守経験、AWS等クラウド環境でのシステム構築経験、システム開発経験（基本設計以降）、関係者との円滑なコミュニケーション力・リーダーシップ、自走力尚可：リーダー／サブリーダー等のチームマネジメント経験稼働場所：東京都（リモート併用、週2回程度出社）その他：業種：金融・保険業（銀行・信託）／プロジェクト開始時期：2025年9月予定／期間：長期（約12か月）／募集人数：2名 |
| 業務内容：-法規案件向け次世代Bigdata分析基盤の開発-システム開発およびテスト作業-プロジェクトリーダー指示のもとプロジェクト参画担当工程：-実装（プログラミング）-テスト（単体テスト・結合テスト）スキル：必須：Pythonでの実務開発経験（1年以上）、SQLを用いたデータベース操作・クエリ作成経験、Linuxの基本操作スキル尚可：Bigdata関連技術（例：Hadoop、Spark）に関する知識、CI/CDツールの使用経験稼働場所：基本テレワーク（関西・中国エリア）。業務上必要な場合はオフィス出社あり。その他：業種：公共・社会インフラ／官公庁・自治体開始時期：即日または相談に応じて決定勤務時間：9:00〜17:45（休憩45分）週休2日制、カレンダーに準拠した休日取得可 |
Pythonアジャイル開発／在宅中心・東京都出社 - 20日前に公開
| 業務内容：Pythonを用いたアジャイル開発プロジェクトにおける機能実装・改修作業担当工程：ソフトウェア開発（要件実装・コードレビュー等）スキル：必須：Pythonによる開発経験尚可：アジャイル開発経験、ApacheAirflow、Gitea、Spark、Hadoop、Hive、Linux稼働場所：在宅勤務を基本とし、月2回程度東京都内のオフィスへ出社その他：業種：情報・通信・メディア |
| 業務内容：-AWSGlue（VisualETL）またはPySparkを用いたETLの設計・開発-Redshiftからデータマート（S3）へのデータ転送実装-RDBMS連携担当工程：ETL設計、開発、テスト、デプロイスキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの使用経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBI稼働場所：東京都（フルリモート、必要時東京23区内出社可）その他：業種：情報・通信・メディア開始時期：即日または相談可能 |
| 業務内容：-AWSGlue（Spark）とPythonを用いたデータ収集・加工プログラムの開発-データマートの設計・構築-PowerBIによるダッシュボード作成-データ加工・編集、データマート、ダッシュボードの具体化検討-結合テスト支援、その他開発支援担当工程：-設計、実装、テスト、デプロイスキル：必須：データ活用・可視化向けのデータ加工経験、DB設計と高度なSQL実務経験、Pythonでのプログラム設計・開発、アウトプットを意識したDB・テーブル設計スキル、DX活動への関心尚可：AWSGlue（ETL）経験、その他ETL開発経験、AWSRedshiftやQuickSight等のデータ活用サービス経験、PowerBI等BIツールでのダッシュボード開発経験稼働場所：東京都（初期は常勤、その後は週1出社・週4リモート）その他：業種：製造業系大手メーカー、開始時期は相談可能 |
| 業務内容：-データ管理基盤の運用・保守-企画支援（現状調査、現場ヒアリング）-要件整理支援（機能・非機能要件の取りまとめ）-開発支援（Python、DataBricks、Azure、Sparkを使用）担当工程：-運用・保守-要件定義・要件整理-設計・実装支援-テスト支援スキル：必須：Pythonでの開発経験尚可：Pandasでの開発経験、DataBricksでの開発経験稼働場所：大阪府内（現地作業）その他：業種：機械・重工業（農機具メーカー）開始時期：相談に応じて決定 |
| 業務内容：既存のRPAベースの受発注管理システムをJavaバッチへ移行するため、AWSGlue（VisualETL）またはPySparkを活用したETLバッチ処理を設計・開発し、AmazonRedshiftとの連携を実装します。担当工程：要件定義、詳細設計、バッチ開発、テスト、デプロイ、運用支援スキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの実務経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBIの経験稼働場所：フルリモート（必要に応じて出社）その他：業種：情報・通信・メディア、開始時期は相談、リモートワーク中心の勤務形態 |
AWS基盤開発支援／データパイプライン設計・実装／東京都 - 27日前に公開
| 業務内容：-データパイプラインの設計・開発-外部システムとのデータ連携インタフェース層構築-データマート（物理レイヤ）の構築およびジョブ作成-テスト計画の策定・実施-設計書・テーブル設計書・ETL設計書等のレビュー-Backlogによる課題管理-ベンダー折衝・定例ミーティングへの参加担当工程：要件定義、設計、実装、テスト、レビュー、運用支援スキル：必須：-AWS（EventBridge、StepFunctions、Lambda、Glue等）での開発経験-SQL（複数テーブルのJOIN）およびStoredProcedureの設計・開発経験-Python（PySparkを用いたデータパイプライン構築経験が望ましい）-Gitを用いたチーム開発経験-情報系システムの運用経験-ジョブフロー設計書のレビュー経験尚可：-S3、EC2、SecurityGroup、ELBなどの基本的なAWSサービス知識-Snowflakeを利用した開発経験-TableauServerの構築・運用経験-Tableauダッシュボードの開発経験稼働場所：東京都その他：業種：情報・通信・メディア開始時期：2025年7月開始（6月途中開始も可）募集人数：1名 |
| 業務内容：-各種データパイプラインの設計・開発-インタフェースレイヤ構築（外部システム連携）-データ登録・加工・データマート構築-インタフェース～物理レイヤ一貫ジョブ作成-テスト計画・実施-設計書等ドキュメントレビュー-Backlogでの課題管理-ベンダー折衝・定例MTG参加担当工程：要件定義・設計、開発、テスト、運用支援、ドキュメントレビュー、ベンダー調整スキル：必須：-AWS（EventBridge、StepFunctions、Lambda、Glue等）の実務知識-SQLによる複数テーブルJOIN作成経験-StoredProcedureの設計・開発経験-Python（PySpark歓迎）での開発経験-Gitを用いたチーム開発経験-情報系システムまたはシステム運用全般の経験-ジョブフロー設計書のレビュー経験尚可：-AWS基本サービス（S3、EC2、SecurityGroup、ELB等）の知識-Snowflake利用経験-TableauServerの構築・運用経験-Tableauダッシュボード開発経験稼働場所：東京都（リモート可／出社は東京都内オフィス）その他：業種：情報・通信・メディア（情報系基盤開発）開始時期：6月途中または7月開始可能外国籍不可 |
| 業務内容：需要予測システムから抽出したデータをAWSGlue（VisualETL）またはPySparkを用いて再構築し、Redshiftからデータマートへ登録するETLパイプラインの設計・開発を実施。併せてPowerBI用レポート作成を支援。担当工程：要件定義、設計、実装、テスト、デプロイまでの一連工程を担当。スキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの使用経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBIの実務経験稼働場所：フルリモート（必要時は出社あり）その他：業種：情報・通信・メディア／サービス業開始時期：相談に応じて調整可能 |
| 業務内容：-データパイプラインの設計・開発-外部システムとのデータ連携インタフェース層構築-データ登録・加工・データマート（物理レイヤ）作成-インタフェース〜物理レイヤを結ぶ一気通貫ジョブ作成-テスト計画策定・実施-ジョブ設計書・テーブル設計書・ETL設計書等のドキュメントレビュー-Backlogを用いた課題管理-ベンダー折衝・定例ミーティング参加担当工程：要件定義・設計、実装、テスト、ドキュメントレビュー、ベンダー折衝スキル：必須：-AWS（EventBridge、StepFunctions、Lambda、Glue）知識-SQL（複数テーブルJOIN）開発経験-StoredProcedure設計・開発経験-Python開発経験（PySparkでのデータパイプライン構築歓迎）-Gitを用いたチーム開発経験-情報系システムまたはシステム運用全般の運用経験-ジョブフロー設計書のレビュー経験尚可：-AWS基本サービス（S3、EC2、SG、ELB等）知識-Snowflakeを利用した開発経験-TableauServerの構築・運用経験-Tableauダッシュボード開発経験稼働場所：東京都大崎駅周辺（常勤勤務、リモート不可）その他：業種：情報・通信・メディア開始時期：相談 |
| 業務内容：走行データ分析システムの機能追加開発、ミドルウェア（Java／Snowflake）のバージョンアップに伴う検証および移行作業を担当。担当工程：要件定義、基本設計、詳細設計、実装、検証、移行、リリーススキル：必須：・Javaを用いたWebアプリケーション開発経験3年以上・データベースに関する基礎知識尚可：・AWSまたはSnowflakeを利用した開発経験・Sparkなどを用いた大量データ処理経験・マイクロサービスアーキテクチャでの開発経験・ヒアリングから設計・実装まで一貫対応した経験稼働場所：愛知県（リモート併用：週3目安）その他：業種：自動車・輸送機器開始時期：2025年9月予定期間：長期募集人数：1名 |