新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:205件
| 業務内容：データ情報系システム（大規模DWH）の基本設計、開発、テスト工程全般を担当し、クラウドへの段階的シフトを推進します。担当工程：基本設計、詳細設計、実装、単体テスト、結合テスト、総合テストスキル：必須：Spark、Linux（シェルスクリプト等）およびRDB（SQL）での開発経験。設計からテストまで一人で遂行できる実務経験。自律的に動けるチームプレイヤー。尚可：AWS（EC2、S3、EFS）やSnowflakeの利用経験。Databricks、Informaticaの開発経験。稼働場所：東京都（出勤＋在宅併用、参画直後2ヶ月はフル常駐）その他：業種：情報・通信・メディア。開始時期：10月開始。長期（中長期）プロジェクト。 |
| 業務内容：データ利活用基盤の設計・構築を支援する業務です。要件定義やアーキテクチャ設計、実装支援、テスト・検証等を実施していただきます。担当工程：要件定義、基本設計、詳細設計、実装支援、テスト・検証スキル：必須：データベース（RDBMS）やデータウェアハウスの設計経験、ETLツール利用経験、SQL実装スキル、クラウド基盤（AWS/Azure/GCP）でのデータ基盤構築経験尚可：ビッグデータ処理基盤（Hadoop/Spark）経験、データ可視化ツール（Tableau、PowerBI）使用経験、データガバナンス・セキュリティ知識稼働場所：未特定その他：特記事項なし |
| 業務内容：-配信用リストの抽出-抽出要件の定義・設計相談会議への同席-会議議事録作成-レポート作成-必要に応じた顧客コミュニケーション担当工程：要件定義、設計、データ抽出、レポート作成、顧客折衝スキル：必須：Pythonによるデータ分析経験、顧客との要件定義・設計経験、積極的なコミュニケーション能力、期間転籍が可能なこと尚可：Spark／PySparkの利用経験、通信業界での分析経験、顧客コミュニケーション経験稼働場所：東京都高輪ゲートウェイ（基本出社）その他：業種：情報・通信・メディア（通信業界）／期間：10月から長期／勤務時間：09:00〜18:00（休憩1h）／年齢上限：49歳まで／人数：1名 |
| 業務内容：-新規データ基盤の設計・構築（AWS、BigQuery、Snowflake等）-ETL/ELTパイプラインの改善・最適化-データモデル設計・マルチテナント対応-データガバナンス・セキュリティ設計・運用、コンプライアンス対応-全社業務データ・IoTデータ・行動データの統合管理-BIツール連携設計-データ基盤の運用・最適化、チームへの技術育成・レビュー担当工程：要件定義、設計、構築、テスト、運用・保守、技術リードスキル：必須：クラウド（AWS、GCP、Snowflake等）での大規模データ基盤構築・運用経験、Terraform・CloudFormation・CDK等によるIaCの本番運用経験、RDBMS・SQLを用いたテーブル設計・ETL開発経験尚可：Python・Go・Java等でのデータ処理バッチ開発経験、ステークホルダー調整を伴う基盤開発推進経験、技術的リード経験、セキュリティ・データ品質への高い意識、マルチクラウド・ハイブリッド構築経験、数百万件規模・リアルタイム処理パイプライン構築経験、Spark・dbt・Dataform・Trocco等のETLフレームワーク利用経験、機械学習を活用した予測・レコメンド等の設計経験稼働場所：フルリモート（フルフレックス勤務）その他：業種：情報・通信・メディア（ウェルネス向けSaaS）開始時期：随時開始、長期案件言語要件 |
| 業務内容：・Python・AWS・Airflow等を用いたデータパイプライン（ETL）開発・障害発生時の自動切り分けロジック実装・データ基盤（DWH）・サーバレス・マイクロサービス構成の設計・実装担当工程：要件定義、設計、実装、テスト、運用支援スキル：必須：Python（10年以上）・AWS・Airflow・ETL／データパイプライン構築・マイクロサービス・サーバレスアーキテクチャ理解・DWH・ビッグデータ基盤知識・Pytestによるテストコード作成・サーバレスワークフロー開発経験・5名規模のチームリーダー経験尚可：Pandas・Kinesis・Spark・Redshift・Glue・Jenkins・Ansible・Lambda・MySQL・MongoDB・Kafka・AWSマネージドサービス（Redshift、SQS、RDS等）・アジャイル開発・JIRA・Confluence稼働場所：東京都（リモート併用、週2〜3回出社）その他：業種：情報・通信・メディア開始時期：2025年10月開始予定外国籍不可、必要スキルの70％マッチで可 |
| 業務内容：-SAS資産の再構築・移行-AWSGlue、Python、PySparkを用いた開発担当工程：-再構築・移行スキル：必須：PythonまたはPySparkでのデータベース関連システム開発経験、またはShell開発経験、関係者との円滑なコミュニケーション力、主体的に動ける姿勢尚可：リーダー／サブリーダー等のチームマネジメント経験、AWSなどクラウドシステムの開発・保守経験稼働場所：東京都（リモート可）その他：業種：金融・保険業（銀行・信託）開始時期：要相談長期参画歓迎信用リスクシステムの統合・再構築プロジェクト |
| 業務内容：-ApacheKafkaのチューニングおよびトラブルシューティング-Kafkaを中心としたデータマネジメントシステムの設計・構築担当工程：要件定義、システム設計、実装、テスト、運用・保守スキル：必須：Linuxカーネルパラメータのチューニング、ApacheKafkaの実務経験、Java開発経験尚可：ApacheSparkなどKafka系OSSの経験、データマネジメント・ストリーミング処理の知識稼働場所：東京都（基本リモート）その他：業種：情報・通信・メディア勤務時間：9:30〜18:30服装：ビジネスカジュアル開始時期：相談に応じて |
| 業務内容：エンタメ系企業の基幹システム更改に伴うハイブリッドクラウド環境の設計・構築・PoC、コンテナ（AWS/OCI）設計、Tomcat等アプリサーバ構築、顧客折衝。大規模システム運用設計・保守、Linuxサーバ構築・切替、AWS（Aurora/RDS/Fargate/CloudFront）インフラ構築・保守、Azure基盤保守・Datadog導入、Java/Reactを用いた基幹システム開発、VC++による航空系インターフェース設計・製造、ETL（AWSGlue/PySpark）設計・開発、データ抽出・分析支援、プロジェクトマネジメント等。担当工程：要件定義、基本設計、詳細設計、構築・実装、テスト、運用保守、障害対応、プロジェクト管理。スキル：必須：ハイブリッドクラウド設計・構築経験、コンテナ(AWS/OCI)経験、Tomcat等アプリサーバ構築、顧客折衝経験、Linuxサーバ構築・運用、JavaおよびReact開発経験、AWS/Terraform構築経験、Azure保守経験、VC++開発経験、ETL(AWSGlueまたはPySpark)経験、PM（プロジェクト管理）経験。尚可：詳細設計・ランニング費用算出、Terraform/Ansible等構成管理ツール、BIツール（ZohoAnalytics等）でのデータ分析、Datadog導入・Well‑Ar |
| 業務内容：-ApacheKafkaのチューニング・トラブルシューティング-Kafkaを中心としたデータマネジメントシステムの設計・構築担当工程：設計、構築、チューニング、トラブルシューティングスキル：必須：Linux（カーネルパラメータのチューニング経験）、ApacheKafka、Java開発経験尚可：ApacheSpark等KafkaベースのOSS経験、データマネジメント・ストリーミング処理の知識稼働場所：東京都（基本リモート）その他：情報・通信・メディア業界のシステムインテグレーター案件、長期プロジェクト、開始時期は即日または相談可能 |
| 業務内容：-Databricksの設計・構築・運用-Terraformによるインフラ自動化-AWS環境の設計・構築-dbtによるデータ加工-Fivetran等を用いたデータ連携-Airflow・Dagster等のワークフロー管理担当工程：設計、構築、テスト、運用、インフラ自動化、データ連携スキル：必須：Databricksの設計・構築・運用経験、Terraformでのインフラ自動化スキル、AWS環境設計・構築経験、dbtによるデータ加工経験、Fivetran等を用いたデータ連携経験、AirflowまたはDagster等のワークフロー管理経験尚可：Python、PySparkの実務経験稼働場所：東京都（リモート中心、必要時に出社）その他：業種：自動車・輸送機器開始時期：2025年10月期間：2025年10月～11月（延長可）勤務時間：09:00‑17:30（休憩12:00‑13:00） |
| 業務内容：要件定義、設計、実装、テストまでの一連の開発支援担当工程：要件定義、設計、実装、テストスキル：必須：Scala、Python、ApacheSpark、Kubernetes、英語（ビジネスレベル）、日本語（流暢）尚可：DevOps、コンテナ技術、金融系システム開発経験稼働場所：東京都内その他：金融業界向けシステム開発、英語でのビジネスコミュニケーションが必須、外国籍可、年齢上限50代まで |
| 業務内容：Python、AWS、Airflow、Pandas、Kinesis、Spark、Redshift、Glue、Jenkins、Ansible、Kafka、MySQL、MongoDB等を用いたデータパイプライン（ETL）構築と、障害発生時の自動切り分け機能の実装。担当工程：要件定義、アーキテクチャ設計、DAG・パイプライン実装、テストコード作成、CI/CD構築、運用支援。スキル：必須：-Python開発経験10年以上-5名規模の開発チームリーダー経験-データパイプライン（ETL）構築経験-AWS上でのシステム開発経験-サーバレスワークフロー（Airflow/DAG）開発経験-Pytest等を用いたテスト実装経験-マイクロサービス・サーバレスアーキテクチャの理解-DWH・ビッグデータ基盤の知識尚可：-Pandas、Kinesis、Spark、Redshift、Glueの実務経験-Jenkins、Ansible、Lambda等のCI/CD・サーバレス開発経験-RDB（MySQL、MongoDB等）を用いたシステム開発経験-Kafka等のOSS活用経験-AWSマネージドサービス（Redshift、SQS/SNS、RDS）利用経験-アジャイル開発経験-JIRA、Confluence等のツール利用経験稼働場所：東京都品川（リモート併用、出社あり）その他：業種 |
| 業務内容：AWSGlueVisualETLまたはPySparkを用いたETL設計・開発、Redshiftからデータマートへのデータ転送実装、S3・PowerBI連携担当工程：設計、開発、テストスキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの利用経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBIの知識・経験稼働場所：フルリモート（必要時は東京都内出社）その他：業種：情報・通信・メディア開始時期：相談 |
| 業務内容：設計済みアルゴリズムを基に、PySparkで分散処理アプリを開発します。T.B.D事項の確認・実装を含み、設計・開発・テストを実施します。担当工程：設計、開発、テストスキル：必須：Spark・PySpark開発経験、AWSサービス開発経験、AWS設計経験、能動的な業務遂行力尚可：EMRStudio、JupyterNotebookでの開発経験稼働場所：フルリモート（初日のみ出社希望）勤務地：愛知県その他：業種は情報・通信・メディア系。短期案件（期間は応相談）で、スキルに応じて継続案件への展開可能。 |
| 業務内容：-40万件以上の動画データへのタグ付け・フラグ付与-データ分類ルールの設計・実装・整備-SQLを用いたデータ抽出・フィルタリング担当工程：-要件定義、設計、実装、テスト、運用自動化スキル：必須：Python、SQL、Spark、Airflow、動画ファイル構造の理解、データ処理業務経験尚可：FFmpegを用いたメタ情報抽出稼働場所：基本リモート、東京でのミーティング出社の可能性ありその他：業種：情報・通信・メディア（SaaSベンチャー）プロジェクトは大規模動画データの整備 |
| 業務内容：要件定義からテストまでを担当し、Scala、Python、Spark（PySpark）、Kubernetesを活用した銀行向けシステムの開発支援を行います。担当工程：要件定義、設計、実装、テストスキル：必須：Scala、Python、Spark（PySpark）、Kubernetes（k8s）、英語（ビジネスレベル）、日本語（流暢）尚可：DevOps知識、コンテナ技術全般、銀行プロジェクト経験稼働場所：東京都その他：業種：金融・保険業（銀行）／長期案件／外国籍可／出向必須／年齢上限50代まで／参画当初2か月間はイギリス商品に関するトレーニング実施／1対1のレビューと商品知識・業務ロジックに関する最終テストあり |
| 業務内容：-顧客内製システムの自動化開発-障害切り分けフローの一元化-データパイプライン（ETL）構築・運用担当工程：設計、実装、テスト、デプロイ、運用保守スキル：必須：Python実務経験10年以上、5名規模の開発チームリーダー経験、フレームワーク・ツール・プロセス選定経験、ETL構築経験、マイクロサービス・サーバレスアーキテクチャ理解、DWH・ビッグデータ実装理解、Pytest等によるテストコード実装経験、AWS上でのシステム開発経験、Airflow/DAGによるサーバレスワークフロー開発経験尚可：Pandas経験、Kinesis・Spark・Redshift・Glue実装経験、Jenkins・Ansible運用経験、Lambda等サーバレス開発経験、RDB（MySQL・MongoDB等）開発経験、Kafka等OSS活用経験、AWSマネージドサービス（Redshift、SQS/SNS、RDS）利用経験、アジャイル開発経験、JIRA・Confluence利用経験稼働場所：東京都（リモート併用、週2〜3回出社）その他：業種：情報・通信・メディア（サービス業）開始時期：相談 |
| 業務内容：-AzureDatabricksを用いたデータクレンジング-Tableauでの経営ダッシュボード設計・実装-PySparkによる分散データ処理-設計、開発、試験の各フェーズ実施担当工程：設計、開発、テストスキル：必須：データ分散処理の設計・実装経験、データベースアーキテクチャ経験、パフォーマンスチューニング経験、データ分析の設計・実装経験尚可：PySpark実務経験、Sparkパフォーマンス対策経験、Hadoop利用経験、DWH開発経験、AzureDatabricks実務経験稼働場所：東京都（リモート中心、顧客・社内ミーティング時に出社あり）その他：業種：情報・通信・メディア、プロジェクト期間：相談、募集人数：1〜2名 |
| 業務内容：-AWS上で予防接種情報を管理・配信するシステムの開発・運用-Pythonによる実装およびpytestでの単体テスト-結合テストの実施-S3、Lambda、EventBridge、StepFunctions、Glue、ECS等のマネージドサービスを用いた構築担当工程：実装、単体テスト、結合テスト、AWS環境構築・設定スキル：必須：Pythonでの開発経験、pytestによる単体テスト経験、AWS上でのアプリケーション開発経験、S3・Lambda・EventBridge・StepFunctions・Glue・ECS等の基礎知識、自己解決力、良好なコミュニケーション能力尚可：ApacheSparkを用いた開発経験または知見稼働場所：リモートワークメイン、必要時は東京都内出社その他：業種：医療・ヘルスケア、開始時期：即日可能、終了時期：未定、リリース予定：2026年5月頃、継続的な周辺システム支援あり、外国籍歓迎（日本語N1レベル必須） |
| 業務内容：要件定義、設計、実装、テストを実施し、1対1レビューやテスト実施を行います。参画初期にはイギリス商品に関するトレーニングがあります。担当工程：要件定義、設計、実装、テストスキル：必須：Scala、Python、ApacheSpark、Kubernetes、英語ビジネスレベル、日本語流暢尚可：DevOps、コンテナ技術、銀行システム開発経験稼働場所：東京都（オフィス勤務またはリモート可）その他：金融（銀行）システム開発支援プロジェクトです。長期案件で、2025年10月から11月までの期間を想定しています。 |
| 業務内容：-データ収集・加工プログラム（AWSGlue＋Sparkジョブ（Python））開発-データマートを基にしたPowerBIダッシュボード開発-設計・開発・単体テストの実施-結合テスト支援（12月以降）-その他開発支援担当工程：設計、開発、単体テスト、結合テスト、運用支援スキル：必須：データ加工・編集、データマート設計経験、PowerBI等BIツールの具体化検討経験、複雑なSQLおよびDB設計経験、Pythonプログラム設計・開発経験、DX活動への関心と積極性尚可：AWSGlue（ETL）経験、その他ETL開発経験、AWSデータ活用サービス（Redshift、QuickSight等）経験、PowerBI等BIツール開発経験稼働場所：東京都（入場後2〜3週間常勤、その後週1出社＋週4リモート）その他：業種：製造業系（自動車・輸送機器等）開始時期：即日または相談可能 |
| 業務内容：-Python／PySparkを用いた金融機関向けデータ分析システムの再構築・AWSへの移行-WBSの作成、進捗・課題・メンバー管理、各種報告書作成-会議出席、状況報告等のプロジェクト推進支援-その他付随業務担当工程：システム開発（基本設計〜実装・テスト・保守）およびプロジェクト管理業務全般スキル：必須：Python（PySpark）による開発・保守経験、AWS等クラウド環境でのシステム構築経験、システム開発経験（基本設計以降）、関係者との円滑なコミュニケーション力・リーダーシップ、自走力尚可：リーダー／サブリーダー等のチームマネジメント経験稼働場所：東京都（リモート併用、週2回程度出社）その他：業種：金融・保険業（銀行・信託）／プロジェクト開始時期：2025年9月予定／期間：長期（約12か月）／募集人数：2名 |
| 業務内容：-法規案件向け次世代Bigdata分析基盤の開発-システム開発およびテスト作業-プロジェクトリーダー指示のもとプロジェクト参画担当工程：-実装（プログラミング）-テスト（単体テスト・結合テスト）スキル：必須：Pythonでの実務開発経験（1年以上）、SQLを用いたデータベース操作・クエリ作成経験、Linuxの基本操作スキル尚可：Bigdata関連技術（例：Hadoop、Spark）に関する知識、CI/CDツールの使用経験稼働場所：基本テレワーク（関西・中国エリア）。業務上必要な場合はオフィス出社あり。その他：業種：公共・社会インフラ／官公庁・自治体開始時期：即日または相談に応じて決定勤務時間：9:00〜17:45（休憩45分）週休2日制、カレンダーに準拠した休日取得可 |
| 業務内容：Pythonを用いたアジャイル開発プロジェクトにおける機能実装・改修作業担当工程：ソフトウェア開発（要件実装・コードレビュー等）スキル：必須：Pythonによる開発経験尚可：アジャイル開発経験、ApacheAirflow、Gitea、Spark、Hadoop、Hive、Linux稼働場所：在宅勤務を基本とし、月2回程度東京都内のオフィスへ出社その他：業種：情報・通信・メディア |
| 業務内容：-AWSGlue（VisualETL）またはPySparkを用いたETLの設計・開発-Redshiftからデータマート（S3）へのデータ転送実装-RDBMS連携担当工程：ETL設計、開発、テスト、デプロイスキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの使用経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBI稼働場所：東京都（フルリモート、必要時東京23区内出社可）その他：業種：情報・通信・メディア開始時期：即日または相談可能 |