新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:149件
| 業務内容：-AWS上のデータウェアハウス（DWH）システムに対する機能追加、改修、保守-データベースはApacheIceberg、ETLはAWSGlue（PySpark）を使用-ジョブ管理はEventBridge・StepFunctions、監視はCloudWatch・Datadog担当工程：-要件定義、設計、実装、テスト、運用保守、CI/CDパイプライン構築スキル：必須：-クラウド（AWS）での開発・保守経験-Terraformによるインフラ構築経験-Gitを用いたバージョン管理経験尚可：-小規模チーム（3〜4名）でのリーダー経験-バッチ系システムの開発・保守経験-AWSGlue、StepFunctions、IAM、VPCの実務経験-TerraformでのCI/CDパイプライン構築・運用経験-SQLの実務経験稼働場所：東京都（在宅勤務併用可）その他：業種：情報・通信・メディア開始時期：2025年12月開始（長期案件） |
AWS DWH保守・開発／Python・SQL／東京都在宅可 - 7日前に公開
| 業務内容：クラウド（AWS）上に構築されたデータウェアハウスシステムの保守・新規機能開発を担当します。ApacheIcebergを利用したデータレイクの管理、Glue（PySpark）によるETLジョブの作成・運用、EventBridgeとStepFunctionsを用いたジョブスケジューリング、CloudWatch・DataDogによる監視設定・障害対応を行います。担当工程：要件定義、設計、実装、テスト、運用保守、ジョブ管理スキル：必須：AWS環境での開発・保守経験、SQLの実務経験、Python（開発経験）、Gitの使用経験尚可：小規模チームでのリーダー経験、バッチ系システムの開発・保守経験、クラウドインフラ構築経験、Terraformを用いたCI/CDパイプラインの構築・運用経験稼働場所：東京都（在宅勤務あり）その他：業種：情報・通信・メディア、開始時期：2025年11月または12月開始、募集人数：2名 |
| 業務内容：-Python/PySparkを用いた信用リスク評価システムの再構築-タスク整理（WBS作成）・進捗・課題・メンバー管理、各種報告書作成-プロジェクト推進に関わる会議出席・報告-その他プロジェクト推進業務担当工程：-基本設計以降のシステム開発-プロジェクトマネジメント・進捗管理スキル：必須：Python開発経験、クラウドシステムの開発・保守経験、システム開発経験（基本設計以降）、関係者とのコミュニケーション力・リーダーシップ、自走力尚可：PySpark実務経験、チームマネジメント（リーダー／サブリーダー）経験稼働場所：東京都（リモート併用、週2日程度出社）その他：業種：金融・保険業（銀行・信託）／データ分析システム統合プロジェクト開始時期：2025年12月開始、2026年3月終了予定（延長あり）募集人数：1名対象年齢：20代～30代（最大40歳程度）希望外国籍：不可 |
| 業務内容：-PalantirFoundry上のダッシュボード・ツールの画面改修・新規作成-データパイプラインの改修・新規作成-要件定義からリリースまでの全工程を担当担当工程：要件定義、設計、実装、テスト、リリーススキル：必須：TypeScriptまたはJavaScript、CSSの実務経験・RDBに関する知識・経験・Python（Pyspark）または他言語によるデータ加工経験・双方向コミュニケーションが取れ自立的にタスクを遂行できること尚可：なし稼働場所：テレワーク（将来的に新宿オフィスへ出社予定、東京都内）その他：業種：情報・通信・メディア・開始時期：要相談 |
| 業務内容：AWS上のデータウェアハウス（DWH）システムの保守・開発を担当。ApacheIceberg、Glue（PySpark）を用いたデータ処理基盤の運用・改善。担当工程：要件定義、設計、実装、テスト、リリース、運用保守。スキル：必須：Python（3年以上）開発経験、SQL開発経験、AWS上での開発・保守経験、Git使用経験、顧客折衝経験尚可：小規模チームでのリーダー経験、バッチ系システム開発・保守経験、クラウドインフラ構築経験、CI/CDパイプライン構築・運用経験稼働場所：東京都（テレワーク併用）その他：情報・通信・メディア業界のポイント事業者向けプロジェクト、開始時期は2025年11月から、フルタイム勤務。 |
データ基盤構築／Azure・AWS対応／東京都（出社リモートハーフ） - 10日前に公開
| 業務内容：Azure・AWS上でのデータ基盤の要件定義、システム設計・構築、運用保守に伴う課題対応を実施します。担当工程：要件定義、設計、実装、運用保守スキル：必須：Azure/AWSでのシステム設計・構築経験、OracleDBに関する基礎知識、ETL処理の設計・開発経験尚可：データ移行プロジェクト経験、Kafka・Spark・Hadoop等のビッグデータ処理技術経験稼働場所：東京都（出社・リモートハーフ）その他：情報・通信・メディア業界、長期参画想定、休日対応は基本なし（繁忙期に限り発生） |
IT総合プロジェクト支援／要件定義・設計・構築・運用保守／リモート中心 - 21日前に公開
| 業務内容：ITIL運用標準化策定・実装、SOC・ID管理整備、Office365テナント設計・ライセンス展開、AzureEntraID設定、製品導入・インテグレーション、要件定義・プロジェクトマネジメント、大学インフラ（ネットワーク・サーバ・AzureVirtualDesktop）運用保守、Webサイト・バナー・動画デザイン、PHP／Rubyベースの電子チケット開発PM、データ連携システム運用保守、製造業向けファイアウォール・IDS・UTM設計・構築・導入、金融系OAサポート・PCキッティング、SharePoint・OneDrive全社導入リーダー、会計経理サービスのAWS／Azure上でのフロントエンド（React／TypeScript）・バックエンド（JavaSpringBoot）開発、SAPS/4HANA設計支援、AIエージェント基盤構築PMO、AWSGlue／PySparkによるETL再構築担当工程：要件定義・基本設計・詳細設計・構築・テスト・運用保守・プロジェクト管理・ステークホルダー調整・ドキュメント作成・ユーザー対応スキル：必須：ITIL実務経験、Office365テナント設計経験、AzureEntraID知識、プロジェクトマネジメント経験、ネットワーク・サーバ運用経験、Webデザイン実務経験、PHPまたはRuby開発経験、AWS／Azure利用経験、R |
Snowflakeデータ分析／Python・SQL活用／常駐（恵比寿・品川） - 23日前に公開
| 業務内容：-Snowflakeを用いたエンハンス開発-Python・SQLでのデータ操作・変換・加工・自動化ツール作成-エンドユーザー（データ分析者）への課題解決支援-アジャイル開発でPMと協働担当工程：-設計・実装・テスト・保守スキル：必須：Pythonでのデータ操作・自動化経験、SQLでのデータ加工経験、大規模データ開発経験、エンド側とのコミュニケーション能力尚可：要件定義経験、コード・設計書レビュー経験、Spark等の大規模データ処理フレームワーク運用経験、Databricks・Snowflake等の構築・運用・保守経験稼働場所：東京都内（恵比寿周辺で常駐、以降は品川周辺で常駐）その他：業種：情報・通信・メディア、プロジェクト開始は2025年11月から、リモート勤務はなし、PC貸与あり、服装自由（派手でなければ可） |
受発注管理システムETL更改／AWS Glue・PySpark移行／フルリモート - 24日前に公開
| 業務内容：受発注管理システムのETL処理を、既存のPythonShellからAWSGlue（VisualETL）またはPySparkへ置換し、Redshiftとの連携を実装する担当工程：要件定義、ETL設計、開発、テスト、デプロイスキル：必須：AWSGlue（VisualETL）またはPySparkの実務経験、RDBMSの実務経験尚可：Python、SQL、AmazonRedshift、AmazonS3、PowerBIの知識・経験稼働場所：フルリモート（必要時に出社あり）その他：業種：情報・通信・メディア／開始時期：即日または相談 |
| 業務内容：大手通信企業向けの大規模データ分析基盤の保守・開発を担当します。Snowflakeの機能拡張を中心に、Python・SQLでのデータ操作・変換・加工・自動化ツールを作成し、エンドユーザーの分析課題を解決します。また、AWSEMR、Lambda、S3、Sparkなどを活用したデータ基盤の運用も行います。アジャイル方式で要件定義から実装、テスト、保守までを実施します。担当工程：要件定義、設計、実装、テスト、保守スキル：必須：Pythonによるデータ操作・自動化実務経験、SQLによるデータ加工経験、Snowflakeのエンハンス開発経験、AWS（EMR、Lambda、S3等）を用いた基盤運用経験、エンドユーザーとのコミュニケーション能力尚可：要件定義経験、コード・設計書レビュー経験、Spark等の大規模データ処理フレームワーク運用経験、Databricks・Snowflake等の大規模データサービス構築・運用保守経験稼働場所：東京都内（常駐）。プロジェクト開始時は東京エリアで勤務し、後に別エリアへ移転予定。その他：業種：情報・通信・メディア、サービス業。年齢上限49歳まで、国籍不問で日本語での業務が可能。リモートは基本的に常駐勤務で、PC貸与あり。開始時期は相談可能。 |
| 業務内容：AWS上に構築されたデータウェアハウス（DWH）システムの保守・開発を担当します。具体的には、ApacheIcebergを用いたテーブル管理、Glue（PySpark）によるETLジョブの実装・改修、EventBridge・StepFunctionsによるジョブオーケストレーション、CloudWatch・DataDogを用いた運用監視を行います。担当工程：要件定義、設計、実装、テスト、リリース、保守・運用スキル：必須：AWS環境での開発・保守経験、SQLの読み書き、Pythonによる開発経験、Gitの利用経験尚可：小規模チーム（3〜4名）でのリーダー経験、バッチ系システムの開発・保守経験、クラウドインフラ構築経験、Terraformを用いたCI/CDパイプラインの構築・運用経験稼働場所：東京都（客先常駐、在宅勤務あり）その他：業種：情報・通信・メディア、リモート勤務可 |
| 業務内容：-DataBricks上でSparkオペレーターとしてETL処理を開発-SQLを用いたデータ処理業務を実施-スキルアップを目指す環境で業務を遂行担当工程：-開発、実装、テストスキル：必須：Sparkの開発経験、SQLの実務経験、DataBricksSparkオペレーター志向尚可：Hadoop利用経験、クラウドサービス利用経験、OSS利用経験稼働場所：東京都（フルリモート）その他：業種：情報・通信・メディア開始時期：即日開始、2025年12月末まで（延長可能） |
| 業務内容：SAS資産の再構築・AWS/Glueへの移行、Python/PySparkによるデータ処理基盤構築担当工程：設計、開発、テスト、デプロイ、運用基盤構築スキル：必須：PythonまたはPySparkでのデータベース関連システム開発経験、Shellスクリプト開発経験、関係者との円滑なコミュニケーション力、主体的に動く姿勢尚可：チームリーダーやサブリーダー等のマネジメント経験、AWS等クラウド環境での開発・保守経験稼働場所：東京都（リモート可）その他：金融・保険業（銀行・信託）向けの信用リスクシステム統合プロジェクト、長期参画歓迎 |
| 業務内容：大規模データウェアハウスを段階的にクラウドへシフトするプロジェクトにおいて、基本設計、詳細設計、実装、テストの全工程を担当します。担当工程：基本設計、詳細設計、実装、テストスキル：必須：Spark、Linux（シェルスクリプト等）、リレーショナルデータベース（RDB）に関する開発経験、設計～テストまでの実務経験尚可：AWS（EC2、S3、EFS）やSnowflakeの開発経験、Databricks、Informaticaの開発経験稼働場所：東京都内（出勤＋在宅併用、参画直後2か月はフル常駐）その他：業種：情報・通信・メディア開始時期：2025年10月期間：中長期プロジェクト |
| 業務内容：-SIM契約管理システムの詳細設計、実装、結合試験、API・バッチ開発、社内Webページ開発-既存COBOLベースのカード基幹系システムをHadoop基盤へデータ連携させるマイグレーション開発（設計～本番リリース、保守・運用）-需要家向けサプライチェーンシステムの新規開発（詳細設計、製造、テスト、リリース）-Java（SpringBoot）を用いたバックエンド開発、HTML・JavaScriptによるフロントエンド実装、SQL／OracleによるDB設計・実装担当工程：詳細設計、実装、結合試験、テスト、リリース、保守・運用スキル：必須：PHP等スクリプト言語でのWebシステム開発経験、Linux環境での開発経験、SQLによるデータベース操作経験、Java7以上（ラムダ式利用）での開発経験、SpringBootによるバックエンド開発経験、HTML・JavaScriptによるフロントエンド実装経験、COBOLからのデータ連携実装経験（マイグレーション案件）尚可：Perlでの開発経験、JavaSpark、ApacheParquet・HDFS・Hive、VSCode・GitLab活用、JP1でのジョブ定義構築、OSSフレームワーク活用経験、能動的に行動できる姿勢稼働場所：東京都内（飯田橋、品川御殿山ビル、八丁堀・茅場町）に拠点を持ち、週1〜3日程度のリモート勤務が可 |
| 業務内容：大規模データウェアハウスのクラウドシフトに伴う設計、製造、試験の全工程を担当します。担当工程：基本設計、詳細設計、製造（実装）、単体テスト、結合テスト、総合テストスキル：必須：Spark、Linux、RDB（SQL）での開発経験、シェルスクリプト作成経験、自律的に業務を遂行できること尚可：AWS（EC2、S3、EFS、Snowflake）での開発経験、Databricks、Informaticaの経験稼働場所：東京都内（リモート併用、開始直後2か月は常駐）その他：情報・通信・メディア業界の大規模データウェアハウスのクラウド移行プロジェクト、開始時期は相談 |
| 業務内容：大手通信事業者の大規模データウェアハウスを段階的にクラウドへ移行するプロジェクトにおいて、設計、開発、テストを担当します。使用技術はSpark、Linux、RDB（シェルスクリプト含む）、AWS（EC2、S3、EFS、Snowflake）、Databricks、Informaticaです。担当工程：基本設計、詳細設計、実装、単体テスト、結合テスト、総合テストまでの全工程を一人で対応可能な方を想定しています。スキル：必須：Spark、Linux、RDBでの開発経験（シェルスクリプト作成経験を含む）、設計からテストまで一連の工程を担当した実績尚可：AWS（EC2、S3、EFS、Snowflake）の開発経験、DatabricksおよびInformaticaの利用経験稼働場所：東京都内の拠点にて初期2か月はフル常駐、その後はリモート併用での勤務が可能です。その他：業種：通信業（情報・通信・メディア）プロジェクトは長期のクラウドシフト案件開始時期は相談 |
| 業務内容：-顧客・購買ログ・アクセスログ等（2000万件～数十億件）からのデータ抽出・分析-Pysparkを用いたデータ抽出、Excelでの集計-デジタルマーケティング施策の効果検証およびレポーティング-Snowflake等クラウド環境でのデータマート構築・運用支援担当工程：データ抽出、要件定義、分析レポート作成、データマート構築・運用スキル：必須：Python実務経験3年以上、Pyspark実務経験、データマート構築経験、分析要件定義経験、分析レポート作成経験、高いコミュニケーション能力尚可：大規模データハンドリング経験、デジタルマーケティング知見、AWS・Snowflake等クラウド環境での実務経験稼働場所：東京都（基本出社、セキュリティ上の理由でリモートは限定的に可）その他：業種：情報・通信・メディア（デジタルマーケティング領域）、開始時期は相談 |
| 業務内容：-DatabricksやPowerBIを活用し、帳票のUX実現に向けたデータ基盤の設計・構築-社内部門からの要件を元にデータ抽出・変換・集計パイプラインを構築-Python、SQL、pysparkを用いたデータ処理ロジックの実装-AWS（RDS、DynamoDB、Glue、Athena、EC2、S3、Lambda、DMS、IAM）およびGCP環境でのインフラ設定担当工程：要件定義、設計、実装、テスト、デプロイ、運用保守スキル：必須：会計（経理・財務）に関する基礎知識、PowerBIの実務利用経験尚可：Databricksの利用経験、チームリーダーやプロジェクトマネージャーとしての経験稼働場所：フルリモート（在宅勤務）その他：業種：情報・通信・メディア、金融系システム等、開始時期は相談可能 |
| 業務内容：データ情報系システム（大規模DWH）の基本設計、開発、テスト工程全般を担当し、クラウドへの段階的シフトを推進します。担当工程：基本設計、詳細設計、実装、単体テスト、結合テスト、総合テストスキル：必須：Spark、Linux（シェルスクリプト等）およびRDB（SQL）での開発経験。設計からテストまで一人で遂行できる実務経験。自律的に動けるチームプレイヤー。尚可：AWS（EC2、S3、EFS）やSnowflakeの利用経験。Databricks、Informaticaの開発経験。稼働場所：東京都（出勤＋在宅併用、参画直後2ヶ月はフル常駐）その他：業種：情報・通信・メディア。開始時期：10月開始。長期（中長期）プロジェクト。 |
| 業務内容：データ利活用基盤の設計・構築を支援する業務です。要件定義やアーキテクチャ設計、実装支援、テスト・検証等を実施していただきます。担当工程：要件定義、基本設計、詳細設計、実装支援、テスト・検証スキル：必須：データベース（RDBMS）やデータウェアハウスの設計経験、ETLツール利用経験、SQL実装スキル、クラウド基盤（AWS/Azure/GCP）でのデータ基盤構築経験尚可：ビッグデータ処理基盤（Hadoop/Spark）経験、データ可視化ツール（Tableau、PowerBI）使用経験、データガバナンス・セキュリティ知識稼働場所：未特定その他：特記事項なし |
| 業務内容：-配信用リストの抽出-抽出要件の定義・設計相談会議への同席-会議議事録作成-レポート作成-必要に応じた顧客コミュニケーション担当工程：要件定義、設計、データ抽出、レポート作成、顧客折衝スキル：必須：Pythonによるデータ分析経験、顧客との要件定義・設計経験、積極的なコミュニケーション能力、期間転籍が可能なこと尚可：Spark／PySparkの利用経験、通信業界での分析経験、顧客コミュニケーション経験稼働場所：東京都高輪ゲートウェイ（基本出社）その他：業種：情報・通信・メディア（通信業界）／期間：10月から長期／勤務時間：09:00〜18:00（休憩1h）／年齢上限：49歳まで／人数：1名 |
| 業務内容：-新規データ基盤の設計・構築（AWS、BigQuery、Snowflake等）-ETL/ELTパイプラインの改善・最適化-データモデル設計・マルチテナント対応-データガバナンス・セキュリティ設計・運用、コンプライアンス対応-全社業務データ・IoTデータ・行動データの統合管理-BIツール連携設計-データ基盤の運用・最適化、チームへの技術育成・レビュー担当工程：要件定義、設計、構築、テスト、運用・保守、技術リードスキル：必須：クラウド（AWS、GCP、Snowflake等）での大規模データ基盤構築・運用経験、Terraform・CloudFormation・CDK等によるIaCの本番運用経験、RDBMS・SQLを用いたテーブル設計・ETL開発経験尚可：Python・Go・Java等でのデータ処理バッチ開発経験、ステークホルダー調整を伴う基盤開発推進経験、技術的リード経験、セキュリティ・データ品質への高い意識、マルチクラウド・ハイブリッド構築経験、数百万件規模・リアルタイム処理パイプライン構築経験、Spark・dbt・Dataform・Trocco等のETLフレームワーク利用経験、機械学習を活用した予測・レコメンド等の設計経験稼働場所：フルリモート（フルフレックス勤務）その他：業種：情報・通信・メディア（ウェルネス向けSaaS）開始時期：随時開始、長期案件言語要件 |
| 業務内容：・Python・AWS・Airflow等を用いたデータパイプライン（ETL）開発・障害発生時の自動切り分けロジック実装・データ基盤（DWH）・サーバレス・マイクロサービス構成の設計・実装担当工程：要件定義、設計、実装、テスト、運用支援スキル：必須：Python（10年以上）・AWS・Airflow・ETL／データパイプライン構築・マイクロサービス・サーバレスアーキテクチャ理解・DWH・ビッグデータ基盤知識・Pytestによるテストコード作成・サーバレスワークフロー開発経験・5名規模のチームリーダー経験尚可：Pandas・Kinesis・Spark・Redshift・Glue・Jenkins・Ansible・Lambda・MySQL・MongoDB・Kafka・AWSマネージドサービス（Redshift、SQS、RDS等）・アジャイル開発・JIRA・Confluence稼働場所：東京都（リモート併用、週2〜3回出社）その他：業種：情報・通信・メディア開始時期：2025年10月開始予定外国籍不可、必要スキルの70％マッチで可 |
| 業務内容：-SAS資産の再構築・移行-AWSGlue、Python、PySparkを用いた開発担当工程：-再構築・移行スキル：必須：PythonまたはPySparkでのデータベース関連システム開発経験、またはShell開発経験、関係者との円滑なコミュニケーション力、主体的に動ける姿勢尚可：リーダー／サブリーダー等のチームマネジメント経験、AWSなどクラウドシステムの開発・保守経験稼働場所：東京都（リモート可）その他：業種：金融・保険業（銀行・信託）開始時期：要相談長期参画歓迎信用リスクシステムの統合・再構築プロジェクト |