新着案件をﾒｰﾙ受信
いつでもｷｬﾝｾﾙできます
検索キーワード：Spark
検索結果:84件
| 業務内容：AWS上に構築された大規模データ分析基盤の分析基盤高度化チームのメンバーとして従事。新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を実施。新サービス導入や課題改善では、技術検証、インフラ設計～リリースまで担当。運用保守では分析者からの問合せ/作業依頼/障害対応等を主に担当。担当工程：・技術検証・インフラ設計/構築・運用保守・障害対応必須スキル：・AWS等クラウドサービスを用いたインフラ設計・構築・運用経験・汎用プログラミング言語での開発経験(Python,node,Java,Goなど)・Linux、Windowsの基本操作、Gitの基本操作・作業手順書・利用者向けマニュアルなどの運用ドキュメント作成経験歓迎スキル：・AWSでのインフラ構築経験・要件定義の経験・ソースコード・設計書のレビュー経験・Terraform等のIaCツールの利用経験・Kubernetes、ECS、Docker等のコンテナ技術の利用経験・Spark等大規模データ処理用FWの運用経験・Databricks、Snowflakeなど大規模データ処理サービスの構築・運用・保守経験場所：東京都渋谷区期間：2023年5月から単価：60万円(目安) |
| 業務内容：新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を行うチームでの業務・AWSなどクラウドサービスを用いたインフラ設計・構築・運用・プログラミング(Python,Node.js,Java,Go等)・Linux、Windows、Gitの基本操作・運用ドキュメント作成・技術検証、インフラ設計～リリースまでの対応・分析者からの問合せ/作業依頼/障害対応場所：東京都渋谷区必要スキル：・AWS等クラウドサービスを用いたインフラ設計・構築・運用経験・プログラミング言語の開発経験(Python,Node.js,Java,Go等)・Linux、Windows、Gitの基本操作・運用ドキュメント作成経験歓迎スキル：・AWSでのインフラ構築経験・要件定義の経験・ソースコード・設計書のレビュー経験・Terraform等のIaCツール利用経験・Kubernetes、ECS、Docker等のコンテナ技術利用経験・Spark等大規模データ処理FWの運用経験・Databricks、Snowflake等の大規模データ処理サービスの構築・運用・保守経験単価：～50万勤務時間：9:00-18:00 |
| 業務内容：新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を行うチームで、技術検証、インフラ設計～リリースまでを担当。運用保守における問合せ/作業依頼/障害対応等も実施。・AWS等クラウドサービスを用いたインフラ設計・構築・運用・汎用プログラミング言語の開発（Python、Node、Java、Goなど）・Linux、Windowsの基本操作、Gitの基本操作・運用ドキュメント作成必要スキル：・AWS等クラウドサービスを用いたインフラ設計・構築・運用経験・汎用プログラミング言語の開発経験（Python、Node、Java、Goなど）・Linux、Windowsの基本操作、Gitの基本操作・作業手順書・利用者向けマニュアルなどの運用ドキュメント作成経験尚可スキル：・AWSでのインフラ構築経験・要件定義の経験・ソースコード・設計書のレビュー経験・Terraform等のIaCツールの利用経験・Kubernetes、ECS、Docker等のコンテナ技術の利用経験・Spark等大規模データ処理用FWの運用経験・Databricks、Snowflakeなど大規模データ処理サービスの構築・運用・保守経験勤務地：東京都渋谷区勤務時間：9:00-18:00 |
| 業務内容：・クラウドインフラの構築・運用業務・データ収集・分析基盤の構築業務・ETL/ELTによるデータ加工業務・AWS上での開発・Python開発・IaC(Terraform)を使用してクラウドインフラの構築・MLOpsなど機械学習関連業務・データ収集基盤、データ分析基盤の構築・ETL/ELT処理によるデータ加工・Terraform、CDK、Serverless、コンテナ/k8s、ApacheSparkなどの利用・構築必要スキル：・AWS上での開発経験・Python開発経験・Git操作・IaC(Terraformなど)を使用してクラウドインフラの構築経験尚可スキル：・MLOps基盤など機械学習に関する基礎知識または経験・データ収集基盤、データ分析基盤などの基盤構築経験・snowflakeなどのDWHの設計経験・Pythonなどを利用しETL/ELT処理などのデータ加工・Terraform、CDK、Serverless、コンテナ/k8s、ApacheSparkなどの利用・構築経験・CI/CD環境構築経験稼働場所：リモート勤務単価：85万円 |
| 業務内容：金融機関向けAMLパッケージのカスタマイズ開発海外ベンダー製品の日本市場向けカスタマイズ開発Java/Scala/Sparkを用いたシステム開発業務参画前に2か月程の英語オンライン研修あり場所：東京都必要スキル：・Java開発経験5年以上・ビジネスレベルの英語/日本語・ScalaまたはSpark開発経験、知識があれば尚可期間：2025年8月~予定特記事項：・金融機関の本番データを取り扱う案件・Web面談2回想定・参画前に2か月程データエンジニア研修(英語)を受講 |
| 業務内容：AWSクラウド環境での予防接種関連情報を管理・配信するシステムの開発・pythonを用いた開発・AWS上で動作するアプリケーションの開発・AWSサービス(S3、EventBridge、StepFunctions、Glue、CloudFormation)を利用した実装勤務地：東京都（リモートワークメイン）担当工程：上流工程(アーキテクト)必要スキル：・pythonを用いた開発経験・AWS上で動作するアプリケーションの開発経験・AWSの一般的なサービスに関する基礎知識・コミュニケーション力歓迎スキル：・ApachSparkを用いた開発経験や知見期間：2025年5月～2026年5月頃予定その他：・同案件の周辺システムの開発が複数あり、他案件にスライドし継続的に支援可能 |
| 業務内容：自動車・モビリティ関連のアプリケーション開発業務・Java(21)+SpringBootでのAPI開発・AmazonWorkspacesの自動構築、NW設定変更・Pythonでの開発・AWSでの開発・構築作業開発環境：・Java(SpringBoot)・Python・AWS・統合開発環境(Intellij,vsCode)・Git必須スキル：・Java(SpringBoot)での開発経験・Pythonでの開発経験・AWSでの開発・構築経験歓迎スキル：・Scala開発経験・Docker・Unix基本コマンド・Terraform・Kubernetes・ApacheSpark求める人物像：・新しい技術への取り組みに前向きな方・報連相ができる方・英語での技術調査に抵抗のない方勤務地：東京都※リモートワーク中心（プロジェクト開始時・リリース前は出社の可能性あり） |
| 業務内容：・大量のデータを扱うデータ基盤の設計・構築・運用・データパイプラインの構築・データ分析基盤の構築必要スキル：・データエンジニアとしての実務経験3年以上・Spark、Hadoop等のビッグデータ処理の知識・経験・クラウドサービス(AWS,GCP等)の利用経験尚可スキル：・機械学習、深層学習の知識環境：・基本リモート勤務・単価：95万円以上 |
| 業務内容：AWS上に構築されたDataLakeの運用保守開発。Datalake内のシステム及びデータの整備、要件確認の上での保守改修、課題整理、要件確認、設計、開発、テストを実施。・Java→Python言語変換・Python→Pythonリファクタリング(構造変換)場所：東京都港区必須スキル：・AWSサービス各種・Python経験(3年程度)、コードを読み解く力・Git、JIRA・Pyspark歓迎スキル：・APIを使用してシステムを構築した経験・databricks・DataBuildToolその他：・稼働開始：2025年4月中旬～・勤務時間：9:00～18:00(休憩1時間)・出社：週1回(金曜日) |
| 業務内容：・求人サイトに蓄積されたデータを分析するためのデータパイプラインの構築・運用・データの前処理や加工・高速でスケーラブルなデータパイプライン設計・クラウドベースのBigDataプラットフォーム設計・構築必要スキル：・PythonまたはScalaを使ったデータ処理の実務経験3年以上・Spark、Hadoop、Kafkaなどのビッグデータ処理ツールの経験・AWS、GCPなどのクラウドサービスの利用経験歓迎スキル：・機械学習やデータマイニングの知識・データウェアハウスやデータレイクの設計・構築経験勤務地：リモートワーク可能 |
| 業務内容：大手金融機関向けDatabricksを用いたデータエンジニアリング領域の開発。ETLパイプラインの量産開発と試験。勤務地：東京都千代田区必要スキル：・データ連携処理(Python、SQL、ジョブ)の開発経験・1人でタスク遂行可能歓迎スキル：・Pytestでのテスト経験・Databricks開発経験・Spark製品の経験・AWS/Azure/GCPサービスの開発経験 |
| 業務内容：物流会社向け会計パッケージの開発・保守担当工程：基本設計～結合テスト・保守開発環境：フロント:Javascript,Angular,HTMLサーバー:Java8,SpringBoot,Elasticsearch,ApacheSparkDB:AWSAurora,AWSDynamoDB,ApacheCassandraインフラ:AWSEC2,S3,EBS,ElastiCache必要スキル：・Java、JavaScript開発経験3年以上・JavaかJavaScriptどちらかの経験でも可・フロント、サーバーの両方に携われる方・詳細設計以降の経験がある方(開発のみ、テストのみは不可)単価：60万円~65万円場所：東京都(フルリモート)期間：2023年4月から面談：1回 |
| 業務内容：AzureDataFactoryのDataFlowを使ったETL処理作業設計からテストまでの工程を担当期間：2025年4月から2025年6月(延長の可能性あり)場所：東京都（基本テレワーク）単価：55万円～60万円必要スキル：・SQL(ストアドプロシージャ等)の設計経験・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験必須要件：・IT業界経験3年以上・コミュニケーション力・勤怠管理ができること勤務時間：9:00～18:00その他：・募集人数：2名・面談：2回程度 |
| 業務内容：会計パッケージの開発および保守業務・フロントエンド：HTML、JavaScript、Angular・サーバーサイド：Java8、SpringBoot、Elasticsearch、AWSEMR、ApacheSpark・データベース：AWSAurora、AWSDynamoDB、ApacheCassandra・インフラ：AWSEC2、S3、EBS、ElastiCache・CI/CD：AWSEKS担当工程：基本設計～結合テスト必要スキル：・Java、Springの経験・AWS経験勤務地：東京都（フルリモート）就業時間：10:00-19:00(応相談)面談：1回(Web面談) |
| 業務内容：会計パッケージの開発・保守業務・基本設計・結合テスト・保守勤務地：東京都千代田区（フルリモート）勤務時間：10:00-19:00（応相談）期間：2023年4月〜長期必要スキル：・Java8、SpringBoot・HTML、JavaScript、Angular・Elasticsearch、AWSEMR、ApacheSpark・AWSAurora、AWSDynamoDB、ApacheCassandra・AWSEC2、S3、EBS、ElastiCache・AWSEKS面談：Web面談1回 |
| 業務内容：物流会社向け会計パッケージの開発・保守基本設計〜結合テスト・保守までを担当フロントエンド、サーバーサイド両方の開発に携わる担当工程：基本設計〜結合テスト・保守必要スキル：・Java、JavaScript開発経験3年以上・フロントエンド：Javascript、Angular、HTML・サーバーサイド：Java8、SpringBoot、Elasticsearch、ApacheSpark・データベース：AWSAurora、AWSDynamoDB、ApacheCassandra・インフラ：AWSEC2、S3、EBS、ElastiCache・詳細設計以降の実務経験勤務地：東京都品川区（フルリモート）面談：Web面談1回 |
| 1.人事システムのアプリケーション基盤構築業務内容：人事システムのアプリケーション基盤構築業務作業場所：東京都（基本リモート）必要スキル：・WindowsServer構築経験・アプリケーション基盤の構築経験(WEB3階層)・ジョブ管理ソフトの設計・構築経験・hinemos、hulftの構築経験があれば尚可・OCI環境での構築経験があれば尚可・linux基本操作及びシェルスクリプト作成2.アーキテクト支援業務内容：技術支援部署での製品調査/PoC実施、アーキテクチャ設計、ノウハウのドキュメント化作業場所：基本リモート必要スキル：・アーキテクト経験・エンタープライズ開発の知見・設計思想の理解・マイクロサービス開発/設計経験があれば尚可・パブリッククラウド実装/設計経験があれば尚可・コンテナ・Kubernetes実装/設計経験があれば尚可3.LLMプロンプト開発業務内容：プロンプトエンジニアリング業務、LLMへのプロンプト入力、データ加工必要スキル：・RAGを用いたプロンプトエンジニアリングの業務経験・統計知識があれば尚可4.製造業向け会計システム再構築業務内容：会計システムの再構築作業場所：愛知県刈谷市（基本リモート）必要スキル：・Outsystemsの経験・会計業務(特に損益計算)の知識・基本設計対応可能なSEレベル5.旅客案内情報システム更改業務内容：システム更改業務作業場所：東京 |
| 業務内容：PKGのカスタマイズ対応(Java)と導入を行うプロジェクト。アジャイル開発手法にて進行。勤務地：東京都千代田区（リモート併用）必要スキル：・英語力(会話・読み・書き)・Scalaでの開発経験、または関数型言語の開発経験・Java開発経験歓迎スキル：・ApacheSpark/Flink/Beamなどの分散処理エンジンによるデータパイプライン実装経験・DevOpsの実務経験面談：1回予定 |
| 業務内容：AzureDataFactoryのDataFlowを使ったETL処理作業設計からテストまでの一連の作業を担当勤務地：東京都千代田区※テレワークメイン（初期2週間は常駐）期間：2025年4月～2025年6月（延長可能性あり）必要スキル：・SQL（ストアドプロシージャ等）の設計経験・IT業界経験3年以上歓迎スキル：・ApacheSparkやDatabricksの知識・経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識・経験面談：2回予定 |
| 業務内容：AzureDataFactoryのDataFlowを使ったETL処理作業Azure移行に伴うマートの変更、要望対応SQLマートの部分の対応システムの基本設計〜構築、テスト勤務地：東京都千代田区※テレワーク可（初期2週間は常駐）必要スキル：・SQL（ストアドプロシージャ等）での基本設計経験・SQL（ストアド）の開発経験・顧客折衝対応スキル歓迎スキル：・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験募集人数：2名 |
| 業務内容：AzureDataFactoryのDataFlowを使ったETL処理の設計から実装・テストまでを担当基本リモートワークだが、プロジェクト開始時2週間は東京都内での作業あり担当工程：設計～テスト必須スキル：・SQL（ストアドプロシージャ等）の設計経験・IT業界経験3年以上歓迎スキル：・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験場所：東京都※基本リモートワーク単価：～80万円前後募集人数：2名面談回数：2回 |
| 業務内容：AzureDataFactoryのDataFlowを使ったETL処理の設計からテストまでの作業担当工程：要件定義、設計、開発、テスト勤務地：東京都※テレワーク中心（初期2週間は常駐）必要スキル：・SQLの設計経験（ストアドプロシージャ等）・IT業界経験3年以上歓迎スキル：・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験期間：2025年4月〜2025年6月（延長可能性あり）単価：〜80万円/月面談：2回予定 |
| 業務内容：特典型サービスの改善に向けたデータ分析・データマート開発、改修業務データマート開発・改修、データ調査、加工、集計作業就業場所：東京都渋谷区稼働時期：2025年4月～長期単価：60万～65万円必要スキル：・Python分析経験（Pandas）・SQLを問題無く扱えるスキル・AWS上での業務経験尚可スキル：・Pysparkの使用経験・定常的に運用するデータマートの開発・改修経験・ビッグデータ分析経験・Pythonを用いたデータ分析、データ集計経験・SQLを用いたデータ分析、データ集計経験・データマートの保守・運用経験・GitとJupiterの使用経験・RDBでのデータ加工、集計のスキル勤務体制：・基本リモート勤務・入場後2週間程度出社が必要・業務内容により出社の可能性あり |
| 業務内容：AzureDataFactoryのDataFlowを使ったETL処理作業設計からテストまでの工程を担当勤務地：東京都※基本テレワーク※立ち上げ期間（2週間程度）は東京都内での勤務単価：80万円前後必要スキル：・SQL（ストアドプロシージャ等）の設計経験・IT業界経験3年以上歓迎スキル：・ApacheSparkやDatabricksの知識と経験・SQLServerもしくはAzureSynapseDedicatedPoolの知識と経験募集人数：2名面談回数：2回 |
| 業務内容：金融機関のデータマネジメントシステムのクラウド移行支援・SASからSASViyaへの移行(データマート設計/開発/テスト)・DatabricksApacheSpark、SQL、Pythonを利用した設計、開発、テスト場所：東京都千代田区担当工程：設計、製造、試験必須スキル：・SAS(SASEG、SASViya等)の業務経験・BigQuery、SQLの業務経験・Databricks(ApacheSpark)、SQL、Pythonの業務経験歓迎スキル：・コミュニケーションスキル・AWS(S3)・Azure(BlobStorage)・GoogleCloud(BigQuery)開発環境：AWS、GoogleCloud、Azure、Databricks、BigQuery、SASViya単価：50万円〜60万円 |