Amazon Managed Streaming for Apache Kafkaの使い方について

TOP
コラム
Amazon Managed Str

Amazon Managed Streaming for Apache Kafkaとは？

Amazon Managed Streaming for Apache Kafkaとは、ストリーミングデータの処理にApache Kafkaを使用してアプリケーションの構築と実行を容易に行えるようにする、完全マネージド型のサービスです。

Amazon Managed Streaming for Apache Kafkaの特徴

ネイティブなApache Kafka APIおよびツールのサポート

Amazon Managed Streaming for Apache Kafkaは、ネイティブなApache Kafka APIと、それらのAPIに対応して構築された既存のオープンソースツールをサポートしています。これにより、アプリケーションコードを変更しなくても、既存のApache KafkaアプリケーションがAmazon MSKクラスターを操作できるようになります。

完全マネージド型

Amazon MSKコンソールで数回クリックするだけで、Apache Kafkaのデプロイベストプラクティスに従う完全マネージド型のApache Kafkaクラスターを作成したり、独自のカスタム設定を使用して独自のクラスターを作成したりすることができます。必要な設定を作成すると、Amazon Managed Streaming for Apache KafkaによりApache KafkaクラスターとApache ZooKeeperノードの運用が自動的にプロビジョニング、設定、管理されます。

自動的な復旧とパッチ適用

Amazon Managed Streaming for Apache Kafkaは、クラスターの状態を常時監視し、アプリケーションのダウンタイムなしで異常なブローカーを自動的に交換します。Apache ZooKeeperノードの可用性はAmazon Managed Streaming for Apache Kafkaによって管理されるため、ノードをお客様ご自身で起動、停止、直接アクセスする必要はありません。Amazon Managed Streaming for Apache Kafkaは、クラスターを最新の状態に保ってスムーズに実行するため、必要に応じてソフトウェアパッチもデプロイします。

暗号化とセキュリティ

Amazon Managed Streaming for Apache Kafkaでは、特殊な設定やサードパーティー製ツールがなくてもデータが保管時に暗号化されます。すべてのデータは、デフォルトではAWS Key Management Service (KMS) カスタマーマスターキー (CMK) を使用、またはご自身のCMKを使用して保管時に暗号化できます。

Amazon Managed Streaming for Apache Kafkaのメリット

1.支払いは実際に使用した分のみ

支払いは実際に使用した分だけです。ブローカーインスタンスが実行された時間、毎月使用したストレージ、クラスターから送受信されるデータの標準データ転送料金に対して支払いが発生します。クラスター内のトラフィックにデータ転送料金はかからず、最低料金や前払いの義務はありません。

2.伸縮自在なストリーム処理

SQL、Java、Scalaで作成されたフルマネージド型のApache FlinkアプリケーションをAmazon MSK内で実行し、データストリームを処理するために伸縮自在にスケールできます。

3.高可用性

Amazon Managed Streaming for Apache Kafkaは、Apache Kafkaクラスターを作成し、AWSリージョン内でマルチAZレプリケーションを提供します。Amazon Managed Streaming for Apache Kafkaはクラスターの状態を常時監視し、コンポーネントで障害が発生した場合は自動的に交換します。

4.高い安全性

Amazon Managed Streaming for Apache Kafkaでは、VPCネットワーク分離、コントロールプレーンAPI認可用のAWS IAM、保管時の暗号化、転送時のTLS暗号化、TLSベースの証明書認証、AWS Secrets Managerによって保護されたSASL/SCRAM認証など、Apache Kafkaクラスターに複数レベルのセキュリティを提供しています。

まとめ

Amazon Managed Streaming for Apache Kafkaでは、Apache Kafkaのインフラストラクチャ管理に関する専門知識がなくても、Apache Kafkaで本稼働アプリケーションを簡単に構築および実行できるため、インフラストラクチャの管理に費やす時間が減り、アプリケーションの構築に多くの時間を費やせるようになります。
このように、Amazon Managed Streaming for Apache Kafkaの特徴やメリット、使い方を理解して、能率の良い作業ができるよう活用してみてはいかがでしょうか。