目次

Amazon Kinesis と Kafka の主な違い：

  • データ保持： Kinesis には最大７日間の保存期間有り。
  • セットアップ： Kafka は Kinesis よりもセットアップに時間がかかり、データ・クラスターをインストール（および管理）するためのチームが必要。
  • SDK（ソフトウェア開発キット） 対応： Kafka は Java に対応、Kinesis（AWS経由）は Java、Go、Android、.NET に対応。
  • 価格： Kafka はオープンソースで無料。Kinesis はセットアップ費用がなく、ユーザーは使ったリソースに対して料金を支払う。
  • レビュー：Webサイト G2において、Kafka は５つ星中４.４で Kinesis は４.１ であり、Kafka の方がスコアが高い。

データストリーマーのご紹介です！このサービスは、あるアプリケーションから別のアプリケーションへのメッセージを検証してルーティングし、ワークロードとメッセージキューを効果的に管理するものです。その結果 ユーザーは、一元化されたプロセッサーを通じてメッセージを処理し、大規模なデータストリームをより効率的に処理することができます。

Amazon Kinesis と Apache Kafkaという２つのデータストリームサービスは、もともと分散ログとして構築さたものであり、ログイベントを追跡して、複雑なデータストリームをリアルタイムで処理します。でもこのツールのうち、どちらが最も価値をもたらすのでしょうか？
そこで本記事では、特徴、価格、カスタマーレビューのスコアなどで、Amazon Kinesis と Kafka を比較してみました。

Kinesis とは

Amazon Kinesis は、操作ログ、SNS フィード、ウェブサイトのクリックストリーム、金融取引など、さまざまなソースからデータを取得する、リアルタイムデータストリーミングサービスです。そして、Kinesis はこのデータを処理および変換し、分析のためにデータストアに格納します。例えば Netflix では、Kinesis を使って何十億ものトラフィックフローが処理されています。

また、Kinesis は AWS（Amazon Web Services）の一部であり、Amazon によると、Kinesis は毎秒ギガバイトのデータを継続的に取得します。そしてユーザーはそのデータストリームを AWS のデータストアに転送します。

Integrate.io で、Kinesis との統合がしやすくなり、コードなしでデータを処理できるようになりました。詳細はこちら

Kafka とは

Apache Kafka は、オープンソースの「イベントストリーミングプラットフォーム」、つまりイベントストリームの書き込みと読み込みを行うプラットフォームであり、Kinesis のようにリアルタイムでデータストリームを扱います。ストリーミングデータの読み取り、保存、分析に使用され、組織に貴重なデータのインサイトを提供します。例えば、Uber のライドシェアの道のりに関するビジネスメトリクスには Kafka が使われています。

Kinesis と Kafka の大きな違いは、そのアーキテクチャにあります。Kafkaは、プラットフォームのデータストアでストリーミングデータを生成するアプリケーション（「プロデューサー」と呼ばれる）を、プラットフォームのデータストアでストリーミングデータを消費するアプリケーション（「コンシューマー」と呼ばれる）から「切り離し」ます。また、Kafka は Kinesis よりも散在性が高いので、ノードの障害に有効です。
ちなみに Apache によると、フォーチュン１００社の８０％以上で Kafka が使われて（そして信頼して）います。

Amazon Kinesis と Kafkaの比較：機能

Kinesis

Kafka

G2.comのカスタマーレビュースコア

星５つ中４.１

星５つ中４.４

データの保存場所

Kinesis のシャード

Kafka のパーティション

SDK対応

Java, Android, .NET, Go

Java

データ保持期間

７日間

長期保存（ユーザーによる保存期間の設定）

必要なスキルレベル

基礎

上級

カスタマイズ

有

有

性能上の制約

同期して書き込むのは一度に３台まで

制限が少ない

保存

Dynamo db

Zookeeper

価格

使用するリソースに応じて、初期費用なしで利用可能

無料（オープンソース）だが、ハードウェア/セットアップ費用の考慮が必要

サポート

デベロッパーセンター、チュートリアルなど

チュートリアル、ミートアップ、ビデオ、など


KinesisとKafkaには、ユニークな特徴が以下のようにいくつかあります。

  • Kinesis は Java、Android、.NET、Go に対応し、Kafka は Java のみ対応
  • Kinesis は３台のマシンまたはデータセンターに同期して書き込むことができ、Kafka のユーザーはより多くの設定が可能。
  • Kinesis ではデータはシャードで保存され、Kafka ではデータはパーティションで保存される。

パフォーマンスについては、Kinesis の処理能力は毎秒数千通に達しており、Kafka の処理能力は毎秒約３０,０００通に達しています。これは Kafka の圧勝と言えますね。

ただ、両プラットフォームには制限があります。Kinesis のデータ保持期間は７日間であり、Kafka はセットアップと運用に多くの労力を必要です。(Kafka には分散エンジニアリングとクラスタ管理の経験が必要)

両プラットフォームに代わるものがあります。Integrate.io は、複雑なデータパイプラインを管理するクラウドベースの ETL/ELT ツールです。データ統合の代替手段として、Integrate.io はコードを必要とせず、データベース、データウェアハウス、データレイク、Salesforce などにデータを格納するための１,０００以上の統合機能がすぐに使える状態で提供されています。

サポートとトレーニング

Kinesis

Kinesis には様々なサポートオプションがありますが、すべて親会社であるAmazonの下にあり、そこでユーザーは、デベロッパーセンター、ナレッジセンター、チュートリアルにアクセスし、ヒントやハウツーを得ることができます。

ちなみに、Kinesis は G2.com のサポート部門で１０段階の８にランク付けされています。

Kafka

一方、Kafka は Kinesis よりも多くのコミュニティオプションを提供しており、サミットイベントやミートアップなど、ユーザーがネットワークやテクノロジーについて議論できる場が提供されています。その他、チュートリアル、ビデオ、サンプルプロジェクトなどのサポートがあります。

ちなみに、Kafka は G2.com のサポート部門で１０段階の７.３にランク付けされています。

価格設定

Kinesis 

Kinesis の価格設定では、必要なシャードの数と、データストリームに送信するデータプロデューサーのサイズに応じて増加します。初期費用はかからず、使用したリソースに対してのみ支払いが発生します。

Kafka

オープンソースのプラットフォームである Kafka は無料ですが、Kinesis よりもセットアップとメンテナンスのプロセスが大きく、追加のインストール/サポートの費用を考慮しないといけません。インフラを自分で管理し、ハードウェアのコストについても考える必要があります。

おすすめ記事：Integrate.io の料金設定の仕組み

まとめ

Kinesis と Kafka は、複雑なデータストリームを効率化するデータストリームサービスです。どちらのサービスも信頼性が高く、価値を提供してくれますが、限界もあります。例えば メッセージを７日以上保存したい場合、Kafka はソリューションを提供できるかもしれませんが、そのデータストリーム処理を機能させるには、人間のサポートが多数必要です。

様々なソースからデータを抽出、変換、格納 したいのに、データエンジニアリングチームがない時は、Integrate.io のような ETL ソリューションにお任せください。デモや１４日間のリスクフリーパイロットをご希望の方は、こちらからぜひお問い合わせください。