StreamsとFirehoseのユースケースは何ですか？

debugcn 投稿 Dev

Karandeep Singh |

私は支払い取引のログを読み取って分析するアプリケーションに取り組んでいます。要件に応じてKinesisAnalyticsを使用します。これは、データストリームとFirehoseからの入力を受け取ります。しかし、システムに使用する入力方法を決定するのに問題があります。私の要件は次のとおりです。

レイテンシーは許容できますが、データがデータを失うことはありません。
DynamoDBまたはS3バケットにすべてのエラーを記録する必要があります。

どの入力ストリームが私のユースケースに適していますか？

user6457056

データストリームとFirehose

ストリーム：Kinesisデータストリームは高度にカスタマイズ可能であり、特殊なニーズに合わせてカスタムアプリケーションやストリーミングデータを構築する開発者に最適です。
- カスタムコードを書くつもり
- リアルタイム（クラシックの場合は200ミリ秒のレイテンシー、拡張ファンアウトの場合は70ミリ秒のレイテンシー）
- スケーリング（シャードの分割/マージ）を管理する必要があります
- 1〜7日間のデータストレージ、再生機能、マルチコンシューマー
- Lambdaとともに使用して、ElasticSearchにリアルタイムでデータを挿入します
Firehose：Firehoseは、データストリームをAWS製品に直接読み込んで処理します。
- 完全に管理され、S3、Splunk、Redshift、ElasticSearchに送信
- Lambdaを使用したサーバーレスデータ変換
- ほぼリアルタイム（最短のバッファ時間は1分です）
- 自動スケーリング
- データストレージなし