AWS - Kinesis
-
简述
Amazon Kinesis是一种托管、可扩展、基于云的服务，允许每秒实时处理大量数据流。它专为实时应用程序而设计，允许开发人员从多个来源获取任意数量的数据，可以在 EC2 实例上运行的向上和向下扩展。它用于从大型分布式流（例如事件日志和社交媒体源）中捕获、存储和处理数据。处理完数据后，Kinesis 将其同时分发给多个消费者。 -
如何使用亚马逊 KCL？
它用于我们需要快速移动数据及其连续处理的情况。Amazon Kinesis 可用于以下情况 --
Data log and data feed intake− 我们无需等待批量处理数据，我们可以在生成数据后立即将数据推送到 Amazon Kinesis 流。它还可以在数据生产者失败的情况下保护数据丢失。例如：系统和应用程序日志可以连续添加到流中，并且可以在需要时在几秒钟内提供。
-
Real-time graphs− 我们可以使用 Amazon Kinesis 流提取图表/指标来创建报告结果。我们不需要等待数据批次。
-
Real-time data analytics− 我们可以使用 Amazon Kinesis 运行实时流数据分析。
-
-
Amazon Kinesis 的限制？
以下是使用 Amazon Kinesis Streams 时应牢记的某些限制 --
默认情况下，流的记录最长可以访问 24 小时，并且可以通过启用延长数据保留时间最长延长 7 天。
-
一条记录中数据 blob（Base64 编码之前的数据负载）的最大大小为 1 兆字节 (MB)。
-
一个分片每秒最多支持 1000 条 PUT 记录。
-
有关限制的更多信息，请访问以下链接 - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
-
-
如何使用 Amazon Kinesis？
以下是使用 Amazon Kinesis 的步骤 -步骤 1- 使用以下步骤设置 Kinesis Stream --
登录 AWS 账户。从 Amazon 管理控制台中选择 Amazon Kinesis。
-
单击创建流并填写必填字段，例如流名称和分片数。单击创建按钮。
-
流现在将在流列表中可见。
步骤 2− 在 Kinesis 流上设置用户。创建新用户并为每个用户分配策略。（我们已经讨论了上面创建用户并向他们分配策略的过程）步骤 3− 将您的应用程序连接到 Amazon Kinesis；在这里，我们将 Zoomdata 连接到 Amazon Kinesis。以下是连接的步骤。-
以管理员身份登录 Zoomdata，然后单击菜单中的来源。
-
选择 Kinesis 图标并填写所需的详细信息。单击下一步按钮。
-
在 Stream 选项卡上选择所需的 Stream。
-
在字段选项卡上，根据需要创建唯一的标签名称，然后单击下一步按钮。
-
在图表选项卡上，启用数据图表。根据需要自定义设置，然后单击完成按钮保存设置。
-
-
亚马逊 Kinesis 的特点
-
实时处理− 它允许像股票交易价格一样实时收集和分析信息，否则我们需要等待数据输出报告。
-
易用− 使用 Amazon Kinesis，我们可以创建新流、设置其要求并快速开始流式传输数据。
-
高通量、弹性− 它允许像股票交易价格一样实时收集和分析信息，否则我们需要等待数据输出报告。
-
与其他亚马逊服务集成− 它可以与 Amazon Redshift、Amazon S3 和 Amazon DynamoDB 集成。
-
构建kinesis应用程序− Amazon Kinesis 为开发人员提供支持实时数据处理应用程序设计和操作的客户端库。将 Amazon Kinesis 客户端库添加到 Java 应用程序，它会在有新数据可供处理时发出通知。
-
成本效益− Amazon Kinesis 对于任何规模的工作负载都具有成本效益。按使用量付费，按小时付费以获取所需的吞吐量。
-