中国IDC圈5月30日报道,Amazon最近公布了旗下Amazon Kinesis Service的更新。在此次更新中,Amazon Kinesis Streams和Amazon Kinesis Firehose服务增加了三个新功能,包括支持Elasticsearch Service Integration(Elasticsearch服务集成)、Shard-Level Metrics(Shard级度量指标),以及Time-Based Iterators(基于时间的迭代器)。

Amazon Elasticsearch服务集成

Kinesis Firehose与Amazon Elasticsearch的集成使得开发者能够将数据从Amazon Kinesis Firehose交付流(Delivery stream)移动至Amazon Elasticsearch服务群集。

随着数据进入Kinesis Firehose交付流,将根据配置进行缓冲,随后通过批量插入的方式将其存入Elasticsearch服务。这些交付流还可以通过AWS管理控制台进行压缩和加密。

这种集成的使用场景包括服务器日志的索引和分析,点击流和社交媒体流量等。AWS产品战略总经理Matt Wood表示,这个新功能“非常适合日志分析和应用程序监视”。

一旦将数据发布至Elasticsearch,随后即可使用诸如Kibana等工具对其进行分析和可视化。

Shard级度量指标

一个Kinesis Stream可包含一个或多个Shard。Kinesis Stream中的Shard代表读写能力。每个Shard可提供1MB/秒数据输入和2MB/秒数据输出。Shard将按照使用小时数收费,每秒钟最多可处理1000条记录。

新提供的Shard级度量指标可供用户了解Kinesis Stream中每个Shard性能的详细信息。总的来说,目前共有6个可用度量指标,每个指标的状态每分钟更新一次。这些度量指标将按照CloudWatch每个指标的定价模型进行收费。

Amazon已经公布了目前Kinesis Streams可用的每个度量指标的详细信息:

IncomingBytes – 已经成功PUT至Shard的字节数量。 IncomingRecords – 已经成功PUT至Shard的记录的数量。 IteratorAgeMilliseconds – 针对一个Shard调用GetRecords所返回的最后一条记录的寿命(以毫秒计)。值为“0”意味着目前正在读取的记录已经完全赶上了流的速度。 OutgoingBytes – 从Shard获得的字节数量。 OutgoingRecords – 从Shard获得的记录数量。 ReadProvisionedThroughputExceeded -通过GetRecords获取的超过每秒5次读取或每秒2MB数据的限制的Shard数量。WriteProvisionedThroughputExceeded – 由于超出Shard每秒1000条记录或每秒1MB数据的限制而进行限流后,已经被拒绝的记录数量。

用户可以使用这些信息估算自己的系统性能。例如可以检测上游应用程序发布数据的速度是否过快,超过了下游应用程序(Consuming application)的处理能力进而产生吞吐率瓶颈。

基于时间的迭代器

当应用程序从流中读取数据时,为了以正确的顺序拉取正确的数据,需要追踪数据在流中的位置。在Kinesis Streams中可以使用迭代器实现该功能。在本次更新之前可以使用顺序号、最老记录或最新记录作为迭代器。

在AWS的此次更新中,用户已经可以指定时间戳决定要从哪里开始处理自己的流。这种功能的一个用例是:当下游应用程序经历计划内停机时,发布方可能依然在向流中发布新数据。默认情况下,Kinesis Stream最多可存储24小时的数据,这样消费应用程序就可以通过提供时间戳,从上次中断的地方继续处理流中发布的数据。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-04-30 18:08:41
云技术 AWS云计算业务再次帮助Amazon实现利润大幅超预期
云计算业务给Amazon带来了好消息。Amazon今天公布的第一季度财报显示其利润超出预期,这还得归功于云计算也的强劲增长。但是,第二季度指引低于预期使得Amazon股票出现波动 <详情>
2018-12-24 11:11:26
云资讯 想在云战争中与 Amazon一较高下,Oracle 或许可以考虑这些收购
分析人士认为,Oracle应该对Workday (NYSE:WDAY)或者ServiceNow (NYSE:NOW)的收购进行评估。不过目前来看,这似乎要付出很大代价,毕竟这两家公司市值目前均在300多亿美元 <详情>
2018-11-09 10:24:44
云资讯 做云计算时代的数据库 Amazon Aurora成就数据之美
在科技业,时代变迁带来的剧变同样十分明显,从传统IT时代到云计算时代,数据不再只是沉睡的宝藏,数据库的作用和价值正变得尤为突出。正如亚马逊CTO Werner Vogels所说: <详情>
2018-11-05 09:22:13
国际资讯 Amazon第二总部终于选定了!
去年九月初亚马逊官方宣布,将在整个北美地区,物色适宜城市,投资60亿美元,修建其在北美的第二总部,并将给所在城市,带来5万个就业岗位!全北美236个城市和地区,都踊跃 <详情>
2018-03-09 09:42:00
机房建设 Amazon、阿里们去年花了多少钱建设数据中心?
Amazon、Google、Microsoft、阿里巴巴这些超级数据中心用户对于数据中心建设的投入可能远超人们的想象。 <详情>