亚马逊推出Kinesis实时分析数据技术为巨量数据继续使力
4506
2016-05-31 16:35
文章摘要:亚马逊的Amazon Web Service(AWS)发展最新企业专用的「大量」资料实时分析技术Kinesis。 Kinesis上个月以预览版上线,本月开始进入公开beta版。它是针对实时数据的代管分析服务,可以搜集及处理来自多种数据源的大量数据,包括服务器log文件、社交网站贴文等等。 和亚马逊其它代管服务一样,企业无需自备及管理分




      亚马逊的Amazon Web Service(AWS)发展最新企业专用的「大量」资料实时分析技术Kinesis。
 

        Kinesis上个月以预览版上线,本月开始进入公开beta版。它是针对实时数据的代管分析服务,可以搜集及处理来自多种数据源的大量数据,包括服务器log文件、社交网站贴文等等。

 

        和亚马逊其它代管服务一样,企业无需自备及管理分析实时数据的软、硬件,它还会将资料复制于同一地区3台机器上,以实现资料可用及备援。



       亚马逊表示,Kinesis有多种用途,可以搜集应用产生的资料,找出查询较慢的地方、浏览率及资源利用较差之处。Kinesis还可实时搜集与分析财务信息,或协助游戏开发商了解玩家动向。



       Kinesis的基本概念是让数据串「喂进」该服务,它再将结果「吐出」。每一道数据串流由亚马逊称为「切片」(shards)的东西组成,它每秒可以搜集1MB数据及1,000次交易内容。另一端与服务连结的应用,可用每秒2MB的速度读取每个shard的数据。



       第一步要决定所需的切片数量,Kinesis控制台会提供协助精灵。如果系统数据吞吐量不够大,数据就会丢失或延迟。IT员工可以分割或合并切片以调整其大小。亚马逊的FAQ指出,每个串流只要几秒便可完成修改设定,但一次只能设定一个变更。



       另一项重要元素是Kinesis Client Library,它可作为具有数据处理逻辑的不同商业应用之间,以及Kinesis服务本身的中介者。每个Kinesis应用都有独特的名字,执行特定串流。而终端函式库目前只支持Java,但亚马逊未来计划扩增其他语言。



       Kinesis服务价格依喂进服务的交易量(可小于50KB)及shard数量而定。每100万个交易量价格为0.028美元,每个shard每小时0.015美元。目前Kinesis仅在美国东部市场推出。


版权声明:

凡本网内容请注明来源:T媒体(http://www.cniteyes.com)”的所有原创作品,版权均属于易信视界(北京)信息科技有限公司所有,未经本网书面授权,不得转载、摘编或以其它方式使用上述作品。

本网书面授权使用作品的,应在授权范围内使用,并按双方协议注明作品来源。违反上述声明者,易信视界(北京)信息科技有限公司将追究其相关法律责任。

评论