魏凯:金融业大数据时代来临
3748
2016-05-31 18:49
文章摘要:7月31日下午消息,2015可信云服务大会在北京召开,中国信息通信研究院移动与大数据部副主任、数据中心联盟大数据工作组组长在会上介绍了金融行业大数据平台测试内容,以下为精彩分享:   数据中心联盟大数据工作组在5月份发布了《中国大数据发展报告》,对800多家企业做了调研,发现60%企业还是用在传统用户上,用的是技




        7月31日下午消息,2015可信云服务大会在北京召开,中国信息通信研究院移动与大数据部副主任、数据中心联盟大数据工作组组长在会上介绍了金融行业大数据平台测试内容,以下为精彩分享:

  数据中心联盟大数据工作组在5月份发布了《中国大数据发展报告》,对800多家企业做了调研,发现60%企业还是用在传统用户上,用的是技术工具,而不是模式创新。调查发现60%左右的企业正在考虑,或者已经在做数据仓库系统以及类似的负载,并向分布式平台迁移。还有30%的人考虑往分布式的平台迁移,趋势非常明显。


  魏凯谈到,数据中心联盟大数据工作组一直致力于把大数据和金融两个行业连接起来,推动测试和标准化工作,建立和用户连接的桥梁。金融行业是数据密集型行业,银行每100万的收入要对付的数据量是820GB,这个数据量非常大。而且最近几年互联网金融发展上来以后,数据量仍然在膨胀,这几年爆增的趋势非常快。



  我们也了解到,每家最近大数据平台厂商奔波于各种测试现场,很多公司都在做测试,未来发展的速度会非常的快。


  金融行业大数据可以做客户分群,做欺诈防范,风险预测等等这些创新的应用,很多应用是之前想到但是做不到,金融行业对大数据有九个方面的典型需求:


  第一是吞吐量和性价比,软硬件容量估算/选型。


  第二是易用性,很多大数据平台的门槛非常高,对一般的客户来说做不到。另外就是调优,测试中发现,金融大数据平台的调优有技巧的,比拼的是调优的技能,而且针对某一个负载做调优,能不能有自动化调优的技术支撑,这是易用性的体现。


  第三是稳定性,能不能在高负载的情况下进行稳定运行。


  第四是水平扩展的能力。大数据号称是能够很快的扩展,能不能做到线性的扩展,能不能扩展到上线,涉及到用户的系统会不会支持。


  第五是安全性,包括文件系统的加密,权限保护等等。


  第六个是灾备能力,金融行业需要重点考虑。


  第七个方面是容错能力,主要体现在某个节点,甚至某个核心的节点,宕机以后系统能不能持续运行。


  第八就是多租户,某一个系统不是做单一的任务使用,比如银行要建一个大数据的集群,就需要混合多负载的运算环境,需要考察系统负载隔离的效果。


  第九个是接口,支持丰富的接口,方便数据的导入和上传。


  魏凯同时谈到,数据中心联盟去年开始搭建了一个桥梁,让用户单位和平台的供应商在一起讨论到底需求是什么样的,到底如何衡量这个需求,如何测试这个系统的性能。并基于很多开源的测试工具做一些前期的实践工作,在去年6月份到今年1月份,开始做规范的制定。目前指定的标准和规范的内容有几个方面:


一个是用实际数据测这个系统,另外就是用什么负载做这个系统。这是两个重要的方面,具体做法比如用10个典型的任务,让这个系统跑,像秒数据、图数据,加载到负载上去,对系统产生一定压力,观察系统的表现。从5月份到7月初,进行了世界上唯一一次,在统一的硬件环境下做了很多厂商的大数据平台的横向水平测试,测试环境用16台物理机搭建一个集群,在中国信息研究院的实验室,选的配置都是中端服务器的配置,交换机用的是万兆的交换机。数据的规模上还是比较大的,平均下来每个节点是1T数据量,这个在其他的测试里也是有挑战性的。不同的数据级是不同的容量,我们的指标主要有三个方面,第一方面是性能,负载的吞吐量是什么。第二个是容错的能力。第三是安全方面测了加密,身份认证和权限管理的能力。


  魏凯表示,下一步将根据测试的情况和调研的情况,对标准做一个升级,大概的规划是:在性能方面会关注OLAP、NoSQL、ML、Stream、OLTP。功能方面关注安全和运维。同时基于测试规范,做金融、电信、电网等这些特定行业应用的负载。下一步希望通过联盟,通过和金融合作伙伴的共同努力,更顺畅的打通需求方和供给方,共同发展大数据产品。大数据是一个技术轨道切换的时机,没有一次像现在这样,刚好有一批崛起中的厂商和大量的需求,大数据和金融行业结合起来,一定能大力推动大数据产业的发展。



版权声明:

凡本网内容请注明来源:T媒体(http://www.cniteyes.com)”的所有原创作品,版权均属于易信视界(北京)信息科技有限公司所有,未经本网书面授权,不得转载、摘编或以其它方式使用上述作品。

本网书面授权使用作品的,应在授权范围内使用,并按双方协议注明作品来源。违反上述声明者,易信视界(北京)信息科技有限公司将追究其相关法律责任。

评论