啥叫数据中台 | 企业用数据驱动业务的架构
8710
2019-11-18 10:46    文章来源:陈果George(georgechenshanghai) 作者:GEORGE陈果
文章摘要:中台概念泛滥,如何正确地运用才是王道。

最近一段时间「数据中台」一个词特别流行,我觉得这个词的定义,比我前段时间几次谈到的「中台」(见下文),在人们的沟通中更模糊不清。如同「中台」是为「前台」而生,所谓「数据中台」也是为服务前台业务而生的。

穿越概念的迷雾 | 再给「中台」泼瓢冷水
泼瓢冷水 |「中台」概念滥用是数字化转型的伪命题

原生互联网公司形成「数据中台」,是因为要处理从互联网上获取的海量数据,要形成洞察来支持前端业务。所以,他们的「数据中台」是「从前面往后面」长出来的。
 
而传统企业,例如制造业、零售业、金融服务业、交通物流业等,其业务运营并非能够或者需要全面对接互联网前端,同时又存在大量的企业内部数据(例如财务数据、生产数据、交易数据),这些企业要用数据去驱动业务,数据分析平台应该是「从后面往前面」生长的。数字化转型中的传统企业的「数据中台」架构,不能简单照搬互联网公司的框架。
 
企业的数据中台究竟包括什么内容?有朋友问我,是不是传统的数据库、数据仓库和 BI 也算「数据中台」?我觉得这个问题背后是可能没有充分理解,企业的数据分析模式从基于数据仓库的传统分析方法,向基于「大数据」的分析方法的范式变化。

简单说,传统方式是业务假设驱动,用假设去找数据,分析效率低,数据管理成本高;而大数据方法是基于全量数据去探索规律,并关联到业务问题解决:

微信图片_20191118103402.jpg

所以,我认为「数据中台」应该就是企业级的大数据分析平台(Data Analytics Platform),其组成架构如下(我看过若干大数据架构图都太偏技术,以下架构图更利于业务人员理解):

微信图片_20191118103411.jpg

来源:IBM 数据分析参考架构 2016(IBM Analytics Reference Architecture)
 
数据湖的数据存放包括四种形式:
各种数据(结构化、半结构化、非结构化)的着陆区,非关系型数据源的存储
互联网海量数据的对象存储和缓存
面向报表展现、具有强语义背景的、传统意义上的数据仓库和数据集市;从大量数据源产生的深度分析和数据建模
数据科学家、分析师撷取少量数据进行探索的数据沙箱
 
面向数据的发现和洞察,大数据平台提供一个「数据访问层」,使得数据科学家、数据工程师、前端应用开发人员等可以通过自助服务、数据虚拟化、数据联合以及开放 API 等方式,方便访问到数据湖里的数据。
 
用数据来发现和洞察业务,形成「可行动的洞察」,有这样一些方式:
报表
数据可视化
故事板分析
决策支持:场景决策、协同计划等环境下,求解复杂环境下的最优解
预测性分析:基于统计学,发现规律范式
深度学习和人工智能

微信图片_20191118103418.jpg

来源:IBM 数据分析参考架构 2016(IBM Analytics Reference Architecture)
 
 将形成的业务洞察去「赋能」前端业务应用,这些前端业务通常包括如下应用场景,而这些场景的数字化应用,既包括面向用户的互联网应用,也包括面向内部业务人员的 ERP 类的业务运营系统:

营销相关:围绕用户体验提升的精准推送、个性化推荐等

运营相关,例如:
供应链优化:库存水平优化、生产计划优化
金融服务的反欺诈
设备资产的预防性维修
公共管理的风险预警
零售的品类/定价/促销优化
消费品企业的需求预测
风险管理相关:财务、IT、风控的审计和信息披露

人力资源管理相关:组织行为分析(参见 数字化人力资源 | 从微软 WPA 看 HR 大数据新潮流——ONA)、绩效评价、销售激励分析等

商业创新:市场机会洞察、产品研发机会发现、商业模式创新等

假设企业将数据分析平台放在云平台上,从数据来驱动业务的数据管道流向如下图:

微信图片_20191118103425.jpg

来源:https://www.ibm.com/cloud/garage/architectures/dataAnalyticsArchitecture/reference-architecture/

从各种数据源搜集「大数据」,并通过 API 网关,传到数据分析平台(DAP)上。数据源包括网络数据集、内容数据、社交媒体数据、传感器数据等各种格式的动态数据.

企业内部系统的「静态数据」,例如客户数据、交易数据、POS 数据等,也可以通过安全网关,接入到 DAP 上
实时数据可以用「流式计算」来搜集和分析

依据数据使用目的来准备和集成批量数据,人工智能被用来提高数据接入、准备和集成的效率;数据被转换、增强,并送入数据处理链路中

数据存放为不同类型的数据提供「分析加载区」

数据科学家(运用专业工具的数据分析人员)和公民分析师(运用非专业工具的数据分析人员)根据这些数据来进行数据分析和探索,利用机器学习等技术,建立新的分析模型或者增强既有模型。

执行新建的分析模型,利用机器学习等技术进行预测、模拟、优化等,输出可执行业务洞察

这些业务洞察结果可以增强企业内的核心系统(例如 ERP 系统的采购功能执行供应链优化的结果)或者提供方云上的 SaaS 应用

业务洞察结果也可以推到公共网络的用户或者移动应用上,例如数字化营销的实时个性化推荐

信息治理、安全管理和系统管理贯穿了数据处理的整个过程,保证数据和信息的一致性和合规性。

数据用户分为两类:企业用户和企业外用户。企业用户在企业网络环境内,访问报表程序或者分析型应用

企业外用户通过提供方云的应用或者通过 API 网关授权访问
 
不论 DAP 是不是放在云上,还是企业自建(当前,企业自建 DAP,其技术组件几乎都在公有云上,或者采用云原生架构的开源组件),DAP 平台就可以被认为是传统企业的「数据中台」

微信图片_20191118103431.jpg


版权声明:

凡本网内容请注明来源:T媒体(http://www.cniteyes.com)”的所有原创作品,版权均属于易信视界(北京)信息科技有限公司所有,未经本网书面授权,不得转载、摘编或以其它方式使用上述作品。

本网书面授权使用作品的,应在授权范围内使用,并按双方协议注明作品来源。违反上述声明者,易信视界(北京)信息科技有限公司将追究其相关法律责任。

评论