数据中台分为三个模块,数据分析平台(DAP)、主数据治理平台(MDM)、数据集成平台(ESB),数据中台的部署环境采用K8S云平台部署,MDM实现基础数据管理,业务数据由源头业务系统提供,通过ESB的数据集成,实现基础数据、业务数据从源头系统到数仓的同步。
数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案,主要实现基于数据治理分析的中台建设,通过MDM将企业内部的基础数据标准化、规范化、整合化后,由DAP进行数仓建设以及最终数据分析的可视化展现,ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚。
介绍一下DAP的数据中台方案集成框架:
数据中台方案主要的产品组合是DAP数据分析平台通过与ESB应用集成平台结合使用场景,主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障分析数据的准确性,然后通过Portal门户集成平台展现给客户。
数据中台主要实现各个业务系统数据的有效整合,数据中台把数据统一之后,会形成标准数据,再进行存储,形成数据资产层,进而为客户提供高效服务,支持数据的存储、计算、产品化包装过程,为前台基于数据的定制化创新及为业务中台基于数据反馈的持续演进提供强大支撑,改善企业内部数据和应用程序之间的连接和协同,降低成本并提高使用速度,实现企业业务集成和数据集成,让集成更敏捷、让客户使用更便捷。
随着产业数字化进程不断加速,传统工业企业正面临数字化转型的关键时期。在过往信息化建设的不同阶段,工业企业陆 续上线了ERP、SCM、SRM、WMS、PLM、MES等工业管理系统,以及一些与上下游厂商协同的编码系统、SPC、质量 追溯系统等,软件质量参差不齐,系统间交互性差,持续上线新系统时,对接工作量会呈现指数级增长。系统建设缺乏总 体规划也同时导致各种系统的BOM、工厂及工艺的定义、基础的数据语义彼此独立,生产全流程产生的数据存在口径不一 致的问题,使得众多高价值数据只能在自身系统里流转,无法在更大的全流程链条上发挥价值。因此,如何高效集成异构的工业数据,构建企业级的数据架构和完备的数据服务体系,以支撑传统工业大规模、多样化、 全链路的运营生产,并发挥数据指导作用,实现业务增值是传统工业走向科学、精细化运营的核心。数据中台无疑是回答 这一问题的解决方案,但由于工业企业生产制造流程复杂且专业性强,而目前的数据基础设施建设薄弱,数据应用服务仍 处于早期阶段,数据中台在工业领域仍有较大的发展空间。
互联互通社区
互联互通社区专注于IT互联网交流与学习,旨在打造最具价值的IT互联网智库中心,关注公众号:互联互通社区,每日获取最新报告并附带专题内容辅助学习。
方案咨询、架构设计、数字化转型、中台建设、前沿技术培训与交流,合作请+微信:hulianhutongshequ
数据中台主要是打通企业的数据环节,实现全生命周期的数据管理,通过数据中台建设数据管理体系,实现各个业务系统数据的有效整合,通过基础数据治理保证底层基础数据的一致性,基于业务指标进行前端的动态展现,结合数据指标的多维度穿透,实现以不同形式、不同维度的分析展现。
数据治理分为基础数据治理和业务数据治理,基础数据治理是通过MDM基础数据管理平台进行主数据的治理,帮助企业各个系统制定主数据标准,保障各个业务系统的主数据准确性、一致性和完整性。
业务数据治理是对企业业务指标数据进行一次梳理,通过DAP数据分析平台进行采集、清洗转换、汇总加工后在过程中进行业务数据治理,保障数据的完整性和准确性,为企业发展提供战略支撑,为后续信息化建设奠定数据基础。
数据中心就是通过MDM基础数据管理平台和DAP数据分析平台治理好的数据建立数据仓库,形成数据中心可以通过数据服务功能对外提供数据,各个业务系统就可以使用这些治理好的数据进行业务操作,这样才能保障系统之间数据联动起来。
数据是通过算法服务和标签画像的形式对外提供有效的数据,通过算法模型机器学习,帮助企业实现智能化转型并提高运营效率,通过标签画像可以查询任何角度业务指标数据,通过展现配置支持大屏、PC、移动端的展现,也可以通过数据服务与其他的BI产品结合进行不同行业的可视化展现、还可以提供给门户平台进行数据门户的创建。
近年来,政府部门信息化建设投入不断加大,政务云化进程也不断加速,基础设施建设已趋于成熟。然而,政务服务具有 专业性强、流程环节多、处理情形复杂等特点,多以多线方式进行信息化建设,如税务系统、公安系统等,造成了严重的 数据孤岛情况。同时,各政务服务部门间的信息化水平也存在极大的差异。因此当前的政务系统存在功能重叠度高、应用分散、部门协同困难等问题,亟需建立组织、用户、协同、业务均在线的数据体系,解决政务服务业务创新速度落后于社会需求的问题,推动数据和业务的融合,提升服务型政府供给侧能力。
政府部门依托数据中台提供的统一的数据采、建、管、用能力,能实现政务领域数据的统一管理,基于各部门打通的数据 能展开更深度的数据洞察,提升部门内和跨部门的办公及办事效能,促进政府工作精细化开展,全面提升政府面向公众的 便捷服务能力、科学化的决策能力,为政府带来新的治理模式和服务模式。
在信息化建设过程中,零售企业积累建设了包括ERP、MES、CRM、WMS、TMS、POS等在内的各种业务系统,而随着 线上线下各种零售渠道的涌现,线下门店、自有商城、电商平台、社交软件平台等渠道也带来大量碎片化的数据。业务系 统的割裂和渠道的分散逐渐暴露出弊端,即无法通过统一的会员数据管理搭建全场景的消费者画像以实现精准营销,无法 实时更新“进-销-存”数据并与营销数据结合以实现智能化的数据分析。由于数据中台架构兼具强兼容和扩展性,且封装完成了适用于各种业务场景的复杂算法,通过API标准数据接口就能支持 企业快速对接零售智能应用和业务系统,帮助企业减少对原有业务系统的改造,提高复用效率。依托数据中台,零售企业 能打通企业内外部数据,充分进行数据流通。数据中台的建设整体上提升了零售企业的数据能力,使企业能够以数据为导 向进行销售策划、选品铺货策略制定、商品运转与库存预测等,实现对消费者的精准分析以及对终端市场变化的灵活应对。
相对而言,金融行业是数据资产化更为成熟的行业,信息化建设起步早、资金投入巨大,因此信息化水平高,数据标准化 程度高,且技术实力也较强。然而,伴随着数据量快速积累和膨胀、数据结构和类型趋于多元化,各种高并发、需要强一致性和横向扩展能力的业务场景越来越多。传统金融行业数据研发效率低,数据时效性差,数据质量难以保障,数据标准 模型无法适应快速变化的业务需求,且缺乏数据深度使用和综合分析的能力,方法论体系亟需迭代升级。另外,在强监管 与统一风控的形势下,对IT设施的服务能力和运营能力要求也越来越高。对于数字化转型升级中的金融机构而言,数据中台是实现全渠道、全链路的敏捷业务能力的有效方案。根据数据治理的需求,落地全生命周期的标准管理流程,帮助企业实现内部部门连接和与终端客户的连接,实现跨部门、多业务系统数据的 统一管理,以提升数据质量,形成数据管理的工作环境,并提供数据服务,更快地应对政策、规则、需求的变化。目前,金融行业是数据中台落地渗透率最高、应用最成熟、数据服务类型最丰富的行业之一。
连锁零售业也是数据中台的典型应用场景。虽然连锁零售企业拥有的数据体量没有电商企业那么大,但它们对于数据驱动的需求同样强烈,而且这种需求也是典型的可以用数据中台来解决的需求。
以衣邦人为例,它首创式地将“互联网+上门量体+工业”的C2M商业模式引入行业,成为迅速撬动服装定制蓝海市场的零售企业。截至2019年年底,衣邦人已拥有48个直营网点,服务范围辐射全国140多个城市,累计预约客户突破110万。衣邦人的成功,除了商业模式独特外,数据中台功不可没。
作为一个数据驱动的零售商,衣邦人在广告渠道管理、精准营销、个性化服务、门店管理等方面充分发挥数据的威力。例如,其数据中台打通了各个渠道的广告数据以及后台的CRM、ERP及业务系统数据,可以实时了解广告投放的真实成单效果,防止可能的广告欺诈,同时可以精准计算各个渠道的ROI,进而及时放弃无效渠道,增加高效渠道的投入。在客户服务层面,能够快速实现精准的用户画像,提供个性化的促销及产品推荐。在管理层面,为各个门店提供定制化的业务数据报表,赋能一线业务人员。
与传统的数据仓库、大数据平台建设的方式不同,衣邦人在建设数据中台的过程中坚持以业务为导向,在建立全局的数据模型、数据服务的过程中不断提供解决实际业务痛点的数据应用,从全渠道分析、用户画像触达到标签体系及服务,让数据中台的价值得以快速体现。
无论是现在的互联网企业,还是传统型企业,都需要进行数据分析,数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来,从而找出所研究对象的内在规律。
数据中台可以对数据进行统一的规范和管理,确保数据的准确性和一致性,从而减少因数据不一致导致的业务问题和决策失误,通过数据中台的数据清洗和整合过程,可以提高数据的质量和可信度,使数据更加可靠、完整和准确。
数据中台可以通过分析模型和算法对数据进行深入挖掘和分析,发现数据的潜在价值和规律,为企业的决策和业务优化提供支持,通过对数据的全面分析和挖掘,帮助企业更好地了解客户需求、市场趋势和竞争状况,从而优化资源配置,提高企业的竞争力和盈利能力。
企业如何做好数据中台项目,就要满足以下几点步骤:
1.首先领导层一定要重视,要想做好必须要从管理和制度上下功夫,要有改革的决心。
2.业务部门要主导参与,业务部门提供需求,信息部门协助实现,因为只有业务部门才能了解他们企业自身的业务。
3.通过DAP数据分析平台构建数据中心,将企业内部各个部门的数据进行整合,并进行清洗、汇总处理,通过治理好的数据构建数据仓。
4.治理好的数据进行分析模型构建,根据业务需求,构建相应的分析模型,这些模型可以是统计模型、机器学习模型等,用于挖掘数据的价值,通过将预测结果通过可视化图表进行展示。
5.通过数据服务与业务系统进行数据联动,使标准、准确的数据可以流动起来,提供数据的应用性。
综上所述打造独属于企业的大数据分析平台,需企业从上到下共同完成,通过数通的DAP数据分析平台构建数据中心,整合企业数据、通过治理构建分析模型,通过数据服务与业务系统进行数据联动,充分利用数据资源,提升竞争力,通过算法模型帮助企业实现智能化转型并提高运营效率。
数据中台不仅可以支持企业的现有业务,还能够帮助企业探索和创新业务模式。通过对数据的深入分析和挖掘,可以发现新的市场机会和业务增长点,为企业的未来发展提供支持。
数据中心是通过上述的数据治理后创建数据仓库,然后创建数仓模型,通过模型构建分析模型,从而形成数据中心。
主数据治理后可以同步到维度表中,做为指标的维度信息,也可以通过API服务分发给各个业务系统,DAP数据分析平台通过维度表、基础事实表、汇总事实表创建数据模型,通过数据模型创建分析模型(数据集、立方体、指标集),通过数据集、立方体、指标集可以创建对应的数据服务,从而对外提供标准的业务指标数据。
业务之间的数据联动是企业各层级统一存在的需求,只有从最基础的数据开始,打好底层基础,之后到系统之间的信息功能整合,屏蔽边界,最后实现整体业务流程的联动,才能避免信息孤岛的产生,真正实现企业内部信息的互联互通。
主数据提供API服务接口:
数据分析平台提供不同的数据服务:
查询服务:查询服务通过数据集对外发布数据。
统计服务:统计服务是通过立方体对外发布数据。
指标服务:指标服务是通过上述指标集发布的指标实例创建服务。
业务服务:业务服务可以通过选择数据集和立方体来构建业务系统需要的出参数据。
1.主数据服务都要通过token机制才能获取到不同主数据的数据,保障数据的安全性。
2.数据分析平台数据集、立方体发布后才能生成对应的数据服务。
3.业务服务的来源是数据集、立方体、指标集,通过业务来对外提供不同格式的数据。
为了凸显数据中台的价值,需对数据中台的数据进行综合治理,构建标准化、流程化、规范化、一体化的数据治理体系,有效数据治理可以确保企业数据全面一致可信,从而全面提升数据中台数据资产的价值。
数据治理分为基础数据治理和业务数据治理,基础数据治理是通过MDM基础数据管理平台进行数据的清洗、管理、审批等操作帮助基础数据一致性、完整性、准确性。
业务数据治理主要是从ODS到数仓(维度表、基础事实)过程中进行质量检测,帮助业务数据的完整性,这样在进行汇总计算的时候才能帮助数据准确性,从而建立数仓模型。
基础数据治理:基础数据治理功能价值主要体现的是主数据全生命周期管理,通过数据清洗、数据初始化导入、数据同步、数据管理、数据审批、数据分发进行主数据治理,使各个业务系统数据一致性、完整性、准确性。
数据清洗:通过数据清洗功能把业务系统的基础数据导入到MDM中进行校验清洗,清洗后再导入到主数据真实表中。
数据巡检功能:已存在的数据通过数据巡检功能进行重复数据筛选。
数据管理可以进行主数据申请、修改、启用、禁用、生成任务等功能。
通过生成任务,把治理好的数据分给各个业务系统。
业务数据治理:业务数据治理是通过从ODS到数仓(维度表、基础事实)过程中进行数据清洗转换工作。
治理主要步骤如下:
配置校验规则:配置正则表达式校验规则。
事实表或者维度表字段配置关联校验规则。
调度流程进行数据清洗校验。
生成对应质量日志。
生成调度日志。
1.主数据数据清洗不同的主数据有不同模板Excel,下载后需要另存为Excel格式,再进行数据导入清洗。
2.主数据数据清洗需要先清洗源头数据,因为只有源头清洗,后续下发才能保障数据的一致性。
3.数据分发时候可以根据不同的分发权限下发不同的业务系统,帮助数据的安全性。
版权声明:此文自动收集于网络,若有来源错误或者侵犯您的合法权益,您可通过邮箱与我们取得联系,我们将及时进行处理。
本文地址:https://www.miekuo.com/fanwendaquan/qitafanwen/971249.html