当前位置:99696大富豪棋牌 > 新闻动态 > 是由国脉海洋和清数科技联合推出的一个重磅产

是由国脉海洋和清数科技联合推出的一个重磅产

文章作者:新闻动态 上传时间:2019-10-03

原标题:数据价值提升新模式:数据资产管理“AIGOV五星模型”

数据模型梳理:一个自下而上的数据治理方法-互联网分析沙龙 http://www.techxue.com/techxue-22401-1.html?utm_source=tuicool&utm_medium=referral

数据模型在数据管理中居于什么样的位置?笔者认为数据模型在数据管理中处于向上承接业务,向下引导数据的关键位置。

本文系国脉集团总经理、首席规划师郑爱军女士于4月21日在国脉互联举办的“2017第二届政务大数据发展与合作研讨会暨数据母体产品发布会”上的演讲,内容通过现场速记整理。

作者介绍程永新,新炬网络董事、副总经理,DAMS中国数据资产管理峰会联合发起人。长期钻研国内外数据资产管理理论与实践,数据资产管理五星模型与服务框架提出者,大数据领域资深专家,多项国家发明专利持有人。

99696大富豪棋牌 1

99696大富豪棋牌 2

数据母体·城市大数据一体化解决方案”,是由国脉海洋和清数科技联合推出的一个重磅产品,该产品一共分为四个部分:产品背景、产品介绍、产品价值和产品服务。

梁铭图,新炬网络首席架构师,10年以上数据库运维、数据分析、数据库设计及系统规划建设经验,对数据架构管理及数据资产管理有深入研究。

Paste_Image.png

导读:国际数据管理协会DAMA在DMBOK2中定义了11个数据管理职能领域,数据建模与设计是其中的一个关键领域。数据模型作为数据建模与设计的核心产出物,势必与其他各个领域都有着千丝万缕的联系。我尝试着将这些关系总结整理成这篇文章,与大家一同分享。

一、产品背景

杨志洪,dbaplus社群联合发起人,新炬网络首席布道师,对数据库、数据管理有深入研究,合译《Oracle核心技术》。


如下图,在DMBOK2中,数据管理包含了11个职能领域,这11个领域分别是数据治理、数据架构、数据建模与设计、数据存储与操作、数据安全、数据集成与互操作、文档与内容管理、参考数据与主数据管理、数据仓库与BI、元数据、数据质量。

数据时代的到来,影响并改变着政府、商业和我们的生活。

注:本文来源于《电子技术与软件工程》2018年8月下半月刊。

一、数据模型梳理背景

99696大富豪棋牌 3

(一)时代背景

从数据管理到数据治理到数据资产管理,从全球到国内,各种新概念不断提出并被加以实践改良,提升了政府、企事业单位及群众对大数据资产管理的意识,同时也促进了大数据产业不断的深入发展。借鉴国内外数据管理模型及相关理论思想,我们对数据资产管理的模型进行分析、总结,提炼出组织数据管理的五大管理域十三个能力项,并对每项能力进行详细划分以及相关功能介绍。

我们在传统企业(如电信、航空、电力、政府等)实施一个个数据治理项目的时候,总会发现基本类似的问题:

图1DAMA定义的11个数据管理职能领域

1、数据正在重塑我们当今时代的资源观

引言

●企业内IT系统越来越多,其复杂度也越来越高,没有人能说明清楚整个系统的数据架构和数据流向,数据架构与业务流程 、应用架构之间的关系不清晰。“黑暗”数据(指存在于系统中但无法说明与业务间的关系,后续亦无法对数据进行分析和应用)现象非常明显。

(DMBOK2, DAMA International)

数据时代的浪潮比想象的还要迅猛,人类社会正在进入数据时代,从关注网络、系统到注重数据,已成为当前信息化的重要视角与核心任务。

现在已经全面进入物联网时代,数据以史无前例的规模大批量一刻不停地生成,与大数据相关的研究和应用层出不穷,数据已经成为各国政府和企业最重要的资产,我国也于2015年8月发布了《促进大数据发展行动纲要》。国家在纲要中明确指出数据是核心资产,大数据是推动经济发展的新动力,是提升企业核心价值的驱动力。

●数据模型管理能力自身在不断减弱;开发团队出于现实压力,以实现功能为主,对非功能性需求不太在意,导致模型设计质量不高。IT系统出现先实现后优化的现象,优化效果滞后。

各个领域的定义和作用书中已经介绍得很清楚,所以我在这里就不赘述了。下图是我从数据模型出发,总结出的数据模型与各领域产出物之间的关系图:

2、数据治理能力正在成为智慧城市竞争的新优势

数据如此重要,数据产生量如此之大,然而整个数据管理领域的理论发展是非常落后的。企业都知道数据很有价值,数据能够为企业带来指引,然而真正让数据为企业带来价值的案例并不多见,这主要是由于既有的数据管理模型落后并且复杂。

●数据模型变更失控,大多数系统都处于积术式叠代开发,新需求就加一堆表,系统数据模型越来越雍肿;数据模型变更长期缺少基线化,大量已经废弃业务以及相关数据模型仍然存在于数据库,无人敢动。

99696大富豪棋牌 4

谁掌握数据,谁就有竞争力和话语权。未来如果一个城市未能掌握数据,不能运用数据,那么这个城市的竞争力将会越来越下降。

99696大富豪棋牌 5

●数据无序增长,企业核心业务系统数据无有效的退出机制,业务系统容量无序增长,长期处于“系统扩容-数据膨胀-性能低下-系统扩容”的怪圈之中。

图2 数据建模与数据管理各领域的输入输出关系

3、智慧城市是数据驱动的城市

数据管理的概念从80年代提出到现在已经接近40年了,数据治理的提法也有近20年,而数据资产管理的提出基本是最近5年的事情,中国数据资产管理峰会对数据资产管理定义为是对数据管理、数据治理及数据资产化的管理过程。

●数据标准缺失,缺少企业级别统一的数据标准,数据模型相关含义令开发和运维人员难以理解;同时,亦使得企业不同应用间的数据集成和数据共享困难。

各领域之间的这些输入输出关系让数据管理各个领域之间形成了一张关系复杂的网,其中数据模型处于一个关键位置

创新依赖于数据能力的创新服务,没有高质量的数据就没有高品质的服务。智慧城市的创新要先构建优质的城市数据体系。

数据资产管理研究现状

●数据安全突出,对企业的敏感数据、用户、访问权限仍然缺少认识和控制,数据敏感数据泄漏的安全事件屡见不鲜。

我将数据模型与各领域的关系总结成了以下9点

(二)发展现状

1

●数据质量参差,数据处理环节中产生大量的错误和质量差的数据,数据错误发现和处理流程不及时,导致更多的后续错误。

1. 数据模型是承载着数据需求的元数据集合

从一定程度上讲,我个人认为:数据模型是真正立足于企业数据需求创建出来的元数据集合。

其中包括实体名、属性名等丰富的技术元数据,还包括业务规则等业务元数据,主外键等关系是元数据血缘分析的主要来源之一。同时,数据模型也为元数据管理提供了元数据标准和元数据质量评分的指标参考。

1、数据思维和意识缺乏

国外研究现状

从这些问题之中亦反映了一个现实:在当今,数据作为一种企业的重要资产而被人们广泛接纳的时候,对于广大的传统企业,正是由于企业在观念和技术上的缺少而导致数据模型管理方面的缺失,使企业连读懂自身的数据都是如此困难的一件事,更难以谈得上后续的数据分析和应用。

2. 数据模型是数据校验的对象之一,是形成数据质量规则的基础

数据模型为数据质量管理提供关键元数据与业务规则输入,以便人们可以针对性地根据企业现状制定数据质量检核标准与数据质量检核规则。同时,数据模型本身也需要符合数据质量管理标准,需要通过数据质量管理的检核。

政府部门普遍缺乏“大数据思维”,对数据开放和共享持拒绝或消极态度,相互推诿、扯皮现象时有发生,对大数据的重视程度还不够,用数据说话、用数据决策、用数据管理、用数据创新的机制还未形成。

20世纪80年代后期,数据仓库概念开始形成,这也是数据管理理论的萌芽。随着数据仓库应用落地和展开,在2000年左右数据治理的相关理念也逐步形成。2000年前后,H.Watson探讨了“数据仓库治理”在Blue Cross和Blue Shield of North Carolina两家公司的最佳实践,被国内学者认为拉开了“数据治理”在企业管理中的大幕。

**二、一种自下而上的数据治理
**

3. 数据模型是数据集成与互操作的起点

为了在数据集成时创建一个单一、一致的数据版本,在数据集成时充分分析现有数据模型就显得尤为重要。保证数据模型中关键元素的一致是数据集成时需要首要考虑的问题。

2、数据管理能力与方式落后

早在2004年,国际数据治理协会DGI就首次发布了DGI数据治理框架,从这个框架模型初步提出了RPP(人员/流程/规则)框架。但是,这个框架中没有对数据治理的具体工作内容给予细化或明确说明。

由上面问题的分析和归纳,在数据治理这个范畴上,我们应该首先解决的是企业对其数据的了解和认知。

4. 数据模型是数据存储与操作的结构保障

数据模型精确标准的定义为数据提供了一个规范的结构,这种比较精确化的结构和约束成为数据存储和操作的一层基本结构保障,减少了数据存储和操作时发生数据异常的可能性。

目前政府大多只是做了简单的数据质量检查、数据归档、数据安全等分散性的数据处理工作,缺少数据的甄别、分类、整合和加工,无法及时有效的对信息资源进行提取、集成和分析,数据治理尚处于初级阶段,数据价值亟待挖掘。

2006年,国际数据管理协会(DAMA)发布了数据管理框架,并参考了PMBOK的架构编写了数据管理指南(DMBOK)。经过多次迭代,2008年3月,国际数据管理协会发布的最新版DMBOK中,将数据管理工作细分为十个职能:

由于IT系统数据模型反映了应用关系型数据库在数据存储及数据结构,是元数据的主要组成部分。在今天关系型数据库仍然大行其道的当下,一种清晰并且与系统应用实践高度一致的数据模型可以促进了各种应用数据的管理、基于角色的有价值数据资产访问以及持续的数据集成。并且强化了元数据管理,使组织理解它们所拥有的数据,以及数据与业务流程之间的关系,不管数据来自于什么数据,什么样的产品平台以及任何地方。

5. 数据模型是数据安全管控的对象之一

数据模型是数据安全管控的对象之一,数据模型中往往需要根据具体的数据安全需求标注出敏感字段/表,企业也需要参考着数据模型来制定具体的数据安全技术实现需求与业务规则,判断出那些字段可以被哪些人查看,哪些字段需要脱敏等。

3、数据资源质量难以保障

  • 数据治理
  • 数据架构管理
  • 数据开发
  • 数据操作管理
  • 数据安全管理
  • 参考数据与主数据管理
  • 数据仓库与商务智能管理
  • 文档与内容管理
  • 元数据管理
  • 数据质量管理

因此,数据模型梳理,也正是传统企业必需一个自下而上的数据治理方法之一。

6. 数据模型通过文档和内容管理实现可复用

在初始数据建模阶段,有效的文档和内容管理可以为数据建模提供以往数据建模过程的详细参考。

在建模完成时,数据建模过程中的各种模型设计文档,可以通过文档和内容管理模块实现合理存储,形成企业数据模型记忆库,供未来其他部分数据建模参考,或供数据模型维护阶段参考,实现数据模型的复用。

由于各级地方政府和部门在开展信息化建设时往往各自为政,应用系统模式多样、功能不一、架构自定,造成信息来源不清晰,数据命名、类型、格式差异巨大等问题,数据质量难以获得保障,数据使用困难重重。

以及目标和原则、活动、主要交付物、角色和责任、技术、实践和方法、组织和文化七大环境要素。

经过完整数据模型梳理可以预期可以达到什么样的效果:

7. 数据模型是数据仓库和BI的核心

数据模型能为数据仓库建设提供全面的业务梳理和整体的数据视角,通过数据模型,业务人员、开发人员能够很容易在数据仓库需求、范围以及长远建设规划上达成共识,真正形成业务到数据仓库的映射。

通过专门为BI数据分析而设计的维度模型,更好地分析立足于数据分析的数据需求。可以说没有数据模型,数据仓库与BI就无从谈起。

4、数据管理法律与制度缺失

2010年,IBM发布了《数据治理统一流程》一书,描述了企业数据能力成熟度评价模型。IBM提出数据治理的要素模型,认为数据风险与合规、价值创造等业务目标或成果是数据治理的核心关键命题,并且影响这些目标的达成需要组织结构和认知度、政策、数据相关责任者三个促成要素。在三个促成因素以外,必须关注数据治理三个核心要素,分别是数据质量管理、信息生命周期管理、信息安全和隐私。要素模型中还有数据治理三个支撑要素,数据架构、分类与元数据、审计日志和报告。

●克服黑暗数据现象,通过清晰的元数据和数据模型管理让企业可以真正理解和运用自身的数据,并不断扩大应用和分析数据的范围和规模。

8. 数据模型为参考数据与主数据管理提供一致性指导

参考数据与主数据管理是通过管理共享数据,去满足组织目标、减少数据冗余风险、保证更高的数据质量、减少数据集成成本的过程。(DMBOK2,DAMA International)。

在全面的MDM环境中,逻辑数据模型将在多个平台中进行物理实例化,逻辑数据模型为主数据管理提供了清晰、一致的数据定义,它指导MDM解决方案的实施,并提供了数据集成服务的基础。

当前我国数据管理及管理者责权相应法律法规建设基本上还是一个盲区,无法对数据的收集、加工、传递、发布等全过程进行管理和监督,这就造成了数据采集、比对、共享、开放的难度超出了想象,打破“信息孤岛”举步维艰。

2014年,EDM发布了数据管理能力成熟度模型( Data management Capability Assessment Model )。在该模型中,EDM将数据管理划分为八大职能域:

●明确数据含义,了解数据访问与业务流程之间的关系,帮助企业业务使用者(不仅包括IT)可以使用数据和应用数据帮助他们更好完成工作,推动全面数据化运营。

9. 数据模型为数据科学与AI提供数据保障

数据科学与AI离不开数据,而数据模型恰恰就是为数据科学与AI后续算法与分析过程提供数据的基本保障。

数据模型的建立能够让各个数据管理领域有着力点,从而能够为数据科学家们的业务分析工作提供更准确的数据,让AI算法得出更准确的结果。

(三)重大机遇

  • 数据管理策略
  • 99696大富豪棋牌,数据管理业务案例
  • 数据管理项目
  • 数据治理
  • 数据架构
  • 技术架构
  • 数据质量
  • 数据运营

●连接和映射更多数据,充分发掘现有的数据之间的关系,扩大数据规模效应,让数据可以充分发挥其作用和价值。

总结

可以说,数据模型在数据管理中处于向上承接业务,向下引导数据的关键位置。

它是承载着数据需求的元数据、是数据质量校验的对象、是形成数据质量规则的基础、是数据集成与互操作的起点、是数据存储和操作的结构保障、是数据安全管控的对象、是数据仓库和BI的核心、是参考数据与主数据的一致性指导。做好数据模型的管理,企业数据管理将会事半功倍。

参考:[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:123.

本文由 @龚菲 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

数据时代亟待对数据进行一体化管理,这给我们带来重大机遇。机遇在于:

2014年,CMMI协会发布了数据管理成熟度模型,将数据管理工作分为六个维度:

●为其他的数据资产管理活动,包括数据质量、数据生命周期管理、数据操作、数据安全、主数据管理等提供一个高质量的基础。

1、智慧城市不断深化发展。大数据已经遍布智慧城市的方方面面,监控视频数据、城市地理信息、交通数据、人口数据以及环境监测数据等各行业数据量正呈现爆发式增长,数据的分析、挖掘、提炼、应用等越来越受到重视。

  • 数据管理战略
  • 数据治理
  • 数据质量
  • 平台及架构
  • 数据操作
  • 支持流程

其实,在数据仓库领域中,元数据管理正是用来解决这个问题的但由于种种原因,实际上传统企业中元数据管理也不尽如人意,出现元数据与实际环境严重脱节,不能反映其真实数据架构等现象。我们在某电信运营商实现数据治理项目时,曾经遇到的最真实情况是,大多数的系统(或者项目)没有数据模型设计文档,而其中最核心的业务系统之一的数据模型最新版本是2年前的,进行初步稽核之后,数据模型与实际生产环境对得上的只有40%左右。

2、政策红利。2015年我国政府发布了《促进大数据发展行动纲要》,数据强国上升到国家战略层面;2016年《政务信息资源共享管理暂行办法》明确 “以共享为原则,不共享为例外”。

本文由99696大富豪棋牌发布于新闻动态,转载请注明出处:是由国脉海洋和清数科技联合推出的一个重磅产

关键词: