当前位置:99696大富豪棋牌 > 关于我们 > 分散的图表不仅会拉低数据监控的效率,数据平

分散的图表不仅会拉低数据监控的效率,数据平

文章作者:关于我们 上传时间:2019-10-03

原标题:从技术和业务视角,认识数据平台

什么是数据平台?

在企业数据建设过程中,大数据治理受到越来越多的重视。从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断地发展和完善,其落地实施的过程中会遇到各种各样的难题和挑战。本篇文章通过分析大数据治理建设中的沟沟坎坎,总结出了大数据治理需要具备的能力和关键技术。

99696大富豪棋牌 1

本文主要面向读者为互联网行业相关从业人员,期望对企业数据平台有所了解的人群;因篇幅有限,文中所述的主题及相关概念点到为止。

数据平台,顾名思义,就是数据+平台:

本文目录:

头图

99696大富豪棋牌 2

数据:源于业务又作用于业务;

一、困难重重却充满光明的大数据治理发展之路

上一期技能卡片我们讲到了 5 种典型的可视化图表,但一个个孤立的表格是远远不够的。分散的图表不仅会拉低数据监控的效率,也不利于数据分析整体性思维的培养。将它们组合建立成一个系统、有业务意义的看板才能真正起到数据监控、分析和及时汇报的作用。

一、什么是数据平台?

平台:基于数据也服务于数据;

二、大数据治理技术需要不断革新

那么如何建立这样一个数据看板呢?

数据平台字面的意思是“数据+平台”:

整体看,数据平台是由“数据流程”和“业务流程”两大主体共同构成的解决方案,两着相辅相成、互相依赖、密不可分。

三、如何选择合适的大数据治理工具?

GrowingIO 技能卡片第二期,教你如何 3 步搭建系统的数据看板。

  • 数据:源于业务又作用于业务;
  • 平台:基于数据也服务于数据。

从数据流程的视角看:不同业务类型企业的解决方案大同小异,目标都是为了保证数据整体的完整性、准确性、时效性;

四、总结

一、搭建数据指标体系

建立一个数据看板首先要对数据指标和拆解维度进行体系化的梳理,这里有两个数据报表必要的概念,指标和维度。

整体看数据平台是由「数据流程」和「业务流程」两大运转主体共同构成的解决方案,两大主体相辅相成、互相依赖、密不可分。

从业务流程的视角看:不同业务类型企业的解决方案各有不同。

一、困难重重却充满光明的

1. 指标

指标指的是数值,用来衡量运营效果。指标可以分为核心指标(KPI)和拆分指标。

1.1 核心指标(KPI)

搭建一个系统的数据看板,要基于对业务的清晰理解。所以在准备搭建之前,不妨问问自己,自己手上的业务存在的目的是什么?明确业务目标是为了明确如何用核心指标(KPI)去度量业务效果。

比如市场的人员在各个渠道的广告投放,最终的目的是提升网站流量的数量和质量,那么他们的核心指标就是网站总体的 PV、UV,以及用户在网站内的转化率。

1.2 拆解指标

明确了核心指标(KPI)之后,需要对每一个核心指标进行不同维度的拆解,比如对市场运营人员来说,核心指标可以按照全渠道流量的新老用户的占比、各个渠道和广告来源的质量、以及用户在产品内的最终转化来拆分。

  1. 维度

对核心指标的拆解是基于维度的,维度是对指标进行细分的属性和特征 ,包括人口、设备、流量、行为等属性。具体维度可以参加下图:

99696大富豪棋牌 3

01维度

对指标进行维度拆解要遵循以下两个原则:

1)优先拆解对指标可能产生影响的维度;

2)尽可能地拆解全面的多维度。

拆解指标的作用在于,当你发现核心指标出现问题(或高或低)时,你可以直接下拉看板,查看拆解指标立即定位问题,及时介入。一个好的数据看板,在迅速传递信息的同时,更应该支持层层下钻,定位和分析问题。

  • 从数据流程的视角看:不同业务类型企业的解决方案大同小异,目标都是为了保证数据整体的完整性、准确性、时效性;
  • 从业务流程的视角看:不同业务类型企业的解决方案各有不同,本文中业务类型偏电商类。

99696大富豪棋牌 4

大数据治理发展之路

二、如何选取正确的图表展示数据

明确了指标体系后,需要选择合适的图表来展示数据,让信息的传递更直观,更有效率。在上期的技能卡片中,我们介绍 5 种典型的图标类型,可供大家参考。

今天我们以典型指标为维度,介绍几种典型指标的图表展示。

二、数据的技术视角

数据的技术视角

传统数据治理一直无法逃脱的魔咒

1. 核心指标

对于核心指标,我们需要第一时间掌握它的具体数值以及变化趋势,所以数值、趋势图就是很好的选择:

99696大富豪棋牌 5

02

数据从生产到应用的整体流程是任何一个数据从业者都绕不开的主题,即便是非数据领域的产品和运营同学,同样也应该对业务中数据的流向有个初步的认识。要展开描述,我们必须从数据的技术视角思考两个问题:

数据从生产到应用的整体流程是任何一个数据从业者都绕不开的主题,必须从数据的技术视角思考两个问题:

大数据治理从建设内容和实施目标上可以划分成不同的阶段,每个阶段完成不同的任务,随着阶段的递进,建设内容逐步加深,不同的企业切入点和诉求也各不相同。大致分为以下几个阶段:

2. 拆分指标

基于不同维度的拆分指标,频数图,柱状图,对比线图都是很好的选择,可以就对比不同维度下的表现:

99696大富豪棋牌 6

03

  1. 需要解决的问题是什么?
  2. 如何保证数据流中不同阶段的最优解?

需要解决的问题是什么?

摸家底阶段

3. 转化步骤

基于用户行为的每一步转化,表格是很好的选择:

99696大富豪棋牌 7

04

1. 需要解决的问题是什么?

如何保证数据流在不同阶段的最优技术解决方案?

内容:企业元数据梳理和采集

三、如何系统地排布

  • 数据供给:提供便捷的数据生产方案,以数据产生为起点,规范数据整个主体的供给,为夯实数据平台的基础提供保障;
  • 数据产出:保证数据在产出层面的普遍适用性。该阶段包括分析报表,自动化分析工具,查询入口等的建设;
  • 过程管理:保证数据的完整性、准确性、时效性,实现数据从产生到应用全流程的高效管理。

99696大富豪棋牌 8

目标:构建企业数据资产库

1. 金字塔模型

建立一个看板是为了让信息传达地更有效率,所以我们将关心的图表按照金字塔的模型进行排布。比如将核心指标放在最上层,然后每一个 KPI 下面是其分拆指标:

99696大富豪棋牌 9

05

2. 数据流的不同阶段如何保证最优解?

数据的业务视角

建体系

2. 不同模块

当然也可以依据分析的不同模块来定,比如在 GrowingIO 业务场景的市场渠道分析看板中,就分为三个模块:

99696大富豪棋牌 10

06

第一个模块是全渠道的流量概况,你可以在这里看到整个网站的流量情况和拉新情况,一旦趋势出现明显的波动,就可以马上下拉查看原因。

99696大富豪棋牌 11

07

第二个模块是对 4 类渠道分别进行拆分和对比,你可以一眼看到各个渠道的流量和拉新趋势。

99696大富豪棋牌 12

08

第三个模块是对每一个渠道的访问深度、转化目标做深入分析,准确定位问题。这三个模块就体现了金字塔模型,从整体到局部,从粗浅到深入。

建立一个系统化、有业务意义的数据分析看板不是一蹴而就的,需要对自己的业务有清晰的理解和认识。 GrowingIO 的业务场景功能分别为市场、运营、产品的同学提供了一键可建立的系统化看板,大大降低了数据分析的门槛。

立即免费注册,用 GrowingIO 搭建你的第一个数据看板吧!

GrowingIO是基于用户行为的新一代数据分析产品,吸取国内外数据分析的最佳实践,颠覆传统数据采集流程漫长、耗时耗力的弊病,创新一套秒级数据采集和分析解决方案,为用户获取全量、实时用户行为数据,并提供业内领先增长咨询服务,为产品和用户增长提供决策支持,用数据驱动企业增长。

「立足现状,具体问题具体分析」,不同企业所处的业务发展阶段不同,所面对的问题会不一样。同样,业务本身特性及企业对数据建设的资源倾斜程度不同,也会直接影响数据全流程处理的差异。最重要的还是立足于现状,站在更高的战略视角去思考整体的解决方案。下面从技术视角以“数据流”为骨架展开讲解数据产生至应用各环节中我们分别需要做什么:

基于立场的不同,导致了从业务视角与从技术视角看到的表现层内容会不一样,但究其本质是相通的。

内容:建立企业标准和质量提升体系

2.1 数据产生

无论数据在应用层面以何种方案最终呈现,最终都是为了解决问题而存在;具体需要从数据的业务视角去思考两个问题:

目标:提升数据质量

数据产生,这个阶段是最适合向业务方宣灌数据生产应用流程的阶段,因为该阶段的优劣将会直接影响之后的各环节。该阶段的关键字是「规范输入」,需要给数据上游的业务方提供可行的数据埋点规范(业务团队自身业务库除外):

需要解决的问题是什么?

促应用

  • 99696大富豪棋牌,数据接入流程:需要对业务数据的接入流程做全面了解,重点从数据认知层面规避“不合理的输入”;
  • 数据上报地址及API应用方法:确定API应用规范,保证数据上报位置准确,上报信息不被丢弃;
  • 埋点规范及内容 :在遵循数据接入埋点规范的前提下,保证各业务中具有差异性部分数据的完整性,通常会基于事件模型中的“who when how where what”几个关键要素设计埋点;
  • 数据测试方法:数据测试方法也会依据埋点形式的不同而不同,一般分为前端和后端数据测试。前端常见测试抓包工具如“Fiddler”,后端通常将数据上报至测试服务器,捞取日志观察其完整性、实时性。

首先,我的业务是什么?

内容:自服务通道、构建企业知识图谱

2.2 数据采集

不同业务单元依据自身业务属性,需要数据团队解决的数据问题也不一样。如:

目标:数据智能应用

数据采集,这个阶段是一个既主动又被动的环节。我们偶尔会收到xx业务方的疑问“为什么业务上线了,没有看到数据”,排查后才发现是因为模块日志并没有被采集。那该环节关键字便是「让日志被正确的采集」

市场团队关注应用市场投放的相关的数据;

99696大富豪棋牌 13

  • 针对现有业务:数据部门会提供给业务方不同场景下的模块日志采集方案清单,业务方只需按照现有清单选择模块上报,数据部门会自动收集;
  • 针对新业务:数据部门会提供模块日志注册系统,形成良性注册机制,让数据部门提前感知,自动化收集模块数据。

客户端团队关注用户转化相关的属性数据;

然而,大数据治理建设之路并不是一帆风顺的,甚至说是充满各种问题和困难,如何管理企业级的数据资产、如何让业务积极参与到数据建设中来、如何降低数据治理的落地难度等一系列问题,一直困扰着数据治理的发展,传统数据治理的问题主要体现在以下几个方面:

2.3 数据处理

运营团队关注活动相关数据;

99696大富豪棋牌 14

数据处理、清洗是数据输入到仓库的前置阶段,该阶段关键字是「清洗规则」,目的是建立符合业务需要的数据清洗方案。比如什么格式的数据该被过滤;比如在广告投放中,用户符合哪种规则算是作弊用户;比如在用户行为数据中,符合哪种特征的行为算是爬虫用户等等。

风控团队关注风控相关数据等。

管理范围窄

2.4 数据仓库

其次,如何让数据驱动业务?

要做数据治理首先要知道有哪些数据,传统的数据治理往往只管理了数据领域,很少关注业务、管理和开发相关的数据资产,数据管理范围比较窄,而且,受限于技术实现,即使在数据领域的数据资产也很难做到精确管理;

数据仓库面向应用而生,该阶段的关键字是「分层、建模」。为了保证数据的普遍适用性及拓展性,会对仓库进行分层,通常分为:源数据层、数据仓库层、数据集市层、数据应用层。常见数据仓库模型为“星型模型”,星型模型就是一种典型的维度模型。我们在进行维度建模的时候会建一张事实表,这个事实表就是星型模型的中心,然后会有一堆维度表,这些维度表就是向外发散的星星。

市场团队通过衡量不同渠道来源用户的质量,优化投放策略;

业务难结合

2.5 数据计算

客户端团队通过观察不同产品方案的转化效果,改进注册及其他核心行为发生的主流程设计;

业务元数据的广泛缺失,导致业务人员无法使用技术性的元数据系统,元数据缺乏业务用户,使用者少;

本文由99696大富豪棋牌发布于关于我们,转载请注明出处:分散的图表不仅会拉低数据监控的效率,数据平

关键词: