当前位置:99696大富豪棋牌 > 最新资讯 > 下面具体的分析每一种挖掘任务应使用哪些挖掘

下面具体的分析每一种挖掘任务应使用哪些挖掘

文章作者:最新资讯 上传时间:2020-01-05

墨尔本2019年2月18日电 /美通社/ -- 2月15日,在澳大利亚墨尔本圆满闭幕的第12届网络搜索与数据挖掘国际会议(WSDM 2019)上,卧龙大数据AI团队陈维龙获得 WSDM Cup 挑战赛第一名的成绩,这是中国企业参赛者首次在该赛事上取得的最高名次(去年WSDM 2018大赛上阿里AliOS 算法团队获得第二名)。

一、前 沿

选择数据挖掘技术的两个重要依据

99696大富豪棋牌 1

   数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。数据挖掘的任务是从数据集中发现模式,可以发现的模式有很多种,按功能可以分为两大类:预测性(Predictive)模式和描述性(Descriptive)模式。在应用中往往根据模式的实际作用细分为以下几种:分类,估值,预测,相关性分析,序列,时间序列,描述和可视化等。

  数据挖掘使用的技术很多,其中主要包括统计方法、机器学习方法、和神经网络方法和数据库方法。统计方法可细分为回归分析、判别分析、聚类分析、探索性分析等。机器学习方法可细分为归纳学习方法(决策树、规则归纳)、基于范例学习、遗传算法等。神经网络方法可细分为钱箱神经网络(BP算法)、自组织神经网络等。数据库方法主要是多维数据分析或OLAP方法,另外还有面向属性的归纳方法。由于每一种数据挖掘技术都有其自身的特点和实现的步骤,对数据的形式有具体的要求,并且与具体的应用问题密切相关,因此成功的应用数据挖掘技术以达到目标过程本身就是一件很复杂的事情,本文主要从挖掘任务和可获得的数据两个角度来讨论对数据挖掘技术的选择。

卧龙大数据AI团队陈维龙领取奖项

   数据挖掘涉及的学科领域和技术很多,有多种分类法。根据挖掘任务分,可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象分,有关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分,可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中,可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法,另外还有面向属性的归纳方法等等。

3.1不同的挖掘任务使用不同的挖掘技术

WSDM 被誉为信息检索领域最顶级的会议之一,会议的关注点为搜索、数据检索、数据挖掘、算法设计、算法分析、经济影响方面的实际且严谨的研究,以及对准确率和运行速度的深入实验探究,今年已经是 WSDM 的第十二届会议。

   二、数据挖掘技术简述

数据挖掘的任务是从数据中发现模式。根据挖掘任务,数据挖掘可分为概念描述、聚集发现、关联规则发现、分类发现、回归发现和序列模式发现等。在选择使用某种数据挖掘技术之前,首先要将待解决的商业问题转化成正确的数据挖掘的任务,然后根据挖掘的任务来选择具体使用某一种或几种挖掘技术。下面具体的分析每一种挖掘任务应使用哪些挖掘技术。

本次WSDM Cup 有来自全球 744 支队伍参赛,论文接收率约为16%。此次比赛的赛题内容是预测短视频APP应用在用户快速增长阶段中的用户留存率,从而进一步挖掘提高用户留存率及影响用户留存的原因。

   数据挖掘的技术有很多种,按照不同的分类有不同的分类法。下面着重讨论一下数据挖掘中常用的一些技术:统计技术,关联规则,基于历史的分析,遗传算法,聚集检测,连接分析,决策树,神经网络,粗糙集,模糊集,回归分析,差别分析,概念描述等十三种常用的数据挖掘的技术。

概念描述

99696大富豪棋牌 2

       1、统计技术

概念描述是描述式数据挖掘的最基本形式。它以简洁汇总的形式描述给定的任务相关数据集,提供数据的有趣的一般特性。概念描述由特征化和比较组成。数据特征化是目标类数据的一般特征或特性的汇总。通常,用户指定类的数据通过数据库查询收集。例如,为研究上一年销售增加10%的软件产品的特征,可以通过执行一个SQL查询收集关于这些产品的数据。概念的特征化有两种一般方法:基于数据立方体OLAP的方法和面向属性归纳的方法。二者都是基于属性或维的概化方法.数据特征的输出可以用多种形式提供。包括饼图、条图、曲线、多维数据立方体和包括交叉表在内的多维表。数据区分是将目标类对象的一般特征与一个或多个对比类对象的一般特征比较。例如,将上一年销售增加10%的软件产品与同一时期销售至少下降30%的那些产品进行比较。用于数据区分的方法与用于数据特征化的方法类似。总之,进行概念描述挖掘时一般采用面向数据库的方法,另外还可以采用机器学习方法的基于范例学习技术。与机器学习方法相比,面向数据库的概念描述导致在大型数据库和数据仓库中的有效性和可伸缩性。

陈维龙受邀赴墨尔本做口头报告

   数据挖掘涉及的科学领域和技术很多,如统计技术。统计技术对数据集进行挖掘的主要思想是:统计的方法对给定的数据集合假设了一个分布或者概率模型(例如一个正态分布)然后根据模型采用相应的方法来进行挖掘。

聚集发现

卧龙大数据陈维龙设计了一种实用的机器学习方法来应对这样的挑战,包括特征工程、Lightgbm、CatBoost等决策树方法,RNN-ManyToMany等深度学习的方法,以及学习模型的堆叠。决策树对于特征工程的挖掘具有非常好的效果体现,而RNN-ManyToMany相对于传统方式,不需要过多地处理输入序列,可以直接输入各种行为序列。通过余弦退火快照集成,从而以非常低的成本获得大量不同的局部最优值。通过多次优化完善,陈维龙最终算法组件和可解释性组件综合得分第一,取得冠军。

       2、关联规则

聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显,而同一个群之间的数据尽量相似。聚集在电子商务上的典型应用是帮助市场分析人员从客户基本库中发现不同的客户群,并且用购买模式来刻画不同客户群的特征。此外聚类分析可以作为其它算法(如特征和分类等)的预处理步骤,这些算法再在生成的簇上进行处理。与分类不同,在开始聚集之前你不知道要把数据分成几组,也不知道怎么分(依照哪几个变量)。因此在聚集之后要有一个对业务很熟悉的人来解释这样分群的意义。很多情况下一次聚集你得到的分群对你的业务来说可能并不好,这时你需要删除或增加变量以影响分群的方式,经过几次反复之后才能最终得到一个理想的结果。聚类方法主要有两类,包括统计方法和神经网络方法。自组织神经网络方法和K-均值是比较常用的聚集算法。

在此之前,卧龙大数据已经深度研究过该类问题并制定了解决方案,去年卧龙大数据就已经和本地运营商合作,建模研究运营商在网用户的离网概率和离网原因,最终获得了极高的准确率,并将之拓展应用到运营商、金融等多个领域的用户分析研究之中。

   数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之I司存在某种规律性,就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数,即使知道也是不确定的,因此关联分析生成的规则带有可信度。

关联规则发现

       3、基于历史的MBR(Memory-based Reasoning)分析

关联分析是寻找在同一个事件中出现的不同项的相关性,比如在一次购买活动中所买不同商品的相关性。序列模式与此类似,它寻找的是事件之间时间上的相关性,如对股票涨跌的分析。以市场货篮这个典型例子分析关联规则。“在购买面包和黄油的顾客中,有90%的人同时也买了牛奶”(面包+黄油®牛奶)。用于规则发现的对象主要是事务型数据库,分析的是售货数据,也称货篮数据。以下给出的数学模型用来描述关联规则的发现问题。

   先根据经验知识寻找相似的情况,然后将这些情况的信息应用于当前的例子中。这个就是MBR(Memory Based Reasoning)的本质。MBR首先寻找和新记录相似的邻居,然后利用这些邻居对新数据进行分类和估值。使用MBR有三个主要问题,寻找确定的历史数据;决定表示历史数据的最有效的方法;决定距离函数、联合函数和邻居的数量。

设I={I1,I2,...,Im}是一组物品集,其中每一个事务T是一组物品,显然TÍI。设X为一组物品,当且仅当XÍT时,称事务T包含X。一个关联规则是如下形式的一种蕴涵:X®Y,其中XÌI,YÌI且X∩Y=F。如果D中s%的事务包含X∪Y,则称规则X®Y在事务集D上的支持度support(X∪Y)=s。可信度为c,如果c=support(X∪Y)*100/support(X),则说明D中包含X的事务中有c%的事务同时也包含了Y。可信度说明了蕴涵的强度,而支持度说明了规则中所出现模式的频率。具有高可信度和强支持度的规则称为“强规则”(strong rules)。关联规则发现任务的本质是要在数据库中发现强关联规则。利用这些关联规则可以了解客户的行为,这对于改进零售业等商业活动的决策很有帮助。例如,可以帮助改进商品的摆放(把顾客经常同时买的商品摆放在一起),帮助如何规划市场(互相搭配进货)等。在数据挖掘研究领域,对于关联分析的研究开展的比较深入,人们提出了多种关联规则的挖掘算法,如APRIORI、FP-增长、STEM、AIS、DHP等算法。

   99696大富豪棋牌,    4、遗传算法GA(Genetic Algorithms)

分类发现

   基于进化理论,并采用遗传结合、遗传变异、以及自然选择等设计方法的优化技术。主要思想是:根据适者生存的原则,形成由当前群体中最适合的规则组成新的群体,以及这些规则的后代。典型情况下,规则的适合度(Fitness)用它对训练样本集的分类准确率评估。

 分类要解决的问题是为一个事件或对象归类。设有一个数据库和一组具有不同特征的类别(标记),该数据库中的每一个记录都赋予一个类别的标记,这样的数据库称为示例数据库或训练集。分类分析就是通过分析示例数据库中的数据,为每个类别做出准确的描述或建立分析模型或挖掘出分类规则,然后用这个分类规则对其它数据库中的记录进行分类。在电子商务中分类分析可以预测客户响应,如哪些客户最倾向于对直接邮件推销做出回应,又有哪些客户可能会换他的手机服务提供商,或进行商店定位,如按成功的商店、一般商店和失败商店排列得出这3类商店各自具有的属性。然后选择包含位置属性的地理数据库,分析每一预期的商店位置属性,以确定预期的商店定位属于哪一类。只有那些符合成功一类要求的商店位置才作为商店定位的候选。用于分类分析的技术有很多,典型方法有统计方法的贝叶斯分类、机器学习的判定树归纳分类、神经网络的后向传播分类等。最近数据挖掘技术也将关联规则用于分类问题 。另外还有一些其它分类方法,包括k-最临近分类、MBR、遗传算法、粗糙集和模糊集方法。目前,尚未发现有一种方法对所有数据都优于其它方法。实验研究表明,许多算法的准确性非常相似,其差别是统计不明显,而训练时间可能显著不同。一般的,大部分神经网络和涉及样条的统计分类与大部分判定树方法相比,趋向于计算量大。

       5、聚集检测

回归发现

本文由99696大富豪棋牌发布于最新资讯,转载请注明出处:下面具体的分析每一种挖掘任务应使用哪些挖掘

关键词: