人工智能时代前沿技术社区

首页 > 人工智能 > 热点

微软研发工程师高彦杰:图数据分析的简介及应用场景类型

在大数据时代,不会算法可能不会淘汰,但是不知道大数据有哪些应用,可能就真的会被世界淘汰,等着被世界改变。图数据分析是大数据分析一个重要的分支,了解图数据分析也许会成为理解大数据时代分一个有趣视角。

作者:橙君 | 2017-06-30 15:04:32 | 来源:飞马网原创

主讲人介绍: 微软研发工程师, 多年大处理系统与数据分析经验,开源技术爱好者,曾著有《Spark大数据处理技术》 ,《spark大数据分析实战》。

本次直播由飞马网主办,于2017年6月29日,在微信线上直播。本文截取了主讲人前一部分对图数据分析的简介和应用类型的介绍。

在大数据时代,不会算法可能不会被淘汰,但是不知道大数据有哪些应用,可能就真的会被淘汰,等着被世界改变。图数据是大数据一个重要的分支,了解图数据分析也许会成为理解大数据时代一个非常有趣视角。

一、图数据分析简介

按照严格的学术定义:图计算用于挖掘人、物和实体之间的潜在不易观察的行为和联系,而这些联系很难用传统数据表示。

blob.png

在《信息简史》当中有一个观点,“世界的本质是信息”,即世界万物都是可以分为点,而点与点之间的关系可以抽象成边。点和边之间不局限人与人之间,也可以是人与物之间,物与物之间。比如点可以是计算机的一个节点、服务器,而边可以是流量包,区域网。

传统的数据包都是一个个二维的表格,很难体现点与点之间的关系。比如怎样量化和朋友之间的关系,这个关系有可能长也有可能短,朋友与朋友的朋友是一个什么关系,这需要一个全新的算法来执行。由此,图数据分析相应技术就应运而生。

二、图数据有什么类型和在哪些方面的应用

图数据分析一共有两类,一种是即时原始数据库不大的时候,服务器可以在线分析,拥有即时查询,更新、加载等功能。另外一种定期下载数据,从而进行离线分析,定期下载,这类一般是数据量很大的情况下。

按照图数据分析算法可以分为两类。第一个是,查询类的图数据分析,和传统数据库的差别就在于便利性查询。要实现这一点其实就是在中间加一些过滤器,不断筛选出自己要的信息。第二类的是,网页排序算法。网页于网页之间的关系,网页与网页之间的权重,以及权重的传递,然后根据网页的权重进行排序。将更多的用户不断引向优秀网站,对产生大量垃圾内容网站进行打击。

图数据的应用场景非常多,各行各业,各个公司都在构建图数据分析算法。简单一点的是信息查询,复杂一点的是机器学习。包括网络安全、生物信息计算、社交网站、服务商进行地推、竞品分析等。

1.流量网络的图来保证网络的安全。比如黑客的一种进攻方式DDOS,全名是Distributed Denial of service (分布式拒绝服务),很多DOS攻击源一起攻击某台服务器就组成了DDOS攻击。而流量网络图就可以分析是哪一台服务器在连续访问自己的网页,可以把该服务器加入黑名单,从而保证网页正常运转。实现这个目的,需要对整个计算机网络有一个分析了解。

2.生物信息计算的应用,人体的病症往往是牵一发而动全身的,通过某一个特殊特征,可以发现某些病症之间的关系,从而达到预测疾病的作用。例如分析某一个蛋白质,可以推测出身体某个部位发生了炎症或者癌变。

3.最熟悉的应用应该是社交网站,对于人与人关系数据的挖掘,可以创造很多价值。

1).广告的定向营销。微博、微信盈利主要是广告,图数据分析找出社交网站的朋友关系,从而实现定向营销。比如手机,可以分析在手机类,哪些人相互联系更加紧密。在特定的资源投放下,达到广告投放的最佳效果。

2)金融的反欺诈分析。人与人之间的信息流动有时候会涉及到金融的流动,这样可以进行金融现金流的分布,可以建立反欺诈信息分析,比如客户A,妻子是B,客户C,妻子是D,B和D的联系方式一样,但是姓名却不一样,这样就可以判断A和C有一个人撒谎或者两个人都在撒谎。这个数据源是多样的,在大数据面前,这种对欺诈的筛选度几乎是百分之百。

blob.png

3).增加服务型公司的地推效果。如果是一个保洁公司。在一个小区工作,需要扩充新的业务,如果能够分析出人与人的关系,从而精准地推。一个邻居也使用了的保洁公司,让客户信任的可能性大大增加了。

4).对于硬件应用商来说有助于发掘潜在用户。根据个人兴趣图谱,比如对网络游戏着迷的用户,可以推荐流量大的电话卡,而根据这个筛选出新网游用户,又可以提醒他和游戏玩家好友安装新的宽带,垂直提供相应的寻求。

5).关系图谱有利于竞品分析。在现代社会,人与人之间的合作通常都是快速、高效的。有时候,与合作伙伴可能是在饭局、沙龙上认识的,这个时候要对对方背景有一个基本的了解。就可以通过天眼查一类的网站,找出对方,人和公司的关系,公司和公司的关系,公司股东的背景。

图数据分析对于大数据时代的我们,是一个必备的常识和技能。比如当我们去找工作的时候,需要看某一个公司的背景资料,就会遇到人物关系图谱,即便是不会制作那样的图谱,通晓其原理对于提高我们的认识也有莫大的好处吧。

【责任编辑:橙君】