人工智能时代前沿技术社区

金融平台的大数据探索

现在,大数据已经成了耳熟能详的词了,各行各业也都在运用大数据技术。但你对大数据技术了解多少呢?

作者:谭盼雨 | 2017-07-18 14:51:00 | 来源:飞马网原创

现在,大数据已经成了耳熟能详的词了,各行各业也都在运用大数据技术。但你对大数据技术了解多少呢?近日,飞马网邀请了广发证券 大数据架构师、大数据平台群组经理刘幸,来为大家在线直播讲解金融平台的大数据探索。

刘幸,广发证券 大数据架构师、大数据平台群组经理,长期专注于数据平台建设和数据价值挖掘类工作。曾任职于腾讯数据平台、腾讯微信、盛大数据中心等;参与过腾讯TDW分布式数据仓库研发和微信数据分析,帮助多家企业从零开始搭建了大数据平台,并协助企业将数据价值落地。 

首先,刘老师给我们跑抛出了一个问题:

什么是大数据?

有人说是大的数据库,也有人说是大一点的数据仓库,还有人说大数据是基于Hadoop相关的集群搭建起来的.......但刘老师告诉我们,大数据是一种资产,是一种生产力,同时也是一种思维方式。大数据是IT和互联网发展到现今阶段的一种表象或特征,属于时代发展的产物。因此,没有必要神话它或对它抱有敬畏之心。

金融大数据应用探索

大数据在金融行业的应用主要分为三个部分:应用场景、数据应用、大数据平台。

应用场景

其中可应用的场景有:决策参考、营销、数据化运营、智能化产品、企业管理等。

数据应用

包括风险管理、用户画像、精准营销、智能投顾、量化策略、市场研究、舆情监控和市场情绪、征信授信等。

大数据平台

包括行情数据、柜台数据、终端数据、营销数据、电商数据、金融产品数据、爬虫数据、合作方数据等。

智能化交易平台及应用

我们都知道天气是容易预测的,因为它的干扰因素较少。(尽管大家都感觉天气预报不准,但天气预测的准确率还是很高的)

但股市是否可以预测呢?股市的干扰因素有以下两种:

股市难以预测是因为以下两个原因:

一、价值规律:系统化地去预测价值规律的话,是非常有难度的。

二、人的行为:系统化去预测人的行为是可以实现的,因为人们做事情都不是盲目地去做,而是有规律的。比如人发邮件的规律、玩游戏的间隔时间,社交网络交友数目等,都是人的规律。

1.png

从图上可以看出,AOL用户和Netflix用户是有着非常明显的规律的。因此,整个投资交易的演进就是从基于情感的手动交易发展为基于数据分析的手动交易。

2.png

策略和量化交易

怎么通过程序去判断股票是该买还是该卖呢?刘老师告诉了我们一个思路:当一支股票不断上涨的时候,下个时间点,它上涨的几率就大;当一支股票正在下跌的时候,那下个时间点,它下跌的几率也更大。确定了这个思路,就可以根据这个思路来写代码。

比如双均线按照每5天和10天来做记录,当5天内的均线在10天以上,就说明股票处于上涨的阶段,但当10的均线在5天均线上面,那说明这只股票正处于下跌。而如何判断股票是在上涨还是下跌呢,那就是看两者的交叉。

策略和量化交易的优势:

1、量化选股依赖的是客观的精准数据,而不是主观臆断;

2、量化交易依赖的是统计模型,追求的不是每次都成功,而是在多次博弈下更大的成功概率;

3、量化交易可以更有效克服贪婪和恐惧,交易的执行更有纪律性。

策略云和咨询云的关系

咨询云其实就是大数据,大数据能产生咨询云,能够为量化平台产生的策略云提供数据上的支撑何支持。

刘老师为我们分享了整体架构图:

6.png

数据云

数据云是把所有的数据放在一起,以云服务的方式提供给大家使用的系统。与别的系统相比,数据云的优势有:所有的数据出入统一化、数据接口标准化等。

7.png

大数据立体监控

金融市场洞察

主要是看一下市场各种各样的数据。这些数据通过购买、合作方提供、爬虫等方式获取。

数据治理中元数据的应用

10.png

以下是刘老师在线回答的几个网友提出的问题:

Q:请问学习大数据有哪些实用的推荐书籍?

A:这要看你对大数据关注方向是哪些?例如数据开发方向(或叫做数据分析师),通常的做法是从大数据里面分析出一些价值,建议看数据分析的书;如果是做平台,建议看Hadoop类的书籍;如果是数据可视化,就多看前端相关的书籍。如果是数据产品、产品经理方向,的这个就需要看一些综合性的书。

Q:老师能给解释下 如何处理安全访问的问题么 是只用身份认证么?

A:安全访问,我们分为好几层,系统层面主要是做的针对黑客的。包括:

一、系统所有的存储都是加密的;

二、系统运行的环境都是在隔离环境的;

三、系统的认证体系;如果你做交易,需要通过三要素认证。

【责任编辑:谭盼雨】