人工智能时代前沿技术社区

首页 > 大数据 > 热点

大数据安全实践

我们处在大数据时代,数据的爆炸式增长使得大数据技术得到广泛应用,但随之而来的安全挑战也不可忽视。如何更好地搭建大数据安全平台,运用

作者: | 2018-03-07 14:08:54

我们处在大数据时代,数据的爆炸式增长使得大数据技术得到广泛应用,但随之而来的安全挑战也不可忽视。如何更好地搭建大数据安全平台,运用大数据技术进行安全管理是非常重要的,为此,飞马网于3月6日晚邀请到知名互联网公司的屈跃辉老师。在线上直播中,他向大家分享了大数据安全问题背景、大数据安全标准体系、大数据平台安全架构、大数据安全技术解析、大数据安全管理系统案例五个方面。

微信图片_20180307115956.jpg

以下是主要内容:

一.大数据安全问题背景

近年来,大数据平台业务呈现出快速发展的趋势,许多公司开始搭建起属于自己的数据平台,去挖掘大数据的价值。在现实过程中,为了追求大数据业务的快速产出,大数据安全常常是被忽视的,这就使其落后于大数据业务的发展,从而导致大数据安全问题非常突出。主要出现以下几种问题:

幻灯片3.jpg

再看中国大数据的整体趋势,从更高的层面来看,国家重视大数据安全的建设,其中标志性的事件就是,2017年4月,全国信息安全标准化技术委员会2017年第一次工作组“会议周”在武汉召开,会上,《大数据安全标准化白皮书》正式发布。

幻灯片4.jpg

二.大数据安全标准体系

如何构建并实施一个完整的大数据安全规范呢?我们参考国家大数据安全标准体系,以此作为指导,按照业务模块和业务场景,分类去制定大数据的安全规范,来划分对应的安全等级。

幻灯片5.jpg

三.大数据平台安全架构

数据平台安全架构设计的基本出发点在于填补大数据平台的安全漏洞。以下是大数据平台安全架构的示例:

幻灯片6.jpg

四.大数据安全技术解析

建设大数据平台实时大数据安全是一个非常巨大的挑战,需要很多的成本投入,从成本的考虑出发,我们关注开源社区可以利用的一些技术站,如图所示,屈老师整理了五个维度的技术站信息。

大数据安全技术体系:

幻灯片7.jpg

接下来,重点讲解我们在工作实践中,用到的大数据安全技术。

1.用户认证与管理:

首先介绍的是用户认证与管理中的KERBEROS TICKET EXCHANGE技术。

幻灯片8.jpg

其次是LDAP技术,它是一种轻量级目录访问协议,可以弥补KERBEROS TICKET EXCHANGE技术的不足。

幻灯片9.jpg

值得我们注意的是,在使用LDAP和KERBEROS TICKET EXCHANGE技术的过程中,首先要把KERBEROS TICKET EXCHANGE的用户信息存储到LDAP上,同时KERBEROS TICKET EXCHANGE用户和LDAP上管理的PUSIICUSS用户,要通过配置去打通和关联。

 

2.精细化权限控制:

在这方面,主要介绍的是Apache Ranger技术。

幻灯片10.jpg

对Apache Ranger已经发布的的技术站来看,仍有一些小问题需要去修复。下面是Apache Ranger的架构图。

幻灯片11.jpg

3.元数据管理:

Apache Atlas技术对于大数据安全需求来说,它的核心能力较强。

幻灯片12.jpg

4.数据加密与密钥管理:

在企业的一些业务场景和数据类型中,我们希望有更高级别的安全保护,下面两种技术就值得应用。

幻灯片13.jpg

下面这张图片是HDFS Encryption的工作原理。

幻灯片14.jpg

5.监控管理:

大部分公司都会在该领域有所建设,多数建设都以服务的稳定性和可用性来作为监控的出发点。

幻灯片15.jpg

五.大数据安全管理系统案例

  1. 通用权限系统产品架构设计与展示:

幻灯片16.jpg

 

幻灯片17.jpg

2.安全审计系统产品架构设计与展示:

幻灯片18.jpg

 

幻灯片19.jpg

以上就是屈跃辉老师这次线上直播的主要讲述内容,在最后,屈老师还对大家提出的问题进行了耐心解答。

有同学提出“多大规模的集群需要去考虑安全和审计?”,屈老师觉得这和规模没有多大关系,安全方面的需求应越早越好,如果等集群上了规模,我们就需要做特别多的改造,风险也会相应增高。

还有的同学问到“如何对音频文件进行加密管理?”屈老师认为,首先要对安全加密的安全级别有明确的定义,然后大家可以重点看一下大数据安全技术体系里提到的边界、访问、透明、数据的框架。

本次内容的讲解,层次清晰,有针对性,相信对大数据专业人士会有所启发。想详细了解直播内容的小伙伴们,可以关注服务号:FMI飞马网,点击菜单栏飞马直播,即可进行学习。

 

 

服务号.jpg