人工智能时代前沿技术社区

飞马网IT经理人实战案例库,汇聚数万管理案例更有经典解析!
重现真实案例场景,多角度分析,全方位点评,造就专业的管理案例库!
立即分享我的案例
热门搜索: 项目管理1 产品管理 开发管理 敏捷 新产品研发 需求分析 架构 信息安全 大数据 云计算 质量/测试 运维
硬技能
软 技能
飞马网会员
莫小北
陈齐彦:大规模容器集群的自动化运维
被浏览 22193 次
22193
人气
飞马网-陈齐彦:大规模容器集群的自动化运维

1月5-7日,第十届中国IDC产业年度大典(IDCC2015)在北京国家会议中心隆重召开。本次大会由中国信息通信研究院、云计算发展与政策论坛、数据中心联盟指导,中国IDC产业年度大典组委会主办,中国IDC圈承办,并受到诸多媒体的大力支持。


中国IDC产业年度大典作为国内云计算和数据中心领域规模最大、最具影响力的标志性盛会,之前已成功举办过九届,在本届大会无论是规格还是规模都"更上一层楼",引来现场人员爆满,影响力全面覆盖数据中心、互联网、云计算、大数据等多个领域。


DaoCloud联合创始人陈齐彦出席本次大会并发表主题为《大规模容器集群的自动化运维》的精彩演讲。


以下为陈齐彦演讲实录:


我是来自上海DaoCloud网络科技有限公司,今天跟大家分享的话题跟我们自己的业务有些关系,我们在国内运行里一个公有云,这个公有云跟大家通常见到的云有点不一样,我们这个云是100%是跑在容器平台上,大家可能听说过这个词,叫Docker,我们这个平台是100%跑在云计算平台,跑在Docker上的云计算平台跟原来基于基础架构或者虚拟化最大的区别主要在于是高密度的,高密度怎么理解,我们有六个数据中心的点同时支撑客户应用数量上十万,有几十万个容器做支撑,这意味着我们同时运维几十万个管理单元,这可能是国内最大的容器集群,但是不是世界上最大的,世界上最大的容器集群是谷歌,谷歌全球在线数量是一百万以上。


我今天跟大家分享的话题,跟大家传统理解上的数据中心角度和管理方法有一些新的理念和思路,主要是我们管理对象不一样,原来数据中心管理方式是对计算网络架构进行管理。在我们的环境里运维对象和用户访问云计算资源的对象,都不是存储计算网络三个架构,而是一个应用集群,用户提交上来的是计算请求,这个计算请求是横向可扩展的互联网应用集群的需求,也可能是分布式的计算请求,这个请求提交给我们之后,由这个云平台自动做调度,调度对象是计算,把计算调度到基础架构上,但是用户是看不到架构的,他只需要关心计算工作需要怎么跟存储资源匹配,其他的运维管理工作是由云平台自动产生的,这是对用户而言,对我们自己运维而言也是这样的,我们运维工程师也不需要处理基础架构的问题,我们运维工程师主要是管好这20万的容器,这引出了今天的课题,我们原来的运维自动化管理对象是可枚举的,但是到了容器时代,数据中心里管理对象变成了不可枚举的,这意味着数据中心里所有的管理单元属于弹性状态并且是一种漂移状态,在这个状态下,计算到底跑在哪一个节点上,到底有多少个节点支撑计算,都变成了不确定因素,所以在这个状态下,我们需要新的理念和思维解决大规模容器集群的自动化运维。


从2013年到2016年Docker这个词在全球热度是垂直向上的直线,这个直线堪称人类历史上开源软件一个现象级的基础。我们也是最早把容器技术完全运维在数据中心的一家公司,我们的数据中心是虚拟的,这个数据中心里整个集群都是容器化的,在这个容器化运维的过程中,我们是把客户的业务和基础架构节耦,在这个运维过程中,我们的运维理念,底下基础架构任何一个设备和单元都是不可靠的,所有的自动管理能力,基于这个技术,第一,客户应用和基础架构节耦,第二基础架构不可靠,容器化数据中心是动态的状态没有预配置的过程,这也是我们对自动化运维提出更高的要求。容器时代,从2013年引爆整个IT生态,所以我们如果回顾一下过去十年,今天面对整个云时代的到来都是有前因后果,云之所以能够到来,云把计算变成了一种标准的产品输出,以服务方式输出,根源还是在很早之前实现了标准化,在这个云时代标准化契机是X86的体系和虚拟化的技术。这跟我原来团队一开始的经历差不多,这个虚拟化和标准化是十年之前的事情,这个标准产生之后带来的推动力是出现了云的产业,在云的产业里最早尝到甜头的两家公司,一个是公有云的AWS,一个是私有云的VMware。国内也有更多云的公司出现,未来可能有越来越多,这引爆了今天的十年。


2013年Docker出现,从行业内技术人员角度来看,意味着出现了一个新的标准,这跟当年X86出现一样,他意味着新的十年的展开,这是我们说Docker技术事实上定义了未来云的原生应用的标准,基础架构的标准已经没有什么要讨论了,但是应用标准被定义了,包括谷歌,也承认Docker是未来整个应用的交付标准,这是开始未来十年的序幕,这是我们常说的未来十年是应用崛起的十年,这个十年不是手机上的应用,这个应用是数据中心里管理对象围绕中心是应用而不是基础架构资源。


为什么以应用为中心是主要的趋势,还是业务驱动,而不是技术人员驱动,因为大家看到了,现在最成功的商业模式的公司,硅谷的创新公司,国内是BAT,互联网+等等概念,本质上是他们掌握了以应用为中心的IT理念,这个冲击非常大,这些公司并不是跑在原来传统IT架构上,这些公司原生跑在云上,这个云不一定跑在虚拟化平台上,像脸书,谷歌,和国内先进户互联网公司也在这个路。结果是业务产生了变革,因为这些新IT能力的具备,你完备拥有了另外一种发动机不是原来机械增压的发动机可能是涡轮增压发动机甚至喷气式增压发动机,带来的变革是很多公司死掉很多公司出来。


今天我们在座的各位不管是做运维开发可能都有这个感受,我们今天要面临的客户是在构建一个人缘星球,以应用为中心的数据中心里,应用的云和基础架构的云最大的区别是什么,完全是一种管理理念和思维的不同,最关键的一点,在应用为中心的云里我们强调了几个维度是原来做不到的,比如从高可用向永远可用转变,这是一个质的飞跃,另外从纵向扩展向横向客户,另外大家是互联网用户,互联网用户更多是迭代和用户优先。右边这张图是国际著名研究机构,出了2015年经济计算发展的报告,可以看到我们DaoCloud的位置,是一个蓄势待发的状态,这是一个新的力量的出现,在我们的业务里,我们的运维难点是什么,在我们前面基础架构里的问题暂且不考虑,在我们体系里的难点主要是四个问题,第一是交互流程,我们希望交互流程全自动化,这才能极大的降低我们的运维难度,否则每一个客户提交一个应用版本,有的客户可能一天提交二三十个迭代版本,每个迭代版本如果都需要我们的工程师做手动的服务配置,这根本不可能想象,我们可能要配上百人,我们同时在线支持客户数量上万,不可能配那么多的运维工程师,最终的结果,我们目前做到的形态,我们是零运维工程师,根本原因还是因为通过自动化,把入口交给客户,让客户自动服务,在发布形态和管理形态上做到自动调度。第二是开发和运维之间的鸿沟,原来开发形态交付出来必须要介入,因为开发形态跟运维形态差异太大,我们解决了这个差异性,交互界面统一了。我们这个平台可以做原来靠人力做不到的事情,就是架构的支撑,我们很容易可以在平台上实现应用节点的横向扩展,动态的几十到上百个节点,这个东西只需要下达一个指令就可以了,不需要人为的运维脚本和自动化的工具,你基本上只需要下达指令就可以了。最后我们这个平台帮助客户运行的是应用,我们要帮助用户运行一个可持续的用户体验。


在我们数据中心的体系里是交叉的纵轴体系,不是原来云管平台的模式,云管平台是一个控制器,下面存储计算网络是并排的,我们这个是立体架构,这个立体架构没有分支控制器的概念,整个体系有两个维度,一个是纵向维度,应用集群管理能力还有一个数据服务绑定能力,数据库,我们在看到平台演示的时候,这些数据库从哪里来,如何做数据服务的发现和动态绑定,当然底下还是基础架构,这个基础架构被平台管理掉了。横向是打通了跟用户之间的自动化鸿沟,我们把开放测试交互部署运维平台做成一个自动化的平台,不管叫什么理念,本质上实现了从开发向运维全自动部署,在这个环节里没有任何环节需要人为干预。自动化大规模的容器在我们平台上跑起来,他是一个闭环,从开发运维都可以在我们平台上产生,最新版本提供了运维的提升,时时在线人数等等都可以直接反馈给运维支撑平台,运维支撑进行动态的调配,中间是围绕着IDC数据中心的云。


在我们的平台上,整个云服务是跑在跨云的环境里,这是一个典型架构,对我们来讲目前的基础架构,无论是物理机,还是虚拟机云主机都是资源接入层的。我们这个形态的特点,首先他跟基础架构无关,可以部署在虚拟化平台上,也可以部署在物理主机,我们公有云的形态这些组件已经本身产品化,所以我们是现有产品再做公有云,这个产品在私有云里也可以落地,所以我们可以提供私有云和混合云的解决方案,但是这个目的是把现存的资源和应用的进行切换,所以既有的私有云环境是虚拟化的,是哪一种虚拟平台对我们来说是无关的,这就是我今天的分享。谢谢大家。

飞马网

飞马网
活跃成员
飞马网会员
梦成
飞马网会员
如风
飞马网会员
张艳
飞马网会员
敏捷的捷
飞马网会员
时风