架构之美开放环境下的网络架构20120516MartyMa1.ppt

架构之美 - 开放环境下的网络架构,网络平台部 MartyMa（马志强） 2012-5-16,前言及介绍,内容及收获： 偏技术、非上流、偏底层、非代码的 腾讯网络介绍 您能了解到，在您代码飞速运转的腾讯开放平台上，我们如何为您构造所需的网络环境，尤其是咱的数据中心网络 您能了解到，为了让用户更稳定更顺畅地享用您的开发成果，我们在自己的网络、运营商网络上做了哪些努力,小生简介：MartyMa (马志强) 腾讯 网络平台部 网络架构中心 十来年的运营商和企业网络经验,前言及介绍,+100万服务器 +10自建IDC +2000G带宽 与约150个运营商对等互联 自有光纤网络及骨干网 加入ONF，已有SDN骨干网实践,约合+30万台服务器 自建+租用IDC 与约80个运营上对等互联 实践大规模数据中心网络 加入ONF,约合+50万台服务器 与约110个运营商对等互联 实践IAAS云网络,约合+20万台服务器 租用+合建+自建IDC +1000G出口带宽 与+10个运营商对等互联 实践大规模数据中心网络及多业务承载网 加入 ONF,服务器量,对外出口,网络情况,网络架构业务需求是第一出发点,即时通信,国内最大的在线社区 最高同时在线数1.5亿,网络媒体,流量最高的中国门户网站,网络游戏,国内第一互动娱乐游戏平台 QQ游戏最高同时在线账户数841万,网络社区,国内最大的互动社区 网站 月活跃帐户数5.52亿,无线业务,国内领先的无线门户 网站,注：所有数字的统计口径为2011年年底,业务众多且型态各异，网络服务要求不一是对网络架构的最大挑战！,开放平台,为什么云网络重要哩。,PM,VM,VM,PM,VM,VM,PM,VM,VM,PM,VM,VM,PM,VM,VM,ISP-N,用户沈佳宜,ISP-B,上进的开发者,腾讯强大的开放云平台 那么透明的腾讯云网络,快速给我我需要的资源,用户访问的我应用要顺畅,我可不想别人的问题影响我的应用，分开,我的应用访问不要出故障,。,支撑开放云平台的云网络要。,开放，是一种态度，更是一种能力,网络 浮云于此,支撑开放云平台的云网络要。,网络基础设施要健壮强劲 批量建设的IDC及网络资源 运营商级别的城域和广域网络 网络要适应多租户接入需求 整体网络解决方案 自定义云网络 用户网络覆盖质量要好 IDC资源布局 多运营商网络接入环境 运营商网络扩容的问题,安全,下得了厨房,上得了厅堂,先看看网络的简介,网络的基础知识,默默地支撑你的业务对话，我是谁，你看不见我，我是腾讯云网络,我的业务要被用户访问,我的代码运行 在哪里？,服务器又在哪里？,IDC又在哪里？,谁来保障的访问 安全,两台服务器之间要通信,谁来保障我的关键访问,。,。,网络的基础知识,网络的基本概念 将服务器群、存储等腾讯IDC资源连接起来的关键基础设施是网络，并通过运营商网络，将我们互联网用户与我们业务服务连接起来的，也是网络 网络的基本组成 接入交换机、核心交换机、防火墙、路由器 网络的类型 按照地域范围和功能不同分为IDC网络（数据中心网络）、城域网、广域网、公网、合作伙伴外联网络,接入层交换机,核心交换机,路由器,防火墙,服务器机架,仍有问题？腾讯微博！,网络平台构建与业务开发的节奏有差异,产品设计,产品开发,产品调研,产品发布,产品运营,产品消退,互联网产品,基础网络,免费海量互联网用户及时反馈,物理科学发展十年如一日,微创新、每年上+100款,商用产品每3-5年出一款,快速出模、敏捷迭代,运营成熟，可商业化要2年,持续运营、IDC消亡起码5年,灰度发布、及时回滚,伸缩有度、屈身弯腰,长尾持续、原地复活,开局失败、一年白忙乎,触一发动全身、整体联动,网络,业务,网络平台构建与业务共成长,2000年,2010年,100,000人同时在线,100,000,000人同时在线,支撑100台服务器,支撑100,000台服务器,支撑1、2个IDC机房,支撑+10个IDC*+10个IDC =1,000G的内部交互,提供1,000Mb为 主体的数据中心网络,提供10,000Mb为主体,提供几条Mb的窄带专线,提供数十条G/10Gb的通路,默认回首，十年革命之路，我们共同面对,网络平台构建从 ”先抗住” 到 ”海量蜕变”,今天的网络 数十人的运营支撑团队，数十人的专业设计构架团队 支撑超过20万台服务器，网络设备达上万台 业界领先的5K台规模计算集群数据中心网络v3.5 搭建百G总容量的广域网络，支撑全国和海外数十个大中型IDC ,网络架构,网络架构产品,网络平台构建基础设施整体解决方案,运营,建设,公共服务组件,机房环境,IDC资源,服务器和系统,IDC 网络,CBN,TIX,外联网络,全球网络,快速,灵活,公司业务战略 业务架构需求,安全,稳定,容纳,网络平台构建适应云计算与技术发展,从作坊式定制化的企业型网络 向海量计算集群网络 向智能自定义网络，前进！,从纯手工式故障发现排除 向全面监控智能化网络 到运营商级稳定网络，前进！,网络基础设施要健壮强劲,安全,IDC网络的昨天,V2.0-v3.0-v3.5 杂：网络专区过多，特色服务难以快速满足； 乱：网络稳定性欠缺，存在单播flooding； 弱：网络性能难以满足需求，过高超载比使得服务器获得的带宽较小； 慢：网络层次和设备多样，标准程度不高，难以满足快速建设需求；,批量建设的IDC及网络资源,网络性能和扩展性明显提高,通过自动化工具的研发以及工程试点显著提高网络部署效率,网络稳定性和高可用性显著提高,腾讯v3.5数据中心网络,从IDC走出去的网络，稳定性更重要,想象，一根光纤，可能使得你的界面与DB失去联系!,业务的兄弟们,IDC1,IDC2,IDC3,IDC4,IDC5,IDC6,IDC7,IDC8,IDC9,IDC10,IDC11,IDC12,IDC13,IDC14,IDC15,几万台服务器，分布在一个城市几十个IDC，上千种业务在100多条万兆互联链路上产生了约700G的跨IDC洪流,运营商级别的城域和广域网络,MAN：将同一城市内多个IDC互联起来组成的网络 标准化结构，构建承载力强，冗余性高的健壮城域网络 构建成上T级汇聚能力，百G级站点交互能力，自建大容量高可靠传输系统的城域网,运营商级别的城域和广域网络,广域网架构规整化及能力提升 - 高速铁路高速公路为业务全国分布做好准备,重点业务流量保障 - 差异化服务且资源效率高 - 高铁VIP上等座,广域网监控精细化 - 业务看得见、有意识、重协作 - 得管理好啊，不能有”信号故障”,DC,DC,DC,AC,AC,AC,AC,AC,AC,AC,AC,AC,AC,智能监控及服务,20W+服务器、2W+网络设备状态、性能、容量的实时采集与智能分析，1分钟存活状态监控，5分钟性能、容量监控 100+IDC、200+外网出口、500+内网专线，从IDC内部服务器到出口、专线FullMesh的5分钟粒度的全方位网络质量监控与度量体系,基础架构海量节点实时监控支持-腾讯自主开发TMP系统,城域核心,城域核心,城域核心,城域核心,IDC-1,IDC-2,IDC-3,IDC-4,IDC-5,IDC-6,IDC-7,IDC-8,IDC-9,智能监控及服务,每日400w条的海量信息处理，+80%故障处理解决率，覆盖公司全业务的基础架构日常运营工作 业务安全防控，流量全局调度，业务质量检测，演戏预案等系列前瞻性运营工作，为海量业务提供高质量、全纬度的运营服务,腾讯基础设施7*24的运营入口-NOC,7*24小时的主动监控 响应服务随叫随到,服务器和网络 资源随叫随到,健壮强劲的网络让您有时间享用咖啡,快乐的开发,环境用起来灵活安全 成长随叫随到,网络要适应多租户接入需求,下得了厨房,数据中心云网络要面向开放平台时,找地方 盖房子 (IDC机房建设),精装修 (机架和服务器入驻),联排别墅要隔离 (安全隔离),通上水和电 (基本的网络通信),一栋别墅不够住 (计算和网络资源扩容),有饮用水和中水 (网络服务质量的区分),通上公路和曲径接受客访 (与互联网接通),打造温馨小区，作为“白心”开发商我们咋整?,您还要BMW？！,数据中心云网络要面向开放平台时,提供云平台支撑 高效IP地址利用 提供虚机隔离,资源灵活性,虚拟化支持,计算资源任意迁移 计算资源与物理机位无关,承载合作业务 承载自营业务 主机托管业务安全隔离及访问控制,多业务承载,数据中心云网络面向开放平台,适应自营业务和开放平台业务的多种多样需求 高带宽/无阻塞通信、组播、Qos保障 云计算数据中心的安全服务 网络安全防护手段（VRF、VLAN ACL、PVLAN、基于标记的安全防护等）与硬件抽象层软防火墙/DFW与相结合为虚拟化环境提供所需的安全防护 整合网络资源，统一调度快速交付 云控制平台/Matrix实现30分钟交付虚拟机，通过自动化工具/例如云计算网络控制中心与Matrix对接，实现业务感知的网络资源调度，VM迁移时，相关的网络信息、网络安全策略、Qos策略统一调度,2010年,2011年,设计研发 概念验证 选型测试 试点磨合 批量规范 。,V3.5网络 支持全年30多个网络模块建设 。,性能：支持单台服务器500Mbps或1Gbps无阻塞通信,数据中心云网络面向开放平台,性能：支持约5千台服务器/2万台虚拟机一个网络模块,多样性：部分支持万兆服务器接入,多样性：支持特殊流量Qos保障通信及组播通信,多样性：支持合作伙伴VPC接入,安全：分布式防火墙及网络策略结合支持租户隔离,数据中心 即插即用云网络,数据中心云网络面向开放平台-自定义云网络,腾讯与业界的前沿性研究-SDN,腾讯云网络智能控制集群,10万台服务器规模的云计算计算集群,关键流量保障策略,。,安全控制策略,腾讯云计算控制集群,向开发同学学习，让搞网络像写代码样灵活,SDN-自定义云网络 实现网络灵活平滑扩展 快速特性定制,全国网络支持开放平台,多业务承载网,西北地区IDC,西南地区 IDC,华北地区 IDC,华东地区IDC,接入,接入,核心,核心,接入,接入,接入,核心,核心,Internet,IDC,城域,广域,城域,IDC,华南地区IDC,Internet,接入,MPLS/VPN,稳定高效的承载网络 安全可靠的业务交互,用户网络覆盖质量要好,上得了厅堂,腾讯IDC和网络资源布局,4个 资源片区 3个 DC城市 约10余个 AC城市 约合20万 服务器 约合1000G IDC带宽 约合1400G CDN带宽,近似相当于12个大中型城市的城域网出口总带宽量,用户体验是腾讯业务和基础设施的首要关注点,业务”内容”就在这里，用户”眼球”在哪里？ 运营商网络质量与我们有着千丝万缕的联系,运营商网络故障对腾讯的影响占比连年超过70%,运营商网络各个层级的故障都对我们的用户体验有影响,看清、对齐、布局,用户体验是腾讯业务和基础设施的首要关注点,哥一咳嗽 我就傻眼,如果每个用户访问100kbps 至少得掉几百万用户啊,ProbeAgent,IDCSpeedAgent,Internet,DC/AC网络机房,User,用户访问服务的网络质量取决于：,用户-IDC外网质量 ， IDC内部网络质量 ，IDC间网络质量,DC/AC网络机房,ProbeAgent,IDCSpeedAgent,联 动,联 动,看清 - 点、线、面的网络质量监控,对齐 - 提前与运营商接口规划信息,运营商省网/城域网、骨干网等都是用户体验的关键环节 与运营商省/城公司、集团骨干公司提前对齐规划信息,对齐 - 提前与运营商接口规划信息,天津电信，2011年12月改善前 至1213个省份的时延在140ms以上,天津电信，2011年12月改善后 至45个省份的时延在140ms以上,商务,技术,布局 - 如何优化*特色下的用户体验,主力运营商间的互联互通，长期保持质量较差，恐怕内容至少复制两份不可避免 中小运营商那里的用户咋办 尤其是移动互联网大发展的时候,长宽、天威、 中国移动、教育网 ,中国 电信,中国 联通,200300G,利用率100% 时延100ms,内容,内容,客户,客户,布局 - 多运营商网络接入环境,IDC和网络资源上尽可能多地提供多运营商接入环境 1. 处理复杂的商务环境 2. 关键技术 域名引导 BGP、地址转换、IPSLA等网络对接技术 Netflow、Span等网络分析 负载均衡、流量调度技术 Anti-DDoS等安全防护,ISP-CT,Region/Zone,IDC-A,Module,IDC-C,ISP-CU,Module,ISP-xx,IDC-B,多运营商出口汇聚 流量调度和优化 流量负载均衡 流量分析,布局 - 多运营商网络接入环境,SGSN,BSC,GGSN,GPRS/3G,移动IP骨干网 (CMNET),中国电信IP骨干网 (ChinaNet),布局 - “被动接受”型资源布局思路,某友商某业务,IDC,IDC,IDC,我方某业务某点,我方某业务某点,我方某业务某点,某友商某业务,某友商某业务,业界的IDC供给速度不足，业务布局时首先考虑是哪里有IDC 业务部署碎片多，交互效率低下 对用户覆盖质量不全佳，需事后推动改善,布局 - 以用户体验出发考虑的IDC和网络资源布局,产业链的驱动力,“用户体验为首位”的资源布局思路,具有长期性、全局性 业务布局时首先看哪里对用户覆盖质量好 对用户覆盖质量好，且稳定 作为我们大规模IDC的选址指引,布局 - 以用户体验出发考虑的IDC和网络资源布局,适合国情、适合业务的模型首先正确把握业务特征,以上为示例，并将根据业务实际需求进行优化,布局 - 以用户体验出发考虑的IDC和网络资源布局,适合国情、适合业务的模型 其次有能力建立长期质量监控基线 再次有能力推动运营商或自行改善网络质量,布局 - 以用户体验出发考虑的IDC和网络资源布局,II型业务资源布局 示例 通过深圳+天津两个点，满足全国90%电信用户覆盖,III型业务资源布局 示例 通过上海一个点，满足全国90%联通用户覆盖,80MS110MS,110MS140MS,适用、稳定、不浪费,用户体验是腾讯业务和基础设施的首要关注点,对用户覆盖质量符合业务特征 用户体验优良且稳定 业务资源和IDC资源不浪费,立体的网络监控体系,提前规划+主动推动,全新的IDC布局思路,网络解决方案,Key Takeaways,腾讯网络架构提供高效稳定、安全可靠的通信 IDC网络架构、城域及广域网络、出口网络、对外互联网络等采用运营商级别的设备和技术 网络架构为开放云平台提供虚拟化支持、合作伙伴安全隔离等定制化特性，在与业界共同探讨更加前言的解决方案，如SDN 腾讯网络和基础设施具备海量运营的思路和能力 快速的IDC和网络资源建设供给能力 支撑海量运营的监控系统及NOC窗口 腾讯网络架构作为基础设施整体解决方案的一部分将更加给力 深入理解业务需求，结合网络、平台系统提供综合整体解决方案 腾讯网络架构的优化，获公司级2011年重大技术突破奖,说给大家,Key Takeaways,我们在与业界共同努力，积极探索适应互联网行业新的解决方案,定制化的网络特性 基于胖树的网络结构 自研路由协议-Sequoia Routing Procotol,适应更大规模的数据中心网络,自定义网络/SDN,说给大家,Key Takeaways,业务布局与网络架构要沟通配合 业务的部署要考虑网络特点，否则需要练就乾坤大挪移 互联网业务的特点显著，需要网络特别关注，例如map/reduce 网络架构的步伐和规划要适当大于业务短期需求 因为网络本身庞大而包袱重 要为可能的海量爆发提前做好准备 网络要简单而优雅，掌握“架构之美”的度 Less is more， Simple is beauty 不要追求技术极致，要考虑运维能力,说给网络同仁,Key Takeaways,我知道了网络到底是干吗用的 可靠而高质量地实现，负责业务对话、负责连接”眼球” 在腾讯云平台上的网络灵活自如 数据中心网络和承载网络，架构灵活支持伙伴接入和拓展 腾讯云网络海量支撑能力为我保驾护航 运营商级别的网络，优质的运营支撑,了解了,熟悉了,爱上了,希望网络架构之美，真的让您心里美了,说给业务开发,谢 谢！,