六合宝典,管家婆论坛,www.44738.com,987222香港马会

优酷网视频存储架构

  • 时间:2019-08-22 15:18  来源:未知   作者:admin   点击:

  优酷网视频存储架构 优酷网视频存储架构 2010-12-29 16:05 视频分享网站总会面对这样两个 问题:视频资源能否吸引网民以及视频浏览是否顺畅?中国互联网协会互联网数 据中心发布的《2008 上半年视频网站数据》显示,2008 年上半年,优酷网月度 总访问时长突破 1.1 亿小时,通过与全行业的浏览时长比对,优酷网占据的时 长份额已超过 50%。Gomez 中国网站用户体验排行榜显示,2008 年 7 月 1 日到 2008 年 7 月 31 日,优酷网的平均响应时间是 2.78 秒。 1.1 亿小时与 2.78 秒,正是这两个长短对比鲜明的数据,充分体现出优酷 网快者为王的经营理念。近日,记者独家采访了优酷网 CTO 姚键,试图从技 术方面揭密优酷网的快字诀。 一切为了性能 2007 年,优酷网的用户访问量提升了 25 倍。姚键说起这个增长仍显激 动,硬件设备同样有相应的增加。据记者了解,目前优酷网有近千万个视频 资源,以每段视频 20MB 来计算,大约占据 200TB 的存储空间。优酷网采用服务 器直连式存储(DAS)架构,即一台服务器只连接一台存储阵列。姚键透露,优酷 网目前有数千台服务器。 优酷网的服务器主要来自戴尔,还有一部分来自惠普。优酷网引进的戴尔 服务器主要以 PowerEdge 1950 与 PowerEdge 860 为主,存储阵列以戴尔 MD1000 为主。如上图所示,优酷网将 PowerEdge 1950 作为 Web 服务器和流媒 体服务器,分别服务于页面系统与视频系统。另外,还有一些服务器作为转码 服务器,将用户上传的视频进行解码和再编码,最后做成统一的 FLV 格式。在 存储层面,优酷网主要利用戴尔 MD1000+PowerEdge 860 的组合,香港挂牌正版彩图。两者以 DAS 的 方式相连,作为一个存储单元。 在回答记者提出的为何没使用网络存储,如 SAN 等架构时,姚键表示:用 户访问量持续成倍增长,对系统的性能、成本和可扩展性都造成了很大压力。 采用 DAS 存储可以更好地满足对性能的需要。如果采用 SAN 存储,不仅成本增 加会十分明显,而且在系统变得日益庞大时,性能也会出现瓶颈。 为了提高用户的访问速度,我们想了很多办法。姚键表示,我们甚至都 不用 RAID。不采用 RAID 技术,可以节省很大的存储空间,同时减少成本,香港财神玄机网。而 且能够提供更好的 I/O 性能。据悉,目前优酷网的存储系统利用率都在 90%以 上。不用 RAID 是否会给视频数据的安全带来不良后果?姚键表示:由于优酷网 采用了自建的内容分发网络(CDN)技术,所有视频在不同的城市都有副本,所以 不用担心数据的安全性。即使某地的一段视频发生了损坏,用户也可由实时的 调度系统引导至其他 CDN 站点进行视频浏览。在优酷网的内容分发网络中,局 部失效不影响整体访问,实际上比存储网络的安全性更高。 更大范围内的分级存储 自建的调度系统是优酷网实现快速访问体验的核心。优酷网将所有的服务 器和存储设备分布在全国 20 多个 CDN 站点中,方便当地用户就近访问,以获得 更快的视频体验。 不像其他应用可提前计划,互联网访问具有很大的不可预知性,很难预测 什么视频在哪段时间的访问会突然增加。因此,实时有效的调度系统就显得非 常关键。在网民访问优酷网的视频时,调度系统会根据该视频原本发布所在的 位置、用户 IP 地址等信息安排网民就近访问,并会参考该站点的设备是否出现 损坏、该地区是否是访问热点等因素,以便使用户的浏览速度达到最快。正是 有了高效的调度系统,优酷网才可以将 90%以上的带宽都提供给用户,而其他 CDN 系统提供给用户的带宽通常只有 70%~80%。 优酷网所有的视频在一周之内会被用户访问一遍。姚键说,因此,优酷 网的数据区分在线、离线的意义不大,更不用像其他行业那样要把部分历史数 据进行归档处理。事实上,优酷网对视频信息也会区别对待,只是区分的标准 在于访问热度。访问频率高的视频会根据访问用户地址在各 CDN 站点间重新分 布,并且会存放在 SAS 硬盘上,而冷门视频则会存放在速率稍慢的 SATA 硬盘上。 用户连线 优酷网 CTO 姚键 技术是互联网的生命。由于设备急速增加,我们非常在意系统的成本、性 能与可扩展性。我们没有使用最先进、最贵的系统,就像 Google 使用自己的文 件系统一样,不在乎贵不贵,而在乎是否合理运用。每台服务器或存储系统配 多少块硬盘,文件块的大小为多少,我们都会做详细测试,以实现更佳的性能 配置。 快速崛起的视频网站 根据知名调研机构 AC 尼尔森公司的数据:优酷网日视频播放量(VV)在 2007 年 12 月就突破 1 亿,每日独立访问用户数量(UV)超过 1200 万。最新的数 据是优酷网的 VV 已经达到 1.5 亿,UV 超过 2500 万。在一定的周期内,硬件 平台的性能必将会发挥到极限,但此时用户的需求仍持续性地高速增长,这就 需要最新技术和最新产品要跟得上甚至超过我们的步伐。我们每年都会经历几 次向硬件要性能的阶段。优酷网采购经理赵辉先表示。 我们重视新技术,例如对 SSD(固态硬盘)就很渴望。我们非常看重 SSD 的 I/O 能力,其随即读写速度非常高,这是现有所有硬盘都达不到的。我们渴望 这种新的硬盘能迅速应用到新的服务器中。赵辉说。 目前优酷网采用的是基于 Flash 的视频点播技术,这与 P2P 直播/点播有所 不同,前者所有流量都来自服务器。因此优酷网相比其他网站,更需要大量存 储和流媒体服务器。 基于此,优酷网对硬件设备供应商的要求主要有以下几点: 第一,供货期短。硬件设备的供货是否及时,对发展迅猛的互联网企业而 言生死攸关。用赵辉先生的话说,我们要求供应商能迅速供货,而不是坐等。 在互联网行业,等待往往就意味着死亡。供货期尽可能地短,成为其选择供货 商的首要因素。 第二,产品线完备。一方面,互联网行业是对新技术有着强烈需要的行业, 渴望最新的技术能