1. 项目背景
随着Internet的迅速普及,上网人数有了突飞猛进的增长。与此同时,人们对于Internet上的信息要求也越来越高。渐渐不能满足于简单的文字界面和枯燥的MIDI音乐,而 渴望能够听到看到更加亲切的声音和图像。于是网络流媒体技术随着网络的发展而诞生了,并且融入了电视技术,而成为迅速兴起的一门高科技综合性技术。它利用了网络和视频技术的优势,彻底改变了过去收看节目的被动方式,实现了节目的按需收看和任意播放,集动态影视图像、静态图片、声音、文字等信息为一体,为用户提供实时、交互、按需点播服务的系统,网络流媒体和实时在网上直播重大事件会成为一个全新的领域和充满生机的市场。
因特网(Internet)作为一种新的媒体和信息传播方式,目前已逐步深入到全世界的每一个角落,同广播电视、报纸、杂志等传统媒体一样,Internet正逐步成为信息的重要来源之一。因特网的兴起和发展对广播电视事业来说是极大的挑战,但同时也给广播电视事业带来了极大的发展机遇,利用因特网的传播技术优势和灵活的传播理念来实现广播电视与因特网的强势联合、优势互补,从而占领现代传播技术的制高点和宣传主动权,是因特网时代广播电视参与网络并赢得发展机遇的关键,也是广播电视在因特网时代发展的必由之路。
随着宽带技术的普遍应用、解压缩技术的不断提高,网上的视频播放已成为可能。近年来,自动根据网络的速度传输相应图像的流媒体技术的普及应用,使VOD视频播放时通时断的问题得以根除,给互联网提供了视频节目播放的条件,使办一个真正意义上的网上电视台已成为可能。
广东网通拥有丰富的带宽资源,以广州IDC中心为核心,提供2.5G的出口带宽,同时在深圳、东莞、佛山三地还有分中心,网络用户资源辐射广东全省。为进一步发展用户资源,并同时让现有客户享受多元化的信息服务,计划引进大型流媒体VOD系统,为现有的5万在线用户提供宽带视频信息娱乐服务,网通的用户只要通过普通的PC终端,通过普通的ADSL上网,就可以点播收看到清晰流畅的动态电影图像。
2. 解决方案系统设计-网通实际应用情况分析:
在广东网通应用IP VOD系统,以目前网通的在线5万用户来考虑,按照常规20%的点击率计算,目前的并发点播数将高达10000个。另外,未来随着用户的增加,整个VOD系统也必须进行扩展。因此电信级VOD系统必须具有很好的扩展性。为了解决IP VOD系统不断发展带来对该系统的更高要求,建议采用模块化-分布式系统,系统设计思路是管理集中,存储分布,负载均衡分布,为将来系统发展作好平滑扩展、资源最大共享的准备。这样,系统就可以更好的适应点播用户群的增加,合理利用网络带宽,为系统经济效益、系统将来扩容、网络服务质量保证等各方面带来非常大的好处。
系统设计的基本思想:在广州中心区只放置WWW服务器、认证服务器、计费服务器、数据库服务器、管理服务器、管理工作站及部分流媒体服务器,由中心进行统一管理、统一计费,以统一的门户向全区用户提供服务,用户在中心统一认证,而其他的流媒体服务器分布放置在周边深圳、东莞、佛山,形成VOD服务器系统的级联。
在中心地区的流媒体服务器性能最好,采用宝德高端四路至强服务器PT4800R,双机集群实现媒体资源中心的服务;周边地区的流媒体服务器的推荐性价比优良的新至强(扩展64位)塔式PT6510实现,并随着根据本地范围用户数的增加以后再进行增加。
各地的流媒体服务器也都可以向整个中心地区及其他周边地区的用户服务,各地服务器之间进行负载平衡,实现节目动态分布、自动分发以解决高并发流的要求。
3. 系统工作原理:
3.1 服务器分布放置,解除网络主干可能带来的瓶颈
如果采用把视频服务器集中放置在中心,所有用户的点播流都是从中心出来,那么,无论中心的服务器群有多么好的负载平衡方式,只能平衡服务器本身资源占用,但从中心向外提供服务的主干网络带宽是有限的,当达到一定用户同时点播(如10000),则中心网络主干带宽成为整个系统的瓶颈。而在系统设计中,如果不采用把服务器集中放置在中心进行集中点播服务,而是把视频服务器分布均衡地放置在各地,这样,全地区用户的点播将分布到各地,网络的负载是分布到不同地区的电信主干上,再使用一下按照通信量进行分配的负载平衡方式,不会在任何地区的电信主干形成瓶颈。
3.2 存储方式:
除中心地区存储所有的片源之外,系统内其他视频服务器在结构和作用上不分主次,都是平等的,每台视频服务器的节目存储方式建议为:把存储空间分为两部分,一部分为90%(该值可设定),作为固定节目存储;另外10%作为节目动态分布用。系统中各服务器的固定节目存储空间(90%)中存储的节目是由中心管理员上载发布的,且每台服务器中的节目都互不相同;而动态分布空间中的节目是必要时(由负载平衡方式决定)才从其他服务器自动分布过来,这部分空间中的节目可能有相同的,当这部分空间没有了,系统将自动删除该空间中点播次数最少的节目并继续重复缓冲其他服务分布来的节目。这样做有两大必要性和优点:
A, 资源利用率最大:因为所有服务器中的固定节目存储空间(90%)的节目都不同,没有专门的缓冲服务器或边缘服务器来做完全分布或备份,每台服务器的储存资源利用率都很高(90%)。
B, 只有把整个储存空间划分为两部分,才能真正保证有效存储空间永远保持高的利用率。我们建议,每台服务器把负载平衡所用的空间固定,当该空间(如100GB)满了,则系统自动统计哪部分影片被点播的次数最少并删除,留出空间以便以后缓冲节目,这样就可以保证缓冲节目所使用的储存空间在限制范围内,而不是无限制性的使用,从而保证固定节目储存空间不受影响而保持高的利用率。如果不固定用做缓冲的空间,那么随着缓冲的节目增多,各服务器可用空间就逐渐减少,而且因缓冲的节目可能会缓冲到多台(甚至每台),当过一段时间后,可能出现所有服务器的储存空间中都是缓冲的节目,而且可能80%的节目都相同,这样就会使服务器的存储资源造成极大浪费;同时,这给对服务器资源的监控管理带来不便。
3.3 用户请求服务方式
本系统建议设计为由中心(如中心地区电信公司)对整个系统进行统一管理、统一建设并提供统一的门户和界面为用户服务,所有的用户认证、计费、节目管理等都由中心集中管理。用户点播时首先进入中心的WWW服务器,然后认证登录,用户就可以点播了。点播时,用户请求播放影片的信息(影片名称、该影片所在服务器、影片路径等)将发送给中心的www管理服务器,服务器收到后将分析该信息,并决定把该信息发送到节目所在的视频服务器,该视频服务器根据这些信息直接发送数据给用户,用户端播放器开始播放,在播放过程中用户端只和该视频服务器通信,不再通过中心的服务器了。由于每台服务器中存储的节目是不相同的,所以对刚上载分发的一个节目,它只存在于某一台服务器中,在达到负载平衡条件(以通信量计算)之前,所有用户对该影片的点播,都由这一台服务器进行服务。当该影片点播率达到一定或该服务器上并发用户超过设定值后,则将进行负载平衡及片源动态分布。
3.4 负载平衡方式及原理
在本系统中,假设将来在深圳、东莞、佛山三个城市按照上述方式平衡分布了SA、SB、SC三套视频服务器,这三个城市中的三套服务器通过电信主干网络互联互通。则该系统使用以下两种方式进行负载平衡:
A, 节目自动动态分布到离用户最近的服务器中:由于系统中,根据上述节目分发方式,每台服务器上的节目分布是互相不同的,即某部影片在最初只存在于某台服务器上,我们假定为在SA服务器上。开始时,深圳、东莞、佛山三城市的所有用户点播该影片时,都直接由深圳的SA服务器直接向所有用户提供点播服务,服务器会自动计算该影片被不同城市用户点播的次数。在一定时间段中当某个城市如东莞市的用户点播该影片的次数达到一定数量(该数字可设定)后,则服务器负载平衡软件将把该节目自动传送复制(分布)到东莞的SB服务器上,则东莞市的用户再点播该影片时,则不再由深圳市的SA服务器为他们服务,而是直接由SB服务器为东莞市用户服务,(佛山市的用户的点播仍然由SA服务器提供服务)。同样,当佛山市用户点播次数达到该设定值,该影片也将自动分布到佛山市的SC服务器上,佛山市的用户点播就直接由SC服务器提供服务了。这样将带来两个好处:
--负载平衡:当节目自动分布后,把所有对该影片的集中点播变为由多台服务器为不同用户群提供服务,把集中的负载分布到多台服务器处理,达到负载平衡的目的;
--响应速度更快:当某台服务器上并发流越高,则对用户的点播响应越慢,而经过节目自动分布后,用户的请求就总是由最靠近用户的服务器进行响应,这样就能以最快的为用户服务。
B, 节目自动分布到负荷最小的服务器中:在VOD用户大规模发展,并发流日益增多的情况下,视频VOD服务器集群在并发流点播最高峰依然能够通过调度软件(负载均衡计算)保证其视频点播的工作效率。
当某台服务器如SA服务器上所有的点播并发数达到临界数(比如并发流为800,当并发流达到700时)时,则服务器负载平衡程序将计算同一时刻点播率最高的部分影片(如5部),并判断整个系统内哪台服务器中并发用户最少,然后自动把这5部影片分布到该负载最小的服务器(如SC),当有新的用户点播这5部影片时,则不再由SA提供服务,而是由SC提供点播服务。
在以上两种平衡中,所有的从其他服务器平衡时所分布的节目,都存放于上述的固定缓冲区内,当该缓冲区没有空间了,则服务器程序将计算该服务器缓冲区内哪些(如5部)影片点播次数最少,并删除这些影片以便进行将来的缓冲。
4. 系统选型和配置: 〔略〕5.整体方案系统优势:
1, 系统支持服务器级联,以本地区为中心,建立影视频道门户,如广东联通的统一门户向用户开放,全地区所有视频服务器节目共享、资源共享。
2, 系统支持“集中点播,分布播放”的功能,用户登录后系统可以选择就近的服务器的节目向用户播放;
3, 系统具有动态统计和片源动态分布功能,根据用户点播的统计将各地市点播率高的片源动态传送到当地的服务器;
4, 应用灵活:整个系统可以方便的组网,即可以只使用一台服务器提供服务,也可以多台服务器在系统中同时使用,并且使多台服务器自动负载平衡;在本系统中,广州中心区,把WEB服务器、流媒体服务器、管理服务器等合为一体,采用集群服务共享盘柜方式,也可以把各类应用分开,以使安全性更好,性能更高。
实践证明, 在按照宝德提供的产品和方案规划后,网通的三地资源实现了灵活的调用,不仅整个系统负载能力强,实现硬件资源的最大化,在线用户数目增加,使用效果更好,而且各种应用规划明确,为网通提供给在线用户的服务带来了新的提升,极大了促进了网通在线业务的发展。