大数据的技术趋势与应用前景

国家自然科学基金委员会副主任、 中国工程院院士高文教授,在第二届中国OTT TV峰会上,以《大数据的技术趋势与应用前景》为题作主题演讲。高院士从宽带中国战略和信息消费的政策层面,提出OTT TV发展正面临一个重要的发展机遇。而基于显著性计算实现精准广告,基于大数据平台智能搜索实现付费收看,是两个可能的盈利模式。同时,OTT TV也对大数据和编解码技术提出了新的技术挑战。

如下是国家自然科学基金委员会副主任、 中国工程院院士高文先生,题为《大数据的技术趋势与应用前景》的演讲全文:

讲到大数据趋势。我想从两个方面来说一说,不敢太跳出我本行说问题。所以会在进本题的时候,里面装一点东西。我讲两个问题。

第一个,是关于现实形势下,今天研讨会主题的OTT TV,到底有什么样机遇;

第二个,讲讲OTT TV在新形势下,信息消费所遇到的技术挑战,里面会涉及到大数据。

新的形势大家都知道,8月1日和8月8日国务院连发两个文,第一个是关于宽带中国。对于刚才张总谈到支持付费业务带宽是先决条件,在中国把带宽问题解决。8月8日这个文,扩大信息消费这个文件就提到这个问题。

8月1宽带中国战略发布。大家如果关心的话已经知道这些数据(PPT),按照国务院部署从2013年到2015年,到2020年我们国家宽带接入带宽用户数以及贷款宽度会急剧的发展增长,实际上从一个侧面国家在拉动我们新的经济增长方面,实际上在信息领域是一个纵轴戏,信息领域通过宽带中国建设把基础设施,把以前主要放在铁路、公路、机场这种设施一定基础设施,未来发展和信息有关的问题向这方面转移。

8月8日这个文实际上就是说要提升信息消费,希望通过信息消费来拉动内需。如果说8月1日那个文是政府主导性对经济推动做法,8月8日实际上是拉动、扩大内需。什么是信息消费?顾名思义信息消费只要信息方面花钱就是信息消费,信息消费有比较严格定义。大家上网一搜百度百科里面分析消费有一段定义,认为是一种直接或间接以信息产品和信息服务为消费对象的消费活动。实际上是有一套经济学理论的,经济学理论里面有四个过程,叫做信息需求过程、信息战略过程、信息主体过程和信息载重。四个过程里面都是产生经济活动,经济活动涵盖信息消费全过程。

维基百科把信息消费敲进去,目前词条没有建立,有兴趣可以建立这个词条。有一个MBA管理方面有智库百科信息消费管理学角度给出比较准确定义。信息消费这件事,实际上是整个从需求到底是什么?要想占有你要付费。你要处理也需要有处理的基础设施和处理的费用,你要去看或者再生出来也是需要产生消费行为的,所以这个东西实际上整体叫做信息消费。刚才我也说了,我们看国务院8月1日、8月8日这两个文,基础设施建设宽带中国,另外信息消费实际上是拉动内需这样一个动作。

这两个文,实际上给我们今天做OTT TV实际上是产生非常好的推动作用。OTT我想大家都是这个领域热心者或者专家,OTT TV并不简单把机顶盒加TV一个升级,因为OTT Open The Top做机顶盒可以使用。Open The Top比OTT TV更宏观一点,Open很讲究,STV和运营商绑定的,有运营有STV,没有运营商这个没有用。OTT并不和运营商绑定,实际上是开放东西,开放东西这里面很多理念上开放一点认识。一般OTT TV一般解释程一体机,把以前机顶盒塞到计算机里面,通过互联网接入直接就可以去进行节目的访问等等,这里面有三个比较重要的概念。

一个概念作为计算机厂商,实际上应该在互联网领域查找切入点。

第二对运营商门户是切入点

以前多个运营商在现在变成一个,也是运营商是互联网运营商提供是门户。还有一个很重要是平台,大家知道一个平台,实际上OTT其实对平台很好机会,对今天来讲我想工业非常大。一方面就是说本身广电业务发展这些年滞后很多,我们说20年前基本中国电信和广电市场年销售额差不太多,多少有点差别,但是不是成几倍差别。你要看今天,2012年三大运营商三大电信运营商年销售是一万一千亿。但是整个全部有线网络运营商整个收入才660亿,这个相差百分之十几倍,这些年整个业务发展不平衡导致这样结果。

这个现象不可能长期存在下去,有两个可能性。一个可能性今后电信运营商业务可能有一部分被广电运营商给分流的,电信运营商不是一万一千亿,可能是一万九千亿留向广电运营商里面。还有一个电信运营商总体销售额略有增加,增加不太快,广电快速增加。过去从660亿增加到四五千亿不是太大问题,关键怎么做的问题。我想这里面可能有很多机会,机会一方面国家要有政策倾斜,前些年国家有政策保护但不是倾斜。今后可能会有一些政策倾斜。当然前些年国家在三网融合方面一直是倾斜,但是这个东西市场上没有见到好处,这次信息消费希望这方面能够有所起色这是讲第一个问题。

第二个问题就是关于技术挑战问题

在新形势下,OTT技术挑战很多,有软件方面挑战OTT用什么操作系统、开发系统各种各样软件挑战。也有硬件挑战不管是一体机还是盒子、CPU用盒子硬件挑战,苹果用平台方向推动看起来不是很成功,小米大概也是这种做法这种套路,别人能想出其它一些平台思路,有一个东西肯定可行。谁足够聪明给出一些比如说能够和节目的提供者非常友好这样一些环境,使得这些节目提供者愿意在你平台上面创造节目,可能成功机会比较大。

我今天想说的是两个技术挑战

一个大数据挑战

一个编码工具挑战

大数据挑战

说到今天发言题上,实际上现在大数据目前还是还时兴,我今年年初去基金委工作。第一件事就是接待专家,很多专家说大数据很热,基金委多立一点大数据项目多放一点钱做研究,后来想听一听。结果至少有四个不同的人谈大数据问题,搞数据库谈大数据,搞控制人来谈大数据,现在很多控制领域很多数据,很多控制方案都是模型来模型去很少从数据来,可以通过大数据对于控制可能会有一些比较好的切入点。搞管理就说,现在金融等等领域数据量非常大非常多,这里很多东西有规律,通过数据算法把规律找到,指导解决运行指导管理,搞数学人来,搞数据人说大数据是数学问题,怎么样把里面最核心东西提炼出来,需要新的数学工具、方法。实际上大数据各个方面都有这个方面问题。

笼统来说大数据是三个v,第一个就是量 Volume,大数据就是量比较大。第二个V Velocity速度非常快,第三个多样Veriety,数据形形色色多样性非常快,大数据里面有一个HACE理论,大家看一二三四。大数据理论上做比较完整反映特点一套数学工具。从处理流程来说数据产生,产生完以后对产生数据存储,进行处理挖掘里面规律性东西。然后把它进行应用指导是这样大的循这样一个过程。

大数据到底对我们现在OTT TV带来什么?其实可以带来很多东西。

第一个精准广告,这是大数据最擅长东西。大数据里面最典型应用,一个超市在卖婴儿那种尿布地方,发现了统计起来发现一般买尿布人同时买啤酒,不知道为什么很奇怪,后来想想有道理。在美国丈夫下班以后,不像我们都请月嫂,美国人养孩子都是夫妻两个人事,丈夫白天上班,一般上班下班时候妻子就会告诉他,去商店给我买包尿布,买尿布想晚上回去晚上喝点啤酒,就一起买就一起付费,商业者很聪明,把尿布和啤酒紧挨着放,这样 就一起销售,实际上在我们OTT TV精准广告靠数据挖掘。

还有付费收看,付费节目也要进行大数据,如果不进行这个东西笼统说我收多少钱发展多少用户,做起来蛮辛苦,还有其它电子商务、电子政物。

我集中讲精准广告,精准广告推送一部广告怎么推,这里很讲究。推出广告首先要知道推给谁,这个人如果是男的看电视不能推一些妇女用品广告白推,不能推小孩的。就是说你要知道他是哪个年龄人,喜好是什么?这个是可以靠数据挖掘,经常上网就会有你经常访问哪些网页,根据这个东西马上就归纳出来你大概是年龄段你的喜好是什么?推送时候一定推送你喜好的东西,所以首先就说推什么靠大数据已经很成熟一个技术。

第二个要点就是说往哪里推?这个事情很有讲究。一个广告推出来推一个画面上可以像现在电视一样,把整个画面屏蔽住,放广告看不了节目,几十秒钟甚至是一分钟,七十秒钟全是广告有时候大家很累。在视听推广告不能用那个方式,在画面上推,画面上推往哪里推,万一推的位置不好看不见就白推,推太好把最主要位置占据用户开始烦你。一开始打计算机网页弄一个广告把最主要地方占住就很讨厌,千方百计把广告关掉。有没有办法让他注意到不烦这就是推广告艺术,关键是说这里有一套技术去做。最主要技术叫视觉显著性计算,视觉显著性计算最主要想法是什么?就是说我一个视频画面里头我知道人第一注意点是什么?第二注意点是什么?可能我这个广告要放在第三注意点。原来没有第三注意点只有两个注意点,广告产生一个注意点放在这里头。

人们看的时候第一注意点、第二注意点看,第三注意点余光可以看到,这是最明显这就是视觉显著性。我们人看东西不是漫不经心随便看,一眼扫过去,什么东西重点什么东西非重点一下抓住,这点可以用模型在线,我们有一项向上的视觉显著模型。当然还有跟它对应有一套自底向下显著计算。

这是一个案例给你一段视频通过刚才两个来酸,在图象里面就说,大家可以看到这几个点我算出来所谓视觉,人最主要的东西,像前面这地方有一个圈,这个视频不管怎么画人眼睛看这两个,其他看不不多。在马路上人一眼看到这个车等等类似。通过这个视觉显著性看是什么东西可以分析出来,是什么样的画面。有了这样一些东西可以算出很多,任何给你一段视频我可以算出来,等等就可以算出来,很多的显著性。

这有一个车,其实真正人看的东西是在车门右边这个东西上面等等,这有一个演员干什么,这是比较显著的。这是更多的一些例子,就说这有一个人戴着眼镜看,真正关注是他耳朵上方左上方人比较关注,有三个骑马人,对这个两边人和右边马关注更高一点,花同时可以关注到。

经过这样一些东西以后我们知道一个画里面有几个显著点,推广告时候躲开这几个。保证两个显著点第三个推出广告,我视听显著点周边地方就把广告推出去。这是一个简单嵌入式广告,这是一个电视剧人身上带很多东西,把这个东西广告推出来,只要眼往那里一看,可以把你看的东西马上放在这儿,这东西叫什么哪里有卖多少钱就出来。有一些追星族,年轻人搞时髦容易发生这种消费行为等等。现在付费收看大部分都是给定一些现有节目去做,现在电视台或者电影院正在放的东西去做,实际上有了付费这块儿,把以前很多东西不太火的节目重新变回有可能。

刚才像我前面说的如果能够很好把平台利用起来,实际上在这个平台上各种各样受众面不需要三千万人同时看这个东西,可能付费有两万个用户可以维持收回你投入成本,很多中小节目上可以采用各种各样内容,使得这种付费更丰富一些。

现在就是说大数据多屏体验,除了大数据多屏体验,现在非常关键一个技术,多屏体验有四月三屏有时候四屏,多屏体验有很多技术问题,现在大家想到视频流同步有同步技术,有几个问题没有解决很好,一个是屏幕比例,手机屏幕比例,计算机屏幕比例,比例不一样。另外尺寸,手机大小屏幕和高清电视65寸电视屏幕尺寸不一样,东西大小不一样。65寸电视上看一个足球,同样在手机上看足球,变成很下颗粒,看起来很费劲。另外还有帧的精准,在计算机这个东西不严格,这个东西怎么去把它就是说能够影射过来,还有计算复杂度,特别智能手机耗电很厉害,过于复杂手机电视就被消耗掉,这里很多技术问题要去解决。

还有很重要技术问题就是编码工具,编码工具在这里大家知道目前用比较多在我们OTT TV上面H.264比较多,跟谷歌有关用VP8我们希望有些同OTT TV角度编码工具,说到编码工具话比较长,我做十多年工作,就是说怎么样把量大数据给它压缩很小,压缩到一百分之一,两百分之一,这样传输存储比较小。怎么样压缩?原则就是空间、时间、编码压缩。

不同的应用实际上它使用压缩的算法可以略有不同,我们现在一般说的电视或者电影这样的场景视频,现在H.26也好非常适合这种视频,除了这种视频还有其它视频,比如说监控视频、互联网视频,这两种视频两种压缩工具很合适不见得。从技术上有很多可以切入的地方。

我们说编码工具,视频编码整个对于数字电视数字视频发展前景巨大,从最早其的压缩到50比1,把高清压缩75比1,现在我们正在做比如说几乎做完了把高清视频150比1越容易压,因为很精细,压缩起来效率高一点,对4K视频最有新H.265就可以做到450比1,质量几乎看不到有损失,互联网为了追求省点带宽压非常满,1000比1也用,看还是可以看,如果严格按照比如说广播的质量来看根本不允许,因为质量损失太大。这个事还得做下去像OTT TV互联网贷款,互联网带宽本身带宽没有那么宽,我们通过宽带建设,很大问题即使够宽,大家一起上一共享带宽一分也没有那么多,这时候怎么办有非常好编码压缩工具,使得压缩非常高,大家还在做。

现在我们十多年前开始做AVS+已经变成广电行业标准,所以现在央视已经经过很多人测试,今年年底明年年初陆续有很多,今年可能大概三个频道,明年有十几个AVS高清频道开播,这是广电行业用,这之后推动国际标准HOD标准,2010年开始推动,从去年我们启动一个视频部分,视频部分实际上是今年已经完成了。完成的东西是今年6月4日第一版本印刷出来。所包含档次我们所说基本档次有增强档次,监控档次,增强档子面向电影和广播做,增强档次增加版增强版,就是我们所说的AVS 这是光电行标对应在CCTV被测试过东西,还有特点面向视频监控做了一个档次,做很巧妙,性能非常好,不光支持你监控里面编码压缩。把视频把背景建起来,利用背景可以使得编码效果提高很高,有些监控摄象头回旋转镜头拉伸,可以用同样背景去覆盖。

另外可能有些比如说天气、光照、雾、雨各种各样的场景可能会模型产生一些变化,加上这些天气模型。这些模型实际上不仅可以提高电板,更重要最对象,对象有人、车、自行车行为往哪里开,突然加速突然减速等等行为进行完整分析,这东西实际上模型效率很高,在AVS做了,投稿时候有人就说能不能放大H.265试试,我们就放在效果非常好。比现有的可以节省44.7%,实际上这个模型是比较好使的。今天我们话题不是很直接,实际上我们现在正在启动新的视频部分,这部分我们面向互联网电视做的,互联网电视除了刚才带宽问题以外,互联网可以参考信息非常多,这就是大数据给我们带来好处。

可以利用大数据,利用互联网数据编码效率可以更高,这是正在做的东西。可以这样说,我们后那部分字完对OTT TV编码工具应该说就会有很好的支持,现在我们定位就是说,对于OTT TV编码标准效率高一倍,支持视频检索,可以支持画面尺寸大小变化。正在组织领域做国际杂志一个专辑。我们现在从整个国家经济发展来说信息消费,宽带中国信息消费给我们OTT TV带来一定机遇,大数据和编码工具还有很多技术没有做得很好,具有很多技术挑战,对我们来讲迎接挑战,做技术人很高兴,同时做产业人也很有机会,希望大家能够抓住机遇顺利发展,谢谢大家。

原文发布时间为:2013-08-26


时间: 2024-09-15 22:46:16

大数据的技术趋势与应用前景的相关文章

工程院院士高文:大数据的技术趋势与应用前景

6月5日消息,主题为"大数据大带宽推动云计算应用与创新"的第五届中国云计算大会今天在北京国家会议中心举行,网易科技作为大会合作门户在现场直播报道. 以下为国家自然科学基金会委员副主任.中国工程院院士高文做主题为"大数据的技术趋势与应用前景"的演讲. 高文:各位来宾,刚才听主持人说大家都刚吃完饭不久,所以我希望下面的报告能够帮助大家消化,至少不阻碍大家消化. 我报告这个题目叫做"多媒体大数据的技术趋势与应用前景",这是一个命题作文,可能我要在这个命

流式大数据实时处理技术、平台及应用

摘要:大数据处理系统根据其时效性可分为批式大数据和流式大数据两类.上述两类系统均无法满足"事中"感知查询分析处理模式的需求.为此,从分析大数据应用场景入手,提出了"流立方"流式大数据实时处理技术和平台,在完整大数据集上实现了低迟滞.高实时的即席查询分析.目前基于"流立方"平台开发的业务系统已应用到金融风控反欺诈.机器防御等领域,具有广阔的应用前景. 1.引言 大数据技术的广泛应用使其成为引领众多行业技术进步.促进效益增长的关键支撑技术.根据数据处

大数据关键技术解析

大数据技术,就是从各种类型的数据中快速获得有价值信息的技术.大数据领域已经涌现出了大量新的技术,它们成为大数据采集.存储.处理和呈现的有力武器. 大数据处理关键技术一般包括:大数据采集.大数据预处理.大数据存储及管理.大数据分析及挖掘.大数据展现和应用(大数据检索.大数据可视化.大数据应用.大数据安全等). 一.大数据采集技术 数据采集是指通过RFID射频数据.传感器数据.社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化.半结构化(或称之为弱结构化)及非结构化的海量数据,是大数据知识

大数据平台技术发展脉络

作为集团"大数据平台技术"战略研究的准备工作,本文梳理了近年来作者观测到的大数据行业技术演进的路径,希望把握发展脉络,找到适合公司业务实际的方向.文章力求用通俗的方式描述概念,最大程度减少专业图表与细节,以便向公司管理层与业务部门同事介绍大数据平台技术的发展与趋势,这里分享给金融行业的朋友参考. 数据技术演进 软件系统,小到HelloWorld编程入门,大到数亿人同时使用的社交软件.搜索引擎,或者是基于公有云的软件即服务(SaaS),本质上都是在处理两件事情:业务逻辑与数据.随着信息时

中国信通院重磅发布大数据关键技术专利态势报告(全文38页下载)

序言 2016年4月27日至28日,由工业和信息化部指导.中国信息通信研究院主办的"2016大数据产业峰会"在北京国际会议中心盛大召开.在27日大数据技术与产品创新分论坛中,中国信息通信研究院知识产权中心副主任张俊霞女士来给我们做<大数据关键技术专利态势报告>的分享. 中国IDC圈4月27日报道,互联网的发展使得大数据引起人们广泛关注.现如今大数据技术早已渗透到金融.通讯等行业以及生物学.物理学等领域.大数据在容量.多样性和高增速方面的爆炸式增长全面考验着现代企业的数据处理

从小数据分析到大数据平台,这十几年来大数据开源技术是如何演进的?

首先,介绍两个使用案例. 第一个是OLTP流程,主要指的是整个商业应用和流程.我们会收集交易数据,在业务过程当中收集数据,比如要销售一些网上产品,可能希望把每一单都能够记录下来. 第二个主要案例是OLAP,主要指的是分析数据,我们让所有收集的数据能够有意义,可以帮助我们生成报告,根据数据分析,进行业务决策.这个应用场景下,我们会把一些数字,比如说收益,将整个数据维度Dimensions以及Measures和数据整合在一起. Small Data Analytics 在一个小数据里可以做以上两个应

共话大数据 2013大数据全球技术峰会召开

2013年4月26日,由51CTO传媒旗下WOT(World of Tech)品牌主办的"2013大数据全球技术峰会"在北京富力万丽酒店正式举办.本次峰会聚焦大数据技术,围绕大数据基础架构与上层应用的生态系统,探索大数据基础的解决方案,全面剖析了数据从产生到挖掘到最后被消费的整个过程. 本届峰会为期2天,吸引了全球1000多位大数据领域的专业人士.企业及政府用户.技术专家.行业分析师和媒体共聚一堂,共同交流大数据时代的机遇和挑战,探讨在传统企业应用.新兴行业拓展的创新. 工信部软件与服

工业大数据应用技术国家工程实验室落地成都

工业互联网高峰论坛昨天在成都开幕.论坛以"智?造价值,联?创未来"为主题,邀请了国内外工业互联网领域专家.学者及优秀企业代表等900余人参加会议.与会嘉宾们聚焦工业互联网发展现状及趋势,探讨工业互联网中国模式的实践路径,分享在智能制造及工业大数据领域的实践经验. 开幕式上,"工业大数据应用技术国家工程实验室"揭牌仪式举行.该实验室是由北京航天数据股份有限公司牵头,联合北京工业大学等多个相关单位共同筹建,是我国目前唯一一家工业大数据研究及产业化支撑机构. 据悉,实验室

2013年大数据应用与趋势调查

2013年被认为是具有跨时代意义的"大数据元年".在这一年,数据比以往任何时候都要宝贵,甚至成为可以与石油资源相媲美的新能源,大数据被认为是继信息化和互联网后整个信息革命的又一次高峰.然而,大数据不是口号,需要更多的企业付诸实践,从单调的数据中挖掘出潜在价值. 年初的一项调查曾指出,28%的全球企业和25%的中国企业已经开始进行大数据实践.为了进一步了解中国http://www.aliyun.com/zixun/aggregation/13861.html">企业大数据