阿里云视频技术专家柿蒂:视频AI in传媒九大业务场景解析

近日,BIRTV 视觉人工智能峰会在北京国际饭店隆重举办。阿里云视频技术专家柿蒂受邀参加,围绕人工智能这一主题,在视觉计算与传媒领域的应用进行深度分享。


阿里云视频技术专家 柿蒂

人工智能在视频领域的应用

阿里云拥有强大的云计算能力与大数据计算引擎,因此,人工智能也就拥有了飞速发展的沃土。那人工智能视觉计算和视频融合在一起,又能摩擦出怎样的火花呢?柿蒂提到,如同下图所示,人工智能视觉计算可以支持直播、短视频、新闻、体育、影视等多种业务场景,可以实现目标检测识别识、片段侦测、事件识别、鉴黄涉恐、OCR等多种应用层面的功能。

从技术角度来讲,基于业界领先的人工智能技术,阿里云可对视频的内容、文字、语音、人脸、物体进行多维度分析理解,帮助视频类、资讯类等客户实现视频分类和打标签、视频指纹、相似性计算、视频安全审核、视频质量计算、自动生成封面图、视频切片化等能力。从而帮助客户提升用户留存和体验,同时提高数据处理能力,降低人工审核成本。

人工智能在视频领域的应用至少包括以下四个大方面:

1、 视频内容分析: 行业领先,基于阿里领先的人工智能技术,对视频进行语音、文字、人脸、物体、场景多维度分析,输出视频泛标签,提升搜索推荐效果。
2、 视频封面选图: 通过对视频内容的理解,并结合画面美学,选出最优的关键帧或关键片段作为视频封面图。
3、 视频指纹: 提取视频中的音频、图像及时序特征,生成视频指纹,通过视频指纹的比对,实现重复视频查找、视频片段的源视频查找等业务功能。可应用于视频去重、侵权视频过滤、原创视频保护等领域。
4、 视频内容审核: 基于深度学习技术和海量数据,智能识别色情、暴恐、广告、涉政等视频或图片,极大节省人工审计成本,降低违规风险。

传媒九大业务场景深入解读

传媒,是人工智能视觉计算的典型应用领域,下面,柿蒂选取了传媒的九大热门业务场景,分享了在每一个业务场景中的视觉计算是如何应用的。

业务场景一:自动内容审核

采用基于深度学习的图像分类方法,利用高召回+高精度的级联结构,同时采用人脸识别、OCR、ASR等技术,对音视频中的违禁内容进行审核。
侧重:UGC视频侧重鉴黄、涉暴等;PGC及台内存量视频侧重涉政。

业务场景二:视频摘要-自动关键帧

通过对视频进行结构化分析,对关键帧、视频镜头进行筛选和排序,选择最优的关键帧、关键片段来作为视频的展示。并采用关键帧提取+MMR优化+美学评分等方法,选择视频,用以形成视频摘要,方便用户浏览。
效果:人工评测原始与封面关键帧算法(仅评测可对比出优劣之分的数据):算法优,占比超过70%

业务场景三:自动拆条

多模态:视频特征、ASR、OCR、人脸、Motion等
可以应用在:

  • 新闻消息类节目的条目拆分(可播前进行,无须文稿)
  • 体育赛事的自动场记
  • 综艺类节目的曲目裁剪及精彩段落生成
  • PGC直播的快速集锦
  • 节目内容热点发现

业务场景四:语音处理

  • 语音转文本:新闻资讯/会议/影视剧制作
  • 语音对齐:将已有的口播稿按稿件句子自动识别时码,与稿件文本对齐
  • 实时字幕:直播或存量视频中,将语音内容转成文本并做实时字幕处理
  • 语音检索:检索节目或素材的语音内容
  • 新闻热线电话/客服:智能质检、智能问答
  • 自动拆条、视频、内容审核等:与视频相结合
  • 知名主持人、明星语音合成:增加互动体验

业务场景五:OCR

利用视频结构化分析和图片识别等技术关键点,进行OCR识别处理。
可以应用在:

  • 视频文本摘要的参考:新闻类视频
  • 台词提取及时码对齐:电影电视剧(可结合语音处理)
  • 演职员表

业务场景六:视频去重/检测/关联

利用视频指纹技术,判断两个视频是否是通过任意变换获取的同源视频,以及同源相似度。可以应用在:

  • UGC、PGC视频的去重
  • 广告检测
  • 短视频搜索
  • 基于视频内容的关联

业务场景七:视频分类、视频标签

视频分类是通过内容理解的方法对视频进行类目和标签预测;视频标签则是通过对视频中多模态信息进行分析,自动为视频进行标签标注,并利用图像分类技术、视频tagging技术、OCR、ASR、人脸识别、目标检测、行为识别等多模态技术分析,对视频进行自动标签化。

业务场景八:目标检测

  • 直播互动:主播手势交互、取代人工,由机器自动生成事件发生的时间点及事件类别
  • 物体动态锚点跟踪:支持用户对视频内容中的物体进行标记并跟踪。
  • 边看边买:在视频中匹配和搜索同款/相似/相关商品,为视频电商的边看边买提供自动选品技术,同时利用用户在淘宝、天猫的用户行为进行边看边买商品的个性化推荐。

业务场景九:体育分析

  • 视频打标:取代人工,由机器自动生成事件发生的时间点及事件类别
  • 集锦生成:根据打标信息自动生成比赛场景、球员集锦
  • 比赛转播:自动完成镜头切换、远近景切换,球员特写
  • 球员数据信息获取:跟踪球员轨迹、获取球员在全场比赛中的位置,跑动数据

在分享的最后,柿蒂将所有阿里云AI+视频的能力做了整体展示,他也表示,在未来,阿里云持续探究AI+视频技术,并且将更多优秀的能力开放给行业。

时间: 2024-10-27 01:23:03

阿里云视频技术专家柿蒂:视频AI in传媒九大业务场景解析的相关文章

袋鼠云 | 基于阿里云数加平台,助力知名物流企业进行大数据应用

关于申通易物流 上海申通易物流有限公司是申通旗下的一家集电子商务.仓储.传统物流为一体的服务型公司.公司应电子商务大发展时代需求而生,拥有自主研发的易物流仓内WMS(仓库管理系统).EDI(数据接口平台)及OMS(订单处理系统)等,为品牌.商家提供电子商务仓配解决方案及专业电子商务第三方精细化仓配一体化服务,协助电商解决电子商务供应链的管理. 申通易物流依托于申通快递在快递行业的品牌影响力和全国领先的快递配送网络,以及在电子商务行业的多年服务经验,致力打造成为一个专业的电子商务服务提供商,为客户

阿里云将推出可视频的“云聊”

云聊界面 新浪科技讯 9月20日上午消息,据内部人士透露,阿里云OS将推出可视频通话的"云聊"服务,据悉其功能类似于苹果的Facetime.对此阿里云方面表示有多项本地服务在研发中. 在18日播出的中央电视台<经济半小时>中,央视记者以中国互联网产业趋势为题,采访了包括阿里云.华为.腾讯等在内的多家企业.其中在涉及阿里云时,重点介绍了其正在内测的新服务--云聊. "只要手机能够上网,那么互相连通的两方就可以进行视频聊天,此外,云聊还支持相关的一些服务,比如说文字聊

阿里云将推出可视频的“云聊”本地服务被看好

近日,有媒体报道称阿里云OS将推出可视频通话的"云聊"服务,据悉其功能类似于苹果的Facetime.对此阿里云方面表示有多项本地服务在研发中. 在18日播出的中央电视台<经济半小时>中,央视记者以中国互联网产业趋势为题,采访了包括阿里云.华为.腾讯等在内的多家企业.其中在涉及阿里云时,重点介绍了其正在内测的新服务--云聊. "只要手机能够上网,那么互相连通的两方就可以进行视频聊天,此外,云聊还支持相关的一些服务,比如说文字聊天.图片.表情."受访的阿里云

阿里云将增设马来西亚数据中心 纳吉布总理大赞中国技术

5月12日,马来西亚总理纳吉布现身阿里巴巴,与马云就eWTP在马来西亚的推进再次对话,并亲手将马来西亚多媒体超级走廊项目MSC证书递交给阿里巴巴董事局主席马云.这份证书将加速阿里巴巴云计算.大数据.人工智能等技术引入马来西亚的步伐.在会谈中,纳吉布总理特别点赞来自中国的新技术,为当地经济增长提供新动能. 据了解,在此前新加坡节点服务东南亚市场的基础上,阿里云将在马来西亚新增建立一座数据中心,部署飞天技术,以在线的模式为马来西亚各类企业和机构提供计算能力.这也是首次有国际云计算服务商在该地设立地域

【Best Practice】基于阿里云数加·StreamCompute快速构建网站日志实时分析大屏

本文偏向与实操层面的为大家介绍,如何基于阿里云数加StreamCompute.DataV快速构建网站日志实时分析. [什么场景适合用流计算] 流计算提供了针对流式数据实时分析的一站式工具链,对于大量流式数据存在实时分析.计算.处理的逻辑可以考虑通过流计算该任务.举例如下: 1. 针对实时营销活动,需要实时获取活动流量数据分析以了解活动的营销情况,此时可以上流计算. 2. 针对物联网设备监控,需要实时获取设备数据进行实时灾难监控,此时可以上流计算. 3. 对于手机APP数据实时分析,需要实时了解手

阿里云数据库技术峰会回顾整理:演讲幻灯+直播视频,赶紧下载!

云数据库产品及架构设计背后的考量 嘉宾:萧少聪,阿里云数据库高级产品专家 演讲内容:阿里云数据库产品全体系介绍及数据库产品实现架构分享. 听众收益:通过本次议题,了解阿里云全数据库产品体系能解决哪些实用场景的问题,同时了解其解决的原理. PDF下载:https://yq.aliyun.com/attachment/download/?id=1963 直播视频:https://yq.aliyun.com/edu/lesson/698 整理文章:https://yq.aliyun.com/artic

阿里云双11访谈之视频云

以下内容根据访谈视频整理而成 今天视频已经成为最具互动性的网络内容.相比文字和图片,视频可以承载的内容更加丰富也更加生动,人们也已经习惯通过视频这种内容形态来表达自己的想法,传递自己的思想,进行社交以及了解我们的世界.视频成为一种主流的内容表达方式,站在视频服务和开发者角度,我们更多关注如何支撑业务的需求,以及需求背后的技术的形成. 在视频的生产环节有哪些重要的指标和信息是需要开发者去特别关注的? 第一个开发者关注的点是用户体验视频清晰度的高低.流畅度的好坏给用户带来的观感和体验是完全不一样的:

视频内容谁来保护?阿里云视频加密技术大揭秘,打造云上视频安全体系

视频行业的从业者--尤其是在线教育.财经分析等重视内容版权的播放平台都知道,视频安全是一个非常重要的基础需求.用户通过一次付费行为,就可以拿到付费视频的播放URL,将播放URL进行二次分发,这种行为叫做盗链:用户直接将视频下载到本地,然后再进行二次上传分发,这种行为叫做盗播,这两种行为都会给内容版权方造成十分严重的经济损失,面对日渐增多的盗链和盗播情况,我们应该怎么样去保护内容呢? 阿里云最新推出的 视频加密解决方案 对视频版权的保护可以从视频处理的各个环节来分别实现.阿里云通过转码.播放.分发

阿里云首推音乐变速短视频SDK,上线抖音 freestyle只需1步

2016年可谓是短视频行业风生水起的一年,2017年更是呈现市场井喷的态势.短视频玩家从从秒拍.美拍到今年刚刚入局的土豆,竞争可谓激烈.值得关注的还有快手这匹短视频APP黑马,在它的引领下短视频服务被资本和市场普遍看好,据说快手至今已经覆盖4亿用户,日活达6000万之高.最近短视频圈多了一个后起之秀--抖音,这个画风奇绝动感酷炫的短视频APP上线不到半年就迅速走红,它主打的混音和变速玩法让年轻人欲罢不能. 短视频好像拥有一种魔力,可以无限激发用户的创作和表达欲望.这恰恰又是以内容为王的互联网服务