面向媒体应用场景 索贝AI自主创新结硕果

最近,人工智能(AI)频频刷屏,各行各业的AI应用层出不穷,AI似乎已经变得无所不在。在媒体行业,AI应用也渐渐走入视野,智慧媒体时代呼之欲出。在传统媒体领域领先多年的成都索贝数码科技股份有限公司(以下简称索贝),当然不逞多让,在AI领域积极布局,除自建团队之外,还积极各AI头部企业寻求合作,面向媒体应用场景,走出了一条独特的自主创新之路。

AI面向媒体应用场景

之前很多人对索贝的印象还停留在传统广电企业上,实际上,索贝通过积极的战略布局,在视频云、大数据、区块链等领域进展迅速,并在媒体AI领域形成突破。

比起阿里、腾讯等互联网巨头,作为世界级专业视频技术及解决方案提供商及视频技术创新工场,索贝更关心媒体用户在AI落地上的诉求和痛点。通过调研发现,随着人工智能技术越来越多普及,其他行业应用落地的发展,媒体行业用户对AI落地期望很高,例如,根据文稿能直接制作出短视频;体育、综艺、时政、影视等多种节目形态的快速智能剪辑;新闻节目中各片段的拆分,综艺节目拆分,影视剧关键段落拆分等。

根据这些应用场景,最开始,索贝也像其他厂商一样,只是将AI能力引入到系统中来,原来的转码、合成之类的服务器,加上新的AI执行器,比如语音识别、人脸识别等等,以集成为主。但很快,通过不断的实践,索贝和客户达成共识,这样的做法行不通。

因为在AI的三大要素——算法、算力、数据中,算法和数据都会因不同场景而不同,如果在媒体行业中AI能力“有什么用什么”,一方面在业务场景上有局限性,另一方面也因为训练数据集的差异,在泛化能力上是有局限性。因此,索贝需要的是实现“要什么做什么”,实现媒体行业独有的AI。

只有建立起面向用户价值场景的AI应用的实际能力,才能实现AI与媒体行业深层次的融合,所以索贝AI的做法是——面向媒体场景算法和数据,实现媒体行业自己的AI技术与能力。

自建团队攻关AI

在人工智能方面,索贝坚持长期的资源、资金和人力投入。根据对用户需求和痛点的分析,索贝专门成立媒体智能实验室,由30余名AI算法工程师组成算法研究团队,并与上海交大、四川大学、鹏城实验室等科研单位进行深度合作。目前,索贝已经发表SCI检索已达10篇,专利10余项。最近一篇被接受的SCI论文《孪生标签LDA:一种面向文档分类的监督式主题模型》。

据了解,索贝是业内唯一这样做的厂商,索贝认为,有自建团队才有自主研发算法的可能,这也符合国家核心技术全面国产化,核心设备国产化的发展要求。索贝始终坚持AI结合业务的研发原则,旨在打造最懂媒体行业的人工智能技术。

对于通用的,成熟的AI能力,索贝已与商汤、讯飞、华为、腾讯等厂商也建立了战略合作关系,不论在技术和市场层面都有着良好的合作。索贝始终站在客户角度,以实际应用效果出发,为客户选择提供更好的AI落地效果。

推进媒资智能化发展

在BIRTV2020期间,索贝自主研发的新一代融合媒体内容管理平台Media Asset Hive(简称MAH)正式亮相。

索贝AI团队针对新闻、体育、综艺节目等不同种类节目建立起智能化标签体系,以自研AI算法为支撑,产生了丰富的语义标签,提高内容搜索效率,支撑了内容推荐,快速编目,内容交换等应用场景,为电视台以及其他媒体行业提供专业内容管理解决方案及服务。

MAH独创性得实现了新闻融合生产过程中各种内容对象关联关系的管理。结合智能内容挖掘,结合智能内容挖掘,MAH可显著降低节目制作过程中的人力成本,提高新媒体发布的处理效率,将更多的人力从资源管理、素材归档等工作中释放到内容创作中去,带来良好的社会效益和经济效益。

MAH还是媒体行业第一个投入实用的Cloud Native媒体内容管理平台,让媒资系统不再只是具备归档、编目等简单功能,而是要不断推动媒资向平台化演进。在今年全国两会期间,广东台创新运用了“5G+AI”的创新技术,实现了每天约3小时的直播收录、智能分析、基于分析结果快速编辑、发布,索贝新一代MAH智能媒资系统也首次在省级台中亮相,提高了生产效率。

自8月17日起,索贝VR全景展厅在官方网站(www.sobey.com)正式开启,届时,MAH也开放体验,所有人可以通过VR互动的方式,访问相关页面,用自己的视频、图片等素材,真切体验到MAH的强大智能以及电视台AI应用的真实环境。

新闻AI制作大放异彩

在2019年的国庆大阅兵现场,中央广播电视总台AI剪辑的短视频令人印象深刻,其幕后支撑技术正是来自索贝。

索贝牵手央视新闻对现场的阅兵方阵进行了AI视频剪辑的实地操作。从大阅兵三军仪仗队进入视线开始,通过新闻云,AI引擎能够自动编辑前方70余个机位的画面内容,平均耗时90秒。而如果以人工剪辑,每个方阵的视频剪辑完成需30分钟。整个阅兵期间,平均每隔3分钟就有一篇新闻从索贝的系统发出面向用户,满足了新闻的时效性。这是央视新闻新媒体首次运用AI人工智能技术到短视频剪辑当中,同时也是索贝媒体智能布局成果展示,事实证明,索贝实至名归。

索贝AI团队在接到任务后,经过梳理发现,针对新闻新媒体国庆报道AI剪辑需求,实现敬礼动作识别、有效镜头检测、方阵识别等这些算法都不是通用算法,市场上想买都买不到,必须依靠索贝自身的算法研究团队。最终,团队基于索贝麒智AI平台,开发出视频AI智能剪辑系统,利用平台积累的计算机视觉、音频、自然语言处理算法,进行快速定制、训练算法提取视音频特征,同时结合平台具备的大数据分析处理算法及工具,进一步完成数据及特征分析整合,形成应用所需的有用的信息及知识,最后结合编辑场景所需完成最后的知识应用,形成AI编辑生产力,完成之前需要大量人力投入的编辑工作。AI剪辑平台以图像识别技术为基础,结合语音识别等人工智能技术,设计开发了队伍方阵识别、有效镜头检测、自动合成剪辑三大类智能处理模型,通过三类模型的综合应用,实现智能剪辑功能。

也就是说,在媒体行业,一项AI技术的落地要经过深度业务理解、工程建模,再配合自研的特定算法选型、特定数据训练和调优以及相关领域的知识才能完成,这恰好也是通用AI厂商所欠缺的。

事实证明,索贝面向媒体融合的AI道路是正确的,索贝AI应用不断落地。除了70周年大阅兵AI剪辑,早在2019年初,索贝第一次将智能技术用于体育节目后期制作——CBA篮球智能剪辑,大幅提升体育赛事缩编效率,快速实现互联网发布。2020年春晚进行时,索贝又第一次将AI应用在综艺制作领域,突破AI剪辑的“综艺”禁区,实现了从0到1的惊人突破,超预期满足了总台电视节目播出和新媒体发布的高质量要求。

在媒体AI领域的暂时领先并不会让索贝满足,在未来,索贝将协同产业链各方,共建和谐的产业生态,助推智慧媒体时代加速到来。