扫码关注展会官方微博
扫码关注展会官方微信
【精品】《广播电视人工智能应用白皮书(2018)》解读
来源: | 作者:girftadmin | 发布时间: 2019-07-24 | 164 次浏览 | 分享到:

本文由《广播与电视技术》杂志独家授权。本文刊发于2019年第6期。


作者:郭沛宇 (国家广播电视总局广播电视科学研究院)


【摘 要】


人工智能是新一轮科技革命和产业变革的重要驱动力量,加快发展新一代人工智能是事关我国能否抓住新一轮科技革命和产业变革机遇的战略问题。广播电视行业具有海量优质媒体资源,建设了融合媒体制播与服务云平台和广播电视融合传输覆盖网,广播电视终端趋于智能化,亟需探索实践人工智能与广播电视行业的深度融合,推动人工智能在广播电视各领域的广泛应用。本文从广播电视人工智能应用需求、体系架构、应用场景以及典型案例等方面对《广播电视人工智能应用白皮书(2018)》进行了详细解读。

【关键词】


广播电视,人工智能




 0 引言 

近年来,在移动互联网、大数据、超级计算、传感网、脑科学等新理论、新技术以及经济社会发展强烈需求的共同驱动下,人工智能发展进入新阶段。党中央、国务院高度重视人工智能技术的发展,将人工智能上升为国家战略。2017年7月,国务院正式印发《新一代人工智能发展规划》[2],提出科技引领、系统布局、市场主导、开源开放等基本原则,加快人工智能与经济、社会、国防深度融合。国家广播电视总局2018年11月印发的《关于促进智慧广电发展的指导意见》指出要充分发挥广播电视内容优势,加快大数据、云计算和人工智能等新技术在广播电视内容生产中的创新应用,进一步增强广播电视内容核心竞争力,形成智慧广电内容新优势,培育发展新动能。 


国际上,英国广播公司、路透社、美联社、德国之声以及日本广播协会等均开展了人工智能在媒体行业应用的尝试。我国广播电视和网络视听行业也开展了一系列人工智能应用尝试。上海广播电视台推出的SMG受众测试中心“大数据情感交互可视化测评系统”综合脑电波采集、电子拨盘、面部表情识别、电子问卷等给节目内容制作团队提供帮助。爱奇艺推出的虚拟手语主播实现实时手语播报。腾讯视频等推出的视频增强技术可以对演唱会等场景实现主体增强。中央广播电视总台等以真实主播为原型,利用人工智能技术进行语音播报和画面的自动合成,实现虚拟主播。 


2019年1月25日,中共中央政治局在人民日报社就全媒体时代和媒体融合发展举行第十二次集体学习,习近平指出要探索将人工智能运用在新闻采集、生产、分发、接收、反馈中,全面提高舆论引导能力。广播电视行业科技依存度高,人工智能等关键技术对全行业的引领驱动作用更加突出。广播电视与人工智能技术的深度融合,将提升广播电视行业生产效率,推动广播电视行业转型升级,打破传统广播电视业务模式,不断开发新业态、提供新服务、激发新动能、引导新供给、拉动新消费,促进国民经济发展。 


1  人工智能在广播电视领域的应用

自1956年以来,人工智能的发展经历了三次浪潮、两次低谷。机器学习作为人工智能研究的核心领域,通常利用各种算法使机器能从样本、数据和经验中学习规律,从而对新的样本做出识别或对未来做出预测。随着计算能力的不断提升,近年来机器学习的分支深度学习发展迅速。深度学习技术在图像识别、语音识别等领域显现出明显的优势,引发了第三次人工智能浪潮,人工智能得到了学术界、产业界以及各国政府的高度重视,推动了基于深度学习的图像识别、语音识别等技术在经济社会各领域的应用和创新。 


虽然当前人工智能仍处于“弱人工智能阶段”,但现阶段人工智能技术在多媒体内容处理、识别、分析、生成和传输等方面的创新,与广播电视行业业务应用强相关。广播电视行业海量优质媒体资源、融合媒体制播与服务云平台、广播电视融合传输覆盖网、以及广播电视智能终端等为人工智能在广播电视行业的应用提供了数据、计算、网络和终端等方面的基础支撑。广播电视行业各环节在媒体内容处理、识别、分析、生成和传输等方面的人工智能应用需求强烈。 


1.1 关键技术 


结合广播电视行业业务特点以及深度学习等人工智能技术的发展,广播电视领域人工智能应用关键技术可分为智能处理、智能识别、智能分析、智能生成、智能传输等。 


智能处理技术包括音频处理、图像增强、视频增强、智能编解码等。深度神经网络(DNN,Deep Neural Network)、循环神经网络(RNN,Recurrent Neural Network)等在音频处理方面的应用显著提升了音色调整、音调调整等音频处理方面的能力;卷积神经网络(CNN,Convolutional Neural Network)、生成式对抗网络(GAN,Generative Adversarial Network)等在图像增强和视频增强方面的应用,提升了老旧片源修复、视频内容质量提升等方面的智能化程度;基于神经网络的场景检测、帧预测等技术大大提升了视频编解码效率。 


智能识别技术包括语音识别、图像识别、视频识别等。语音识别是指利用CNN、RNN等技术将语音中的文字信息进行识别并转换为对应的文本信息。图像识别是指利用R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、YOLO、SSD等对图像进行处理、分析和理解,以识别各种不同模式目标和对象的技术,是图像内容分析的基础。视频识别通过CNN、RNN等人工智能方式自动对视频内容进行识别、检测和分类。 


智能分析技术包括自然语言处理、图像语义分析、视频语义分析、大数据分析等。自然语言处理在机器翻译、信息检索、自动文摘、文本分类、舆情分析等方面应用广泛,基于LSTM的深度神经网络模型在自然语言处理方面取得了很好的效果;图像语义分析是对图像进行语义解释,将图像中丰富的语义知识转化为具有上下文含义的文字信息,基于GAN模型等实现图像语义分析效果明显。视频语义分析是对视频内容语义信息提取的过程,基于深度学习的文本检测、文本识别、对象识别、动作检测、运动轨迹检测等的综合应用使得视频语义提取成为可能。 


智能生成技术包括语音合成、图像生成、视频生成等。语音合成能够实现从文字信息到语音的转化,虚拟主播、节目智能制作、后期配音等逐渐开始应用语音合成技术;图像生成是指根据某种形式的图像描述创建新图像的过程;利用GAN模型合成的图像在某些方面已能达到以假乱真的效果;视频生成主要侧重于基于描述信息和前一帧预测并生成下一帧。 


智能传输技术包括内容分发网络、软件定义网络等。内容分发网络方面的人工智能应用基于现网数据进行网络智能配置等模型的训练,如对视频内容热度的预测,及时将内容推送到离用户最近的节点;软件定义网络方面,人工智能和大数据等技术的应用可以支撑对网络流量的统一管理和灵活控制。 



广播电视人工智能应用关键技术如表1所示。 


1.2 应用架构 


从现阶段应用角度,广播电视人工智能应用架构可以分为平台层、算法层和服务层。平台层是支撑人工智能模型训练、测试、验证的硬件、驱动及软件平台;GPU、FPGA、ASIC、TPU等为人工智能模型的训练和应用提供并行计算的硬件资源;CUDA、cuDNN等为硬件资源的应用提供统一的硬件驱动;Caffe、Tensorflow等深度学习框架为深度学习等算法的应用提供了便利的研究及部署方式。算法层是在平台层基础之上运行的人工智能算法,根据各任务定制的有监督学习、无监督学习、半监督学习等算法,实现智能处理、智能识别、智能分析、智能生成以及智能传输等广播电视人工智能应用关键技术。服务层面向广播电视人工智能应用场景,将广播电视人工智能应用关键技术封装成智能编目、智能检索、智能制播等满足应用需求的应用服务,支撑选题策划、媒资管理、生产制作、分发传输、运营服务、智能终端、监测监管、服务评价、运行维护、网络安全等广播电视典型应用场景下的人工智能应用。广播电视人工智能应用标准与评价体系是人工智能应用从数据采集、算法选型、训练优化、测试评估、到集成部署全流程的支撑和保障。 


广播电视人工智能应用架构如图1所示。 



1.3 工作流程 


广播电视人工智能应用的工作流程可以概括为数据采集、数据预处理、模型训练与优化、模型部署等步骤。通常需要在充分理解应用场景需求的前提下,建立针对具体应用场景的标注数据集,选择一个或多个合适的算法和模型,按照场景需求进行算法改造,构建广播电视人工智能应用算法。依托GPU等硬件计算资源,在开源人工智能应用软件框架下进行有针对性的算法训练和优化,形成面向行业应用的人工智能应用关键技术。 


首先,需要根据行业应用的实际需要,采集实际场下的数据,通过数据预处理,对数据进行清洗和标注,形成用于模型训练、验证、测试的数据集。然后,选用不同的方法进行模型训练,通过比较性能,选择最优模型。模型选择过程涉及数据集的选择、参数优化和评价标准的选择等。训练模型前,一般会把数据集分为训练集和测试集,或对训练集再细分为训练集和验证集,对模型的泛化能力进行评估。使用训练数据构建模型后,通常使用测试数据对模型进行测试,测试模型对新数据的适应力。模型优化过程需要结合数据集和评价标准,主流的评价标准包括查准率查全率、ROC曲线、对数损失等。模型优化过程需要避免过拟合的出现,常见的模型优化方法包括网格搜索参数、手工调节参数等。模型经过训练和优化后,可根据实际需求进行部署。 


广播电视人工智能应用工作流程如图2所示。 



1.4 测试评价 


测试与评价是人工智能技术应用非常重要的一环。不同的任务需要利用不同的数据集和评价指标进行评价。目前,在算法研究方面有很多主流的开放数据集,如手写数字数据集MNIST、大型物体检测、分割和字幕数据集COCO、跨越数千个类别的精标注图像集ImageNet、开放式问题的数据集VQA、YouTube-8M、UCF101、Kinetics-600等视频数据集等。人工智能在广播电视领域的应用,需要结合各类开放数据集,建立符合实际业务应用需求的训练和测试数据集和符合业务实际需求的测评体系。 


广播电视科学研究院前期结合行业应用特点设计了广播电视人工智能应用训练资源库,建立了行业应用训练及测试数据集标签体系,整合来自于主流图像集、人工标注、数据提供商等的资源,按照标签体系进行分类和入库,支撑各种典型行业人工智能应用的测试与评价,如图3所示。




2  广播电视人工智能应用场景


广播电视行业在选题策划、媒资管理、制作播出、分发传输、运营服务、智能终端、监测监管、服务评价、运行维护、网络安全等各环节媒体内容处理、识别、分析、生成和传输方面的业务需求为人工智能在广播电视领域的融合应用提出了丰富的应用场景。


在选题策划方面利用人工智能方法对社会热点、舆情热点进行分析,根据分析结果推荐节目制作的话题和方向,自动撰写策划文稿,帮助节目制作人员快速策划出满足用户需求的节目。在媒资管理方面主要是利用语音识别、图像识别、视频识别等智能识别技术,以及自然语言理解、图像语义分析、视频语义分析等智能理解技术实现智能化编目和智能化检索,解决传统媒资管理成本高、效率低的问题,实现对媒体资源的扁平化编目,充分挖掘媒体资源的价值。在生产制作方面主要体现在视频编辑、视频摘要、视频特效、虚拟主播、数据新闻、智能弹幕、视频增强与破损修复等方面,利用人工智能技术辅助节目的生产制作,提升生产效率,创新内容形态。在分发传输方面,通过分析用户行为特征和业务偏好,建立流行度管理和预测方法,为热门文件配置更短、更通畅的传输通道,缩短用户访问延迟,提升用户体验。在广播电视运营服务方面实现用户的精准画像,内容和广告的精准推荐,从而提升用户体验、增强用户粘性、创新服务模式、提升盈利空间。在广播电视智能终端方面利用语音识别、图像识别、视频识别等技术创新人机交互方式,利用智能处理等技术实现视听体验的显著提升,与虚拟现实技术等结合更能创新出各种新的服务模式。在监测监管方面,利用人工智能技术对节目进行自动审核,删减或禁播不符合安全要求的节目,提升内容监管的工作效率;利用人工智能技术对节目的播出效果,对错播、画面异常等问题节目进行检测,推动技术质量提升。在服务评价方面,人工智能技术的应用将提升节目质量和用户对内容的满意度。在网络和业务系统等的运行维护方面,人工智能应用将推动运行维护领域从智能预警逐渐过渡到智能自愈;在客户服务方面,将推动从以人为主、以人工智能为辅的客服智能化过渡到以人工智能为主、以人为辅,最终将过渡到完全由人工智能实现客户服务的客服机器人。在网络安全方面,人工智能应用将提升网络安全防护能力,及时发现、识别、理解、分析、处置网络安全威胁,推进网络安全技术体系网络安全态势智能感知逐步过渡到网络安全智能化防护/修复。 


综上,人工智能与广播电视的深度融合将大大降低行业人力成本,提升工作效率,创新服务模式。 



3  广播电视人工智能应用建议


为全面贯彻落实国家人工智能发展战略规划,促进智慧广电发展,广播电视行业应深刻认识新技术条件下媒体格局的深刻变化和广播电视面临的机遇挑战,通过科技引领、系统引导、开源共享、科学管理的方式加快人工智能在广播电视行业的创新应用,进一步增强广播电视核心竞争力,形成智慧广电新优势,培育发展新动能。 


1. 科技引领


把握人工智能领域基础理论和共性关键支撑技术发展趋势,推进满足广播电视行业需求的人工智能基础理论和共性关键支撑技术在广播电视行业的应用,提升广播电视选题策划、媒资管理、生产制作、分发传输、运营服务、智能终端、监测监管、服务评价、运行维护以及网络安全等各方面工作效率,创新广播电视服务模式,推动行业转型升级,构建智慧广电新业态。 


2. 系统引导


开展广播电视人工智能应用标准体系研究,依靠广播电视行业及人工智能领域优势资源,研究广播电视人工智能应用基础资源标注与管理、广播电视人工智能应用基础设施建设、广播电视人工智能应用集成部署、以及广播电视人工智能应用测试评估等方面的标准规范,加快建设广播电视人工智能应用标准体系,系统性的引导和规范行业人工智能应用。 


3. 开放共享


倡导开放共享理念,组织广播电视和人工智能领域产学研用各方以广播电视人工智能应用实验室、创新基地、产业联盟等方式共同探索,联合攻关;依托各方在行业数据、计算能力、研究能力等方面的优势,建立广播电视人工智能应用基础资源服务平台,为人工智能技术在广播电视行业的应用落地提供研究、开发、测试及应用服务,打造广播电视行业人工智能应用软硬件开源开放生态。 


4. 科学管理


要深刻认识到人工智能是一把“双刃剑”, 必须强化总体安全观,始终牢牢把住方向、守住底线,确保导向安全、网络安全、播出安全。要从技术研究与应用服务、标准制定与市场监督管理、行业管理政策研究与立法等多个层面协同推进,多部门联动,确保广播电视人工智能应用技术研究、产品研发及行业应用部署的正确引导和合理使用,保障行业与人工智能融合发展过程中的安全。



4 结束语

广播电视行业与人工智能的融合具有天然的优势,必将提升行业在选题策划、媒资管理、生产制作、分发传输、运营服务、智能终端、监测监管、服务评价、运行维护以及网络安全等方面的工作效率,创新广播电视服务模式,加速行业战略转型升级。人工智能在广播电视行业的落地,也将促进自然语言、音频、图像、视频、跨媒体、群体智能、智能计算芯片等领域人工智能共性关键技术的发展,推动建立新一代人工智能基础理论体系。广播电视行业依托行业海量优质媒体资源建立的人工智能应用体系,也将为人工智能领域提供更多的基础数据资源,服务于全社会人工智能关键技术研究,以及经济社会各领域与人工智能的深度融合。 未来,人工智能技术将逐渐应用到广播电视行业,成为行业基础设施的重要组成部分,显著提升广播电视行业工作效率,推动构建智慧广电业态,全面提高广播电视舆论引导力。 


本文受国家广播电视总局广播电视科学研究院基本科研业务费(No. JBKY2018023)资助。



参考文献

[1] 广播电视人工智能应用白皮书(2018)[S].中国:国家广播电视总局科技司, 2019. 

[2] 新一代人工智能发展规划.中国:国务院,2017.  



作者简介

郭沛宇,男,1973年生,学士,广播电视科学研究院信息与安全技术研究所所长,教授级高级工程师,主要从事广播电视数字版权保护、广播电视信息安全、广播电视人工智能应用、广播电视区块链应用,以及融合媒体云平台服务等研究,参与国家重点研发计划2018年度“网络空间安全”专项项目负责人,主持了“互联网+环境中基于国产密码的多媒体版权保护与监管技术”研究,组建了“数字媒体内容保护技术研究实验室”、“广播影视国产密码应用实验室”、“应急广播技术研究实验室”、“数字版权管理技术研究实验室”、“广播电视人工智能应用国家广播电视总局重点实验室”等部级实验室。

下一篇: