【环球网科技综合宣布】6月18日,工业和信息化部信息通信管理局公布“2024年新型数字做事精良案例名单”,由爱奇艺报告、北京市通信管理局推举的“基于大模型的影视剧配音智能办理方案,助力影视剧工业化和智能化发展”案例入选。
2024年新型数字做事精良案例部分名单
据理解,爱奇艺具有自主知识产权的奇声影视剧智能配音系统(以下简称“奇声系统”),创造性地将AI运用于影视剧配音制作,可提升配音制作效率近6倍。现阶段,奇声系统由智能配音预处理、智能多语种配音变声和智能配音后期处理三大技能支撑,包含了多个AI算法模块和丰富的功能模块。利用该系统,既能一站式完成影视剧作品的配音,也可以通过各独立功能来处理不同环节的需求。根据工信部报告哀求,本次获评案例不仅须要客不雅观真实、具有实效,还需具备创新性,可以为新型数字做事供应示范指引。
智能配音预处理技能对前期素材准备事情提效明显,包括对多语种字幕进行角色拆分,为原始音轨进行智能分轨等。通过声纹比对等技能手段,系统还能智能选取与原版角色最为附近的音色,让角色配音更加“贴脸”。智能多语种配音变声技能则以基于深度学习的语音转换技能为核心,将单一的语音音轨转换为多音色、多语种、多风格的语音音轨,让配音员可以轻松变身任意目标角色,配音更具表现力。同时,该技能支持包括中文、泰语、越南语等多语种变声,并针对各语种进行了专门演习。在传统制作流程中,为了达到影视剧上线的哀求,配音完成后还须要制作职员对干声进行后期处理以担保质量。
据奇声产研团队卖力人先容,奇声系统的技能核心是基于深度神经网络和大模型技能的Voice Conversion技能,该技能在近年来得到了一定程度的发展,但在影视剧这类高表现力场景的效果仍有待提高。爱奇艺在垂类场景的创新实践,有效提高了高表现力Voice Conversion的效果,取得了ICASSP、Interspeech、ASRU等6篇国际顶级会议论文,24项发明专利(含受理和授权)以及9项软件著作权,一定程度上推动了该领域学术和技能的发展。
目前,奇声系统已经为超过300部外洋电影制作了普通话配音版本,为50多部华语电影、800多集国剧制作了多国配音版本。在科技创新的助力下,影视剧配音事情日益智能化,有效缩短了出海国剧及引进内容的上线韶光,支持了更多好内容“引进来、走出去”,进一步知足了海内外用户的内容消费需求。
对此,爱奇艺首席技能官刘文峰曾公开表示,“现阶段天生式AI产出的内容创意性依然偏弱。内容家当从业者在关注运用AI提升内容生产效率的同时,还需更进一步去思考AI可以如何帮助专业内容创作者提升创意水平。”为此,爱奇艺将自身弘大的影视资料数据与大模型结合进行演习和微调,为影视家就地景开拓天生式AI的垂类运用,以此支持更多创作者开释创意。