2022年4月,倒映有声(杭州倒映有声科技有限公司)旗下数字分身内容创作平台【一视同人】完成3.0版本升级。只需输入文字,就可以在该平台上利用数字分身IP生成音频和视频,从而赋能内容创作,是国内首个TTSA(基于文本和语音合成实时生成音频和视频)技术落地应用平台。【一视同人】数字分身内容创作平台既有知名人士数字分身IP、也有大量通用服务型数字分身IP以及动漫类数字分身IP供用户选择,用户无需拍摄、录制、剪辑,就可以在平台上一键实现文字到音频和视频内容的转化。
一键实现文字转音视频
赋能内容创作
在各大巨头纷纷布局元宇宙、虚拟数字人概念的时候,寻找可实现场景化落地的技术与工具产品,成为了掘金千亿蓝海市场的“定海神针”。早在2019年倒映有声团队就已经研发并上线了相关落地应用平台;2021年5月开放文字转音频功能投入市场,获得业内头部企业用户交口称赞;因市场时机契合与行业需求井喷,【一视同人】数字分身内容创作平台的文字转视频功能于近日面对用户开放,满足用户多种风格内容制作需求。
传统的音视频内容制作,需要涉及脚本撰写、录音或摄像设备支持、配音员或演员参与录制、专业人员现场拍摄、音视频剪辑等环节,至少需要一个团队配合来完成,制作单支音频或视频的时间成本与财务成本均较高。在【一视同人】数字分身内容创作平台,只需上传文字,选择风格匹配的数字分身IP,就可以生成带有生动形象的视频,覆盖内容播讲、直播带货、品牌宣传等诸多场景。一个运营者就可以完成从音视频策划到输出的环节,既提高了内容制作效率,又降低了制作成本,充分满足互联网时代对内容制作时效性的高频需求。同时,用户可以在线完成支付流程,智能便捷化操作更进一步将【一视同人】的平台属性放大。
自研TTSA技术 国内首落地应用
以数字分身构建虚拟世界基础
数字分身(Avatar)与虚拟人(Virtual Human)略有概念和制作技术上的不同。虚拟人在现实世界中并不存在,其身份、性格、行为特点均是虚构的,它所呈现的外观和行为是对人类的模仿。关于数字分身的技术逻辑,倒映有声创始人兼CEO肖朔介绍说,在【一视同人】数字分身内容创作平台上的数字分身IP(除动漫类IP之外),是对现实世界中人物声音与形象的复刻;通过倒映有声的技术“四驾马车”——TTSA(基于文本和语音合成实时生成音频和视频)、ETTS(富情感语音合成)、NLU(自然语言理解)、Digital Twins(数字孪生),仅需15分钟音画同步数据,就可以实现数字分身打造;而数字分身的身份与人设设定,既可以是完全复刻现实世界的人物,也可以进行一定艺术化包装;与现实世界拥有映射关系的数字分身,是构成和通往虚拟世界的基础。
倒映有声自研的TTSA(Text to Speech & Animation)技术即基于文本和语音合成实时生成音频和视频,具有文本语音双驱动、更加拟真、多模态交互三大特性,最终实现数字分身的音画生成,自主驱动和交互。通过语音+图像生成技术,并结合自然语言理解技术,生成数字分身的唇形、表情、动作、肢体姿态,创造自然、流畅、高拟真度的数字分身IP。
在【一视同人】数字分身内容创作平台上的数字分身IP,既能实现有情感的语音,也能做出自然的嘴型表达,并做出细节表情:高兴、愤怒、生气、沮丧等,实现面部五官的灵动表达。同时,根据语义理解,可以在交流中配合语音表达,做出丰富的肢体动作,如挥手、摊手、点头、皱眉等,解决当下虚拟数字人表情肢体僵硬、单一的问题,更加接近真人。用户可通过语音、文本、摄像头等多种方式,和数字分身进行交互;同时数字分身也会通过语音、文本、视频动画等多种方式进行交互反馈,可以适配更多的场景和应用。
布局数字分身IP生态
高拟人交互落地更多应用场景
据倒映有声创始人兼CEO肖朔介绍,【一视同人】数字分身内容创作平台将陆续开放两大能力:交互能力与数字分身IP自助制作能力,最终构建一个完整的数字分身IP生态。用户除了在平台上完成内容创作、产出播报型内容之外,还能利用数字分身实现交互,从而落地电商带货、客户服务、市场广告营销等应用场景。另外,用户也可以在平台上完成数字分身自助制作,只需极短时间即可打造个性专属数字分身,接轨虚拟世界的同时,在平台上实现数字分身IP交易。
根据量子位《虚拟数字人深度产业报告》数据预计,到2030年我国虚拟人整体市场规模将达到2703亿元人民币。【一视同人】数字分身内容创作平台的出现,既实现了TTSA技术的国内首次落地应用,拉近大众与虚拟世界的距离,也是其背后的团队倒映有声在千亿蓝海市场中为自己开辟的一条快车道。