喜马拉雅珠峰语音生成技术实现5秒极速克隆亮相云栖大会

喜马拉雅于2023年10月31日至11月2日亮相2023云栖大会,这一科技盛会将聚集全球科技和数字领域的精英,共同探讨云计算和人工智能的未来发展趋势。据悉,喜马拉雅将在本次大会上展示其最新的自研语音技术成果,包括喜马拉雅珠峰语音生成式大模型和第二代智能语音交互系统,为参会者展示AIGC与文娱音频产业深度融合的最新成果。

喜马拉雅珠峰语音生成式大模型是喜马拉雅的一项创新性技术,具备快速实现语音音色和风格定制的能力。这一技术支持丰富场景下的音色实时转换,为声音赋予了创造性的“变声”能力,宛如给声音涂上不同的“画皮”。此前,喜马拉雅珠峰实验室团队已通过AIGC方式创作了超过3.7万部有声书专辑,而AIGC作品的每日播放时长已超过250万小时。

在云栖大会现场,喜马拉雅展示了其自研的珠峰语音生成式大模型。该大模型由喜马拉雅珠峰智人团队与西北工业大学aslp lab展开合作,基于自研框架,实现音频与文本在统一框架下的稠密训练,用于语音生成任务,能够实现语音风格和音色的zero shot的学习和迁移,实现风格和音色的任意组合,同时,喜马拉雅基于阿里云数据湖3.0构建的云原生大数据平台为语音大模型训练提供了海量高质量数据,是喜马拉雅语音大模型不可或缺的“数据引擎”。

喜马拉雅首席科学家、珠峰实验室负责人卢恒介绍道:“喜马拉雅语音生成式大模型目前已取得显著突破,在音色定制方面实现5秒内声音‘极速克隆’。依据极少量的数据,该模型能够克隆出具有90%相似度的基本音色,并在短短的10秒内快速生成定制音频。未来,这项技术在短视频创作、数字人配音、人机交互对话、名人IP复刻等领域有望发挥出巨大的潜在价值,有效解决商业场景中的沟通需求痛点。”

喜马拉雅珠峰实验室资深产品专家吕睿韬在现场介绍道:“该语音大模型采用基于语音向量和语义标记的新型语音编解码器,其中语音向量包含用于高保真语音重建的声学细节,而语义标记(LLM)则侧重于语言建模的语音的语言内容,最终实现高效生成最富有语言表现力和最高保真度的语音(对话)内容。应用场景上,该语音大模型可应用于语音内容生成、口语对话、语音音色实时转换、说话风格迁移、语音到语音跨语种翻译、说话人匿名化等各种任务。”

喜马拉雅还将在云栖大会上展示其第二代智能语音交互系统。这一系统以阿里云的“通义千问”大模型为基础,以喜马拉雅儿童形象代言人“波波”为中心,将增强系统的自然连贯对话能力,凸显“波波”这一IP形象的特征。该智能语音交互系统已通过喜马拉雅儿童App和喜马拉雅提供服务,与家庭亲子用户进行陪伴对话。

图为2023云栖大会观众在现场体验声音“5秒极速克隆”

云栖大会作为云计算产业发展的见证者、参与者和推动者,自2009年以来见证了中国科技从网站、移动互联网走向云计算和人工智能的演进。此次云栖大会主题为“计算,为了无法计算的价值”,将完整展示云计算产业的生态,着重展示通用人工智能原生应用和大模型的先进成果,同时设有两场重磅主论坛和超过500个热点话题,邀请1000多位行业实干家,带来500余场主题分享与互动,以多种方式促进不同人群对云上创新的深刻理解。

作为深受用户喜爱的在线音频平台,喜马拉雅始终坚持“以科技赋能文化”。近年来,喜马拉雅在AI语音技术领域取得卓越成就,其中,喜马拉雅珠峰实验室专注于语音合成、语音识别、语音信号处理、编解码和智能音效的研究和开发。这使得喜马拉雅在多模态AIGC、软硬件结合等领域取得了丰富成果。

此前,喜马拉雅珠峰实验室运用AIGC技术能还原已故的评书大师单田芳先生的声音,并使用他的AI合成音来全新演绎经典之作。单田芳先生之子单瑞林对AIGC声音的表现赞不绝口,他形容听到AIGC声音时,仿佛父亲又回到这个世界。此次云栖大会期间,通过语音对话大模型训练的AI单田芳也用英文与现场观众问好。目前AIGC制作的“单田芳声音重现”系列专辑已突破100张,在喜马拉雅平台收获总播放量超1亿次。

AIGC技术的一大特点是提高内容生产效率,降低内容生产成本,并为创作者和用户提供更多可能性。通过行业领先的TTS技术,喜马拉雅已成为音频领域AIGC的先行者。喜马拉雅用户在收听音频内容的时候,已实现“边听边看”“听看一体”的内容消费体验,可以在收听页面同步阅读相应的文字内容。面向创作者,喜马拉雅AI工具“云剪辑”行业首款在线多轨剪辑轻应用,极大降低内容创作门槛,提升创作效率。“喜韵音坊”也上线了超40种AI音色,已经与喜马拉雅优质主播们展开合作,例如声音主播“一刀苏苏”就用真声打造的“苏小刀”AI音色。

在未来,喜马拉雅将继续以AI技术的加持,提高内容生产效率,增值用户体验,用技术为声音赋能,为用户的生活提供更多可能性。2023年杭州·云栖大会将成为数字和科技浪潮的重要盛会,而喜马拉雅的参展也将为大会倡导的科技与文化交融点缀一抹亮丽的音符。(作者:潇栋)

(编辑:索朗次仁)