对比过去的技术能力，新的技术所带来的效果是非常显著的。
一、语音生成进阶：只需三言两语，沉浸式、真实感的语音易如反掌
过去的语音生成依赖传统的声音克隆模型，由于模型比较小，精度低等原因，往往在实际操作上就要复杂得多。比如，在数据收集阶段，对目标人物的语音数据就要尽可能的多样化，包括不同的语速、语调、音量以及不同语境下的语音，需用到几百句话的录音。
然后到了预处理阶段，需要对收集到的语音数据进行清洗，通过人工标注等形式去除噪声、静音片段和其他不需要的部分。进而还要进行语音分割，将连续的语音信号切割成较小的语音片段（如音素或单词）。最后提取音频特征，再用于后续的声音建模。
以上，还只是数据收集和预处理，尚未进入真正的语音生成阶段。但其中的工作量和操作复杂度就已经很大了，对语音生成的效率和质量都是一个非常大的影响和挑战。
时至今日，随着技术的创新，基于更先进的模型，比如盘古媒体大模型的语音生成能力，这一问题得到了很好的解决。只需要几句话、几秒钟的声音，ai即可学习到个性化的音色、语调、表达韵律，从而获得高质量的个性化语音。同时，还支持喜怒哀乐等拟人情感语音，闲聊、新闻、直播等10多种语气风格，让生成的语音更真实、更有情感色彩，能沉浸式地应用到不同场景中。
比如，在视频译制中，ai将能做到配音演员的专业程度——通过盘古媒体大模型提供的视频翻译能力，ai可以把视频翻译为目标语言，并保留原始角色的音色、情感、语气。华为云也在积极联合伙伴逻辑智能，打造高感情语音克隆以及14国小语种配音，共同构建高感情超拟人多模态音频应用能力等。同时，再结合盘古媒体大模型的口型驱动模型，还可以实现音唇同步，尤其是在侧面、多人对话、物体遮挡以及人物移动等场景，也能做到很好的口型匹配。
二、视频生成跨越：只需几十张图，可控的、一致的视频唾手可得
传统的视频生成技术在资源需求、数据集、时序一致性、物理定律遵守、效率与质量平衡、可控性、逼真度和连贯性以及应用限制等方面都存在一定的局限性。如今，基于盘古媒体大模型，只需要训练几十张特定美学风格的图片，如吉卜利、二次元等风格，再输入实拍视频即可快速生成该风格的动漫视频。
除了按需时长生成稳定的动漫视频，再通过id一致性模型，还能对生成画面中的关键角色进行一致性处理，确保视频中角色样貌特征在前一帧和后一帧中所呈现的效果始终一致，在侧脸、运动轨迹下的视觉效果合理一致，由此增强ai视频生成的可控性、一致性，让视频内容更合理、真实。
此外，业内对视频生成的真实度、复杂度也在聚焦增强。比如，openai的sora正在试图模拟复杂的摄像机运镜，同时准确地保持角色和视觉风格一致，让ai创作的数字内容更加趋于现实创作。英伟达更是发布了一系列技术套件如ace（nvidia avatar cloud engine）、nemo™以及rtx™等，去增强数字内容的真实感，让数字人物的互动、对话更加复杂、逼真。
一、语音生成进阶：只需三言两语，沉浸式、真实感的语音易如反掌
过去的语音生成依赖传统的声音克隆模型，由于模型比较小，精度低等原因，往往在实际操作上就要复杂得多。比如，在数据收集阶段，对目标人物的语音数据就要尽可能的多样化，包括不同的语速、语调、音量以及不同语境下的语音，需用到几百句话的录音。
然后到了预处理阶段，需要对收集到的语音数据进行清洗，通过人工标注等形式去除噪声、静音片段和其他不需要的部分。进而还要进行语音分割，将连续的语音信号切割成较小的语音片段（如音素或单词）。最后提取音频特征，再用于后续的声音建模。
以上，还只是数据收集和预处理，尚未进入真正的语音生成阶段。但其中的工作量和操作复杂度就已经很大了，对语音生成的效率和质量都是一个非常大的影响和挑战。
时至今日，随着技术的创新，基于更先进的模型，比如盘古媒体大模型的语音生成能力，这一问题得到了很好的解决。只需要几句话、几秒钟的声音，ai即可学习到个性化的音色、语调、表达韵律，从而获得高质量的个性化语音。同时，还支持喜怒哀乐等拟人情感语音，闲聊、新闻、直播等10多种语气风格，让生成的语音更真实、更有情感色彩，能沉浸式地应用到不同场景中。
比如，在视频译制中，ai将能做到配音演员的专业程度——通过盘古媒体大模型提供的视频翻译能力，ai可以把视频翻译为目标语言，并保留原始角色的音色、情感、语气。华为云也在积极联合伙伴逻辑智能，打造高感情语音克隆以及14国小语种配音，共同构建高感情超拟人多模态音频应用能力等。同时，再结合盘古媒体大模型的口型驱动模型，还可以实现音唇同步，尤其是在侧面、多人对话、物体遮挡以及人物移动等场景，也能做到很好的口型匹配。
二、视频生成跨越：只需几十张图，可控的、一致的视频唾手可得
传统的视频生成技术在资源需求、数据集、时序一致性、物理定律遵守、效率与质量平衡、可控性、逼真度和连贯性以及应用限制等方面都存在一定的局限性。如今，基于盘古媒体大模型，只需要训练几十张特定美学风格的图片，如吉卜利、二次元等风格，再输入实拍视频即可快速生成该风格的动漫视频。
除了按需时长生成稳定的动漫视频，再通过id一致性模型，还能对生成画面中的关键角色进行一致性处理，确保视频中角色样貌特征在前一帧和后一帧中所呈现的效果始终一致，在侧脸、运动轨迹下的视觉效果合理一致，由此增强ai视频生成的可控性、一致性，让视频内容更合理、真实。
此外，业内对视频生成的真实度、复杂度也在聚焦增强。比如，openai的sora正在试图模拟复杂的摄像机运镜，同时准确地保持角色和视觉风格一致，让ai创作的数字内容更加趋于现实创作。英伟达更是发布了一系列技术套件如ace（nvidia avatar cloud engine）、nemo™以及rtx™等，去增强数字内容的真实感，让数字人物的互动、对话更加复杂、逼真。