[智能应用]Meta 公布 Reels 短视频音频翻译功能，利用 AI 多语言配音对口型 [复制链接]

IT之家 8 月 24 日消息，Meta 现已正式公布一项 Reels 短视频音频翻译功能，首批上线 Facebook 与 Instagram 平台，主要利用 AI 将短视频内的人物说话声自动翻译成不同语言，该功能可大幅降低多语言视频制作成本，帮助已经具备多语言内容的创作者更高效地分发作品。
据介绍，相应 AI 模型支持嘴型对齐、可同步翻译两人对谈内容，同时可根据双方音色特性合成与本人声线相似的翻译音轨进行区别细分，使视频表现更加自然。
IT之家注意到，目前相应功能暂仅支持英语、西班牙语，官方建议创作者在拍摄时采用面向镜头的“直述型内容”，保持清晰发音、减少背景噪音，以提高翻译与嘴型同步的准确度。
除了自动翻译外，Meta 还为 Facebook 端提供多语言音轨上传选项，创作者可通过 Meta Business Suite 的 Reels 编辑器，为单条视频上传最多 20 条不同语言的音轨，并标注语言类别，相应音轨可在发布前或发布后进行增删或替换，观众会根据其语言设置自动播放对应版本。

Meta 最新发布的 Reels 短视频 AI 音频翻译功能 是其跨语言内容创作工具的重要升级，通过多语言配音与精准嘴型同步技术，显著降低视频全球化传播门槛。以下是核心功能解析与使用指南：

🔍 一、核心功能亮点
AI 多语言配音 & 实时嘴型同步

利用 AI 模型自动翻译短视频原声（如英语→西班牙语），并生成与说话者口型精准匹配的新音轨134。
支持双人对谈场景，可区分不同说话者的音色特征，生成贴合原声的翻译语音13。
示例：英语访谈视频可自动生成西班牙语版，人物口型与翻译语句完全同步25。
多语言音轨管理（Facebook 端专属）

创作者可为单条视频上传 ≤20 条 不同语言配音，通过 Meta Business Suite 的 Reels 编辑器管理135。
音轨支持发布前/后增删替换，观众将根据系统语言设置自动匹配版本35。
📌 二、当前使用限制与优化建议
支持语言：仅限英语 ↔ 西班牙语互译，后续或将扩展

拍摄要求：
采用面向镜头的直述形式，避免侧脸或肢体遮挡13。
保持清晰发音，减少背景噪音以提升翻译准确度15。
地域限制：受地方法规影响，暂不适用于美国得克萨斯州、伊利诺伊州用户67。
💡 三、创作者价值与生态影响
成本效率：取代传统多语言视频的后期配音流程，制作成本降低超 70%15。
分发优化：帮助多语言内容创作者一键覆盖全球受众，提升作品传播效率14。
技术延伸：结合 Meta 早前公布的 audio2photoreal 框架（输入音频生成人物动作）8，预示未来或实现全自动虚拟主播多语言播报。
▶️ 四、操作路径（Facebook & Instagram）
平台    功能入口    关键操作
Instagram    Reels 创作界面 → AI 翻译选项    启用自动翻译，选择目标语言26
Facebook    Meta Business Suite → Reels 编辑器    手动上传/管理多语言音轨35
💎 行业意义：Meta 此举将 AI 音视频技术落地至十亿级用户平台，为短视频创作者提供“无障碍跨语言传播”基础设施。结合其 2024 年测试阶段的 AI 同传功能（支持用户用原声“说外语”）67，Meta 正构建从创作、翻译到分发的完整全球化内容生态

Meta 推出 Reels 短视频音频翻译功能

Meta 最近宣布了一项新的功能，旨在提升其短视频平台 Reels 的多语言内容创作和分发效率。这项功能已经在 Facebook 和 Instagram 上线，主要利用人工智能技术将短视频内的人物说话声自动翻译成不同的语言。以下是该功能的一些关键特点和优势：

1. 多语言支持：
   - 目前，该功能支持英语和西班牙语两种语言。
   - 官方建议创作者在拍摄时采用面向镜头的“直述型内容”，保持清晰发音、减少背景噪音，以提高翻译与嘴型同步的准确度。

2. AI 技术的应用：
   - 嘴型对齐：AI 模型能够实现嘴型与翻译音频的高度对齐，使得视频表现更加自然。
   - 双人对谈翻译：AI 可以同步翻译两个人的对话内容，并根据双方的音色特性合成与本人声线相似的翻译音轨，进行区别细分。

3. 多语言音轨上传：
   - Meta 为 Facebook 端提供了多语言音轨上传选项。
   - 创作者可以通过 Meta Business Suite 的 Reels 编辑器，为单条视频上传最多 20 条不同语言的音轨，并标注语言类别。
   - 这些音轨可以在发布前或发布后进行增删或替换，观众会根据其语言设置自动播放对应版本。

4. 降低制作成本：
   - 该功能可以大幅降低多语言视频的制作成本，帮助创作者更高效地分发作品。
   - 特别是对那些已经具备多语言内容的创作者来说，这一功能无疑是一个巨大的福音。

5. 用户体验提升：
   - 观众可以根据自己的语言设置自动播放对应的翻译音轨，从而获得更好的观看体验。
   - 这也有助于扩大内容的受众范围，增加视频的全球影响力。

总的来说，Meta 的这项新功能不仅提升了短视频内容的多样性和可访问性，也为创作者提供了更多的创作自由和便利。随着技术的不断进步，未来可能会有更多的语言被纳入支持范围，进一步推动全球文化交流和传播。