短视频制作内存太大今日头条关于开展“清朗·整治AI技术滥用”专项行动的公告（六）

用户投稿 2025年09月08日 17:55:04 57 0

今日头条关于开展“清朗·整治AI技术滥用”专项行动的公告（六）

为贯彻落实监管要求，落实“清朗·整治AI技术滥用”专项工作要求，在专项行动期间，平台聚焦AI技术违规应用乱象，严厉打击 AI 生成虚假信息、低俗猎奇视频、违规使用 AI 技术侵犯隐私等行为，强化对 AI 内容的监管，依法依规即时处理违规内容，切实维护网络空间的清朗秩序。

2025年7月19日至7月25日，平台累计处理涉及AI技术滥用违规内容16311条，其中针对44个账号进行了不同程度的禁言或封禁处罚。

平台发现的典型案例：

短视频制作内存太大今日头条关于开展“清朗·整治AI技术滥用”专项行动的公告（六）

平台始终秉持积极引导、规范管理的原则，致力于营造一个安全、可靠、有益的网络生态环境。我们倡导并鼓励AI生成内容应秉持以下原则：一是合法合规，严格遵守国家法律法规，杜绝任何违法违规内容的生成与传播；二是真实准确，确保信息来源可靠、内容真实可信，避免误导性或虚假信息的产生；三是积极向上，传递正能量，促进社会和谐稳定，助力用户获取有益的知识与信息；四是尊重原创，保护知识产权，不得抄袭、剽窃他人作品或成果；五是安全可靠，保障用户数据安全，避免因技术漏洞或不当使用引发的安全风险。

平台会持续加强内容审核和管理，确保平台上的信息真实、准确、可信，如果您发现有任何涉及AI技术滥用违规内容，可通过以下方式进行举报：

内容详情页→右上角【···】→在底部弹窗中选择【内容举报】→举报

账号详情页→右上角【···】→在底部弹窗中选择【内容举报】→举报

发送详情至举报邮箱：jubao@toutiao.com

对于相关信息的举报，平台将在第一时间核实处理。今日头条愿与广大用户一起，共同营造良好社区氛围，净化网络空间。

头条安全中心

2025年7月25日

夸克、浙大开源OmniAvatar，一张图+一段音，就能生成长视频

近期，夸克技术团队和浙江大学联合开源了OmniAvatar，这是一个创新的音频驱动全身视频生成模型，只需要输入一张图片和一段音频，OmniAvatar即可生成相应视频，且显著提升了画面中人物的唇形同步细节和全身动作的流畅性。此外，还可通过提示词进一步精准控制人物姿势、情绪、场景等要素。

OmniAvatar已开源：

Model：https://huggingface.co/OmniAvatar/OmniAvatar-14BCode：https://github.com/Omni-Avatar/OmniAvatarArxiv：https://arxiv.org/abs/2506.18866Project Page：https://omni-avatar.github.io/

以下，是OmniAvatar在播客、唱歌、交互、动态背景等场景下的部分案例。

https://mp.weixin.qq.com/s/kSuN83WsDsQYmNs89e_wdg

实验表明，OmniAvatar在唇形同步、面部及半身视频生成、文本控制等多个维度上，均取得领先表现，并更好地平衡了视频质量、准确度、审美三要素。

此外，OmniAvatar专门针对长视频生成进行了优化，可以更好地保持人物一致性和时间连贯性。

模型能力

图片+音频=全身视频

当前，音频驱动人体运动的技术已取得显著进展，但大多数方法仍集中在面部运动，缺乏全身驱动的能力，且难以进行精确的提示词控制。

OmniAvatar以Wan2.1-T2V-14B为基础模型，利用LoRA方法进行微调，有效地引入了音频特征。这种结合不仅保留了Wan2.1-T2V-14B在视频生成方面的强大能力，还提高了模型对音频输入的适应性和生成质量。

OmniAvatar架构图

接下来，我们将通过一些具体案例，更详细地展示模型在多种场景下的能力。

OmniAvatar能够根据输入的音频和提示词，生成虚拟人物视频，其中，人物的唇形运动与音频内容吻合，场景则反映了提示词内容：

视频加载中...

通过调整提示词，还可实现对人物情绪的精确控制：

视频加载中...

在带有镜头运动的场景中，OmniAvatar仍能够保持面部、动作和背景的自然流畅，展现了模型在动态场景下的强大适应能力：

视频加载中...

对于长视频生成，OmniAvatar通过参考图像嵌入策略和帧重叠技术，确保了视频的连贯性和人物身份的一致性：

视频加载中...

像素级多层次音频嵌入策略

精准唇部运动+自然肢体动作

大多数现有方法通常依赖交叉注意力机制来引入音频特征，虽然效果良好，但会引入大量额外的计算开销，并且容易过度关注音频与面部特征之间的关系。

针对这一问题，团队提出了一种基于像素的音频嵌入策略，使音频特征可以直接在模型的潜在空间中以像素级的方式融入。通过这一方法，不仅可以自然地将唇部运动与音频内容对齐，还能够确保音频信息在整个视频像素中均匀分布，从而使模型生成更协调、更自然的身体动作来匹配音频。

该策略首先使用Wav2Vec2模型提取音频特征，然后对这些特征进行分组打包和压缩，再通过音频打包模块映射到视频的潜在空间中。

接下来，为了确保模型在深层网络中能有效地学习和保留音频特征，OmniAvatar采用了一种多层级音频嵌入策略，将音频信息嵌入到DiT模块的不同阶段中。为防止音频特征对潜在空间产生过度干扰，音频嵌入仅应用于模型的第二层至中间层之间的模块。此外，这些层的权重不共享，使模型能够在不同层次上保持独立的学习路径。

基于LoRA的优化策略

平衡微调，兼顾质量与细节

目前，针对音频条件扩散模型的方法主要遵循两种策略：一种是训练完整的模型，另一种是仅微调特定层。

在进行完整训练时，团队发现更新所有层反而会导致模型生成的连贯性和视频质量下降。具体来看，由于模型过度拟合人类语音数据集，导致泛化能力差，容易生成不切实际或静态的内容，难以捕捉细节。但另一方面，仅微调和音频特征相关的层会导致音频和视频之间的对齐效果差，唇形同步性能受损。

效果对比

为了解决这些挑战，团队提出了一种基于LoRA的平衡微调策略。该策略不同于以上两种方法，而是使用LoRA策略高效地适应模型。LoRA通过在注意力和前向传播（FFN）层的权重更新中引入低秩矩阵，使模型能够在不改变底层模型容量的情况下学习音频特征。

长视频生成

身份保留+时间一致性

长视频连续生成是音频驱动视频生成的难点，也是一项关键挑战。为此，团队提出了参考图嵌入和重叠帧策略，以实现人物的身份保留和时间一致性。

代码示例

身份保留。OmniAvatar引入了一个参考帧，作为人物身份的固定指导。具体来看，首先需提取参考帧的潜在表示；然后将这些表示多次重复，使其长度与视频帧数匹配；接下来，再在每个时间步，将这个重复的参考帧潜在表示与视频潜在表示进行连接。因此，通过参考帧设计，可有效锚定人物身份，确保在整个长视频序列中的人物一致性。

时间一致性。为了实现无缝的视频连续性，OmniAvatar采用了一种潜在重叠策略。首先，在训练时使用单帧和多帧前缀潜在变量的组合进行训练；其次，在推理过程中，对于第一批的帧，参考帧既作为前缀潜在变量，又作为身份指导；对于后续批次，则用前一组的最后帧作为潜在变量，参考帧仍保持固定用作身份指导。

One More Thing

OmniAvatar是团队在多模态视频生成上的初步尝试，并在实验数据集上得到了初步验证，但尚未达到产品级应用水平。未来，团队还将在复杂指令处理能力、多角色交互等方面进一步探索，扩大模型在更多场景中的应用。