LLM安全警报：开年王炸Sora引发四大安全担忧

OpenAI 继文本GPT-4和图像DALL·E 3模型发布之后，全新推出了AI生成视频模型 Sora[1]，能够根据用户的文本描述生成长达60秒的高质量视频。在许多AI视频还努力实现4秒视频的连贯性时[2]，Sora 却能够生成长达一分钟的视频，并且在整个过程中保持着用户所期望的视觉质量水平。

通过如下prompt可以生成60s视频（如图1），镜头从大中景无缝切换到脸部特写，主人公保持完美的一致性，连背景里面的人物都稳定得难以置信。Sora 可以生成带有动态摄像机运动的视频。随着摄像机的移动和旋转，人和场景元素在三维空间中一致移动，都很合理，也很贴合实际生活。

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

Sora综合应用了多帧预测技术、常识推理能力以及扩散模型等先进技术，并基于大量的视频数据开展训练，实现了对视频中复杂场景和对象遮挡问题的有效处理[3]。这些技术的综合使得Sora能够生成具有高度真实感和视觉连贯性的视频内容，从而满足了用户在视频创作和内容生成方面的多元化需求。对于那些寻求灵感或欣赏Sora生成视频的爱好者而言， https://soraprompts.co/ 提供了一个宝贵的资源，用户可以在此搜集和分享最佳的Sora prompts，以及欣赏由Sora技术生成的视频作品。

目前 Sora 并未对公众全面开放，仅邀请部分测试者进行体验，可以通过链接 https://openai.com/form/red-teaming-network申请加入红队测试中。随着Sora这类先进的AI生成技术的发展，我们面临着一系列跨领域的安全风险，这些风险覆盖了数据安全、模型安全、内容安全以及政治安全等关键领域。以下分析在AI生成模型的整个生命周期中可能遇到的安全隐患：

在AI生成模型的核心，存在一个普遍而影响深远的问题——训练数据中的偏见，这直接关联到伦理问题的产生。《科学》杂志上的一项研究[6]证实了AI在习得人类语言时也习得了各类偏见，这些偏见涉及种族、性别、年龄等。视频生成模型的挑战在于其多维性，这种模型不仅可能在文本层面展现偏见，还可能在视觉呈现、声音使用乃至整体叙事中体现出更为复杂的偏见形式。识别并应对这些偏见和伦理问题，要求我们对内容的文化背景和上下文有深刻的理解。然而，视频内容的多模态特性使得理解其上下文的难度显著增加。

对抗性攻击[4]在AI生成模型的应用中尤为突出。攻击者可能通过在训练数据集中植入有害信息，或在模型的输入端引入精心设计的微小扰动，以此欺骗模型，导致生成偏离真实或期望目标的内容。

以自动生成新闻摘要视频的模型为例，攻击者可以通过微调视频的某些关键帧，或在背景音乐中嵌入难以察觉的指令，进而生成传达完全不同消息的视频，有可能将和平抗议的报道篡改为虚假的暴力事件报道。视频数据的高度复杂性，不仅加大了对抗性攻击的可行性，也使得从技术上检测和防御这类攻击变得更为困难。

AI生成的视频内容在部署阶段带来的内容审查与版权问题尤为复杂多样。内容审查的核心目标是确保视频内容不传播误导性信息、不侵犯版权或个人隐私、不传播不适当或有害内容，同时尊重文化多样性和社会敏感性。美国三名漫画艺术家针对包括Stability AI在内的三家AIGC商业应用公司，在加州北区法院发起集体诉讼付费AI图像生成工具构成版权侵权。AI生成的视频容易侵犯包含背景音乐、视频片段、图像等多种元素的版权，特别是当其学习来源涉及广泛的互联网资源时，可能会不自觉地复制和再现受版权保护的内容。

在应用阶段，AI生成的视频内容，由于其强大的真实感和沉浸体验，更易被观众接受，从而增加了被滥用的潜在危害。2024年2月4日，有诈骗集团利用AI“深度伪造”技术向一家跨国公司的香港分公司实施诈骗，并成功骗走2亿港元[5]。OpenAI也承认无法预测人们滥用它的所有方式。专家们担忧如果利用AI生成视频传播虚假信息或进行政治宣传，可能会严重影响公共意见和选举结果。更极端的是，如果生成的视频包含极端暴力、仇恨内容，通过扭曲事实来冲击民众心理，可能会用于操纵公众舆论，破坏政府公信力，实现认知战[8]的目的。

综上分析，Sora等AI生成技术的强大潜力伴随着一系列跨领域的安全风险。面对这些挑战，我们必须采取跨学科的方法，不仅是技术创新，也需要结合法律法规和伦理指导原则，共同推进这一领域的健康发展，确保其应用不会对社会造成负面影响。

Sora的问世无疑标志着AI在视频生成领域的一大飞跃，同时也进一步揭示了AI生成模型在数据偏见与伦理规范、技术安全防护、版权尊重与内容监管，以及抵御操纵与滥用风险方面的不足。面对这些安全担忧，我们必须采取全面的防御策略，共同推动构建一个更安全、更公正、更有伦理的AI未来。

参考文献

[1] Sora, https://openai.com/sora

[2] OpenAI全新发布文生视频模型Sora，现实不存在了,    https://new.qq.com/rain/a/20240216A00JHH00

[3]  Video generation models as world simulators

[4] Adversarial Attacks on LLMs，https://lilianweng.github.io/posts/2023-10-25-adv-attack-llm/

[5] 《惊动美国白宫、有公司被骗2亿港元，AI “深度伪造”的罪与罚》，https://finance.sina.cn/usstock/mggd/2024-02-18/detail-inaininf3520045.d.html?oid=jFo&vt=4

[6] Semantics derived automatically from language corpora necessarily contain human biases

[7] Trader Feed，https://bit.ly/2mn3u1M 

[8] These artists found out their work was used to train AI. Now they’re furious , https://edition.cnn.com/2022/10/21/tech/artists-ai-images/index.html

[9] Deepfakes circulate of AI 'pan-Africans' backing Burkina Faso's military junta，https://www.france24.com/en/tv-shows/truth-or-fake/20230127-deepfakes-circulate-of-ai-pan-africans-backing-burkina-faso-s-military-junta