《新民周刊》对话知道创宇鄢晓玲：直面AI诈骗，绝不坐以待毙
《新民周刊》对于AI诈骗的相关话题进行了报道，作为国内专业的网络安全公司，知道创宇这些年在进行内容风控的过程中积累了丰富的经验。《新民周刊》采访了知道创宇业务安全产品线总经理鄢晓玲，围绕AI诈骗现象频出的相关问题进行了深入交流。
深度合成技术平民化，
AI诈骗全国范围爆发
早在2019年国内就出现过换脸软件“ZAO”，导致许多明星和名人被恶搞被造黄谣，据报道，2019年也出现了第一起“AI换声”诈骗。不仅是国内，国外的AI诈骗案件数量近年来也呈现明显上升的趋势，造成的财产损失数额也越来越大。
A换脸、Al换声主要使用的是深度合成技术。随着深度合成技术的开源开放，还有相关的产品和服务的增多，深度合成技术门槛越来越低，逐渐被别有用心的普通人利用制作深度合成内容。
在《新民周刊》对此问题的专访中，鄢晓玲发表了见解：无论是之前的AI语音、AI换脸，还是现在由AIGC生成的语音、视频，它们底层用的都是同样的算法和技术。ChatGPT的发布和开放，很大程度上带动了AIGC的开源社区的活跃度，从而涌现出了大量的开源模型和成熟产品。以前的图文比较割裂，但现在的技术就像“大脑”一样，可以让图文音视等多个模态，完美地结合起来，并自如地去切换和应用，从而能更容易地生成那些逼真的诈骗素材。
理论上看，
技术的提升导致诈骗率提高
关于AI诈骗率的提高，在《新民周刊》专访中，鄢晓玲表示，现在一下子推出了那么多成熟的应用和产品，让普通人都能轻易上手，也使得骗子更容易制作出逼真的音视频素材去进行诈骗。
“原来只能生成一些相对来说比较静态的，或者是固定套路、固定话术的内容。但是现在有了一些底层的知识和一些预设的身份以后，你就可以跟AI数字人自如地对话了，这在以前是做不到的，只会在影视剧的制作中使用类似的技术。”
“从理论上来说，技术的提升导致了诈骗成功率的提高。”
——知道创宇业务安全产品线总经理鄢晓玲
定制化AI骗局，
让人防不胜防
鄢晓玲在专访中谈到，现在的骗子都是聪明人，会拿捏受害人心理，比方说利用人的虚荣心，利用中国人爱面子、不好意思拒绝，或者利用一些人爱贪便宜、爱猎奇猎艳的心理，都很容易陷入裸聊杀猪盘等诈骗圈套中。最终骗子会通过AI技术筛选目标人群，短时间内生产出定制化的诈骗脚本。例如情感诈骗的骗子会筛选经常发布感情类信息的人群，金融诈骗的骗子会筛选经常搜索投资理财信息的人群，也就是所谓精准诈骗。
身为业界专家的鄢晓玲也不禁感慨，这么多年来的反欺诈、违法违规内容甄别工作，让她有了更深刻的感受，“现在的AI骗局很容易，骗子通过事先详细的‘功课’，做到定制专门的骗局脚本获取受害人的信任，让人防不胜防”。
面对AIGC时代风险，
知道创宇不会坐以待毙
内容风险类型包括但不限于误导性和虚假信息、不当或违法内容、深度伪造的内容、恶意利用的安全事件、伦理道德、歧视性内容和隐私泄露。
鄢晓玲表示，作为普通人就算很了解AI生成的一些原理和背景，也会很难用肉眼去识别一些东西到底是出自于AI还是出自于我们人类生产，但这不代表我们会坐以待毙，我们拥有技术去判断、去识别。
知道创宇的团队从2012年就开始与腾讯合作，进行反欺诈和反违法违规内容的模型识别工作。后来又开始与抖音、微博、快手和京东等大厂合作。
点击了解知道创宇AIGC内容风控解决方案
用AI算法打败内容风险
对于AI诈骗和其他利用AI技术的情况，《新民周刊》以“用魔法打败魔法”为题进行了讨论。
鄢晓玲表示，利用算法在一定程度上能够识别哪些是否是AI生成，让算法具备这样的能力需要大量标注和训练，告诉它哪些内容是AI生成和人类生成的，再通过一部分人工去验证AI识别的准确性，通过不断训练模型去反哺AI。
“硬件、算法和数据，是Al的三个核心要素。通俗来看，硬件，可以把它理解为是教室，它是Al能够去学习的物理条件；算法是老师，它给AI模型的训练制定规则，解决怎么学习的问题；数据则是教材，它决定了Al模型会学到点什么，也就是学什么的问题。由此不难看出，算法和数据非常重要，如果模型设计中带有偏见、不公、歧视或者某些缺陷，又或者数据中包含了非常多‘杂质’， 那么培育出来的AI就有可能‘失控’。”
“举个简单的例子，在涉政领域，对于国家主权、种族歧视，还有各种分裂者的一些观点，训练者会把这种有诱导性的问题抛给模型，看模型怎么回答，然后通过人工干预，让AI建立起边界感，‘不能一本正经地胡说八道’。就像在学校里学习的孩子，毕业的时候要经过一个基本的考试。面向社会公众使用的Al模型，同样应该经过一些基线评测。”鄢晓玲说。
知道创宇目前正在向相关部门提供一些方案，力争能够早日达成业界共识。
在AI诈骗、AIGC内容风险泛滥的当下，作为深耕内容安全领域、具备多年内容安全实践经验的网安企业，知道创宇责无旁贷，将以自身技术能力直面危机，不断寻找解决方案。
愿同社会各界一道，乘内容安全之风，破AIGC时代之浪，为清朗网络空间贡献一份力量。
网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。
- 上周热门
- 如何使用 StarRocks 管理和优化数据湖中的数据？ 2944
- 【软件正版化】软件正版化工作要点 2863
- 统信UOS试玩黑神话：悟空 2823
- 信刻光盘安全隔离与信息交换系统 2717
- 镜舟科技与中启乘数科技达成战略合作，共筑数据服务新生态 1251
- grub引导程序无法找到指定设备和分区 1217
- 华为全联接大会2024丨软通动力分论坛精彩议程抢先看！ 163
- 点击报名 | 京东2025校招进校行程预告 162
- 2024海洋能源产业融合发展论坛暨博览会同期活动-海洋能源与数字化智能化论坛成功举办 160
- 华为纯血鸿蒙正式版9月底见！但Mate 70的内情还得接着挖... 157
- 本周热议
- 我的信创开放社区兼职赚钱历程 40
- 今天你签到了吗？ 27
- 信创开放社区邀请他人注册的具体步骤如下 15
- 如何玩转信创开放社区—从小白进阶到专家 15
- 方德桌面操作系统 14
- 我有15积分有什么用? 13
- 用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
- 如何让你先人一步获得悬赏问题信息？（创作者必看） 12
- 2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
- 中央国家机关政府采购中心：应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8
