ChatGPT在诸多领域都有着似乎还不错的发挥,那么,如果是将机器学习技术应用于网络安全任务,例如识别恶意链接,ChatGPT在这方面的表现又究竟会如何呢?上个月,卡巴斯基就专门对此做了一项实验。
卡巴斯基先是向ChatGPT询问“该链接是否指向钓鱼网站”,这时的检出率为87.2%,误报率为23.2%。而这意味每访问五个网站就有一个网站被误杀,虽然检出率非常高,但与此同时的误报率无法接受。
接着,卡巴斯基换了一种方式,直接询问ChatGPT“该链接是否安全”,这一次,检出率提高到了93.8%,但同时误报率也飙升到了64.3%。总体而言,ChatGPT的成绩不能算是特别理想。
卡巴斯基最后给出的结论是,他们认为ChatGPT的表现与他们对一个实习级钓鱼分析师的期望相当,可用于协助真人分析师的工作,例如突出显示URL中可疑的部分,并提供可能的攻击目标建议。但也仅止于此,ChatGPT及LLM目前尚不足以从根本上改变网络安全,至少在钓鱼检测方面是如此。
一个多月后,日本的一家安全公司NTT Security Holdings也对此做了相类似的实验,但是他们得出的实验结果相对要积极许多——ChatGPT(GPT-4)在检测网络钓鱼网站方面的准确率超过了98%。
相比卡巴斯基,NTT在实验中为ChatGPT提供了更多的提示。他们指导ChatGPT将任务拆分为了四个步骤:
社会工程学分析(识别网站是否包含对用户进行心理操纵的文本,例如虚假奖励、虚假病毒感染警报)。
品牌名称提取(对比URL和提取的品牌的合法域名,以确定目标网站是否冒充了一个服务或公司。)。
解释决策过程(令ChatGPT解释其决策的理由,以提高响应的准确性并更便于响应分析)。
结果输出(以JSON格式输出网络钓鱼分数、品牌名称、是否是网络钓鱼站点、域名的可疑性)。
实验结果显示,GPT-3.5的检出率为86.7%,误报率为1.5%;GPT-4的检出率为98.4%,误报率为1.7%。NTT认为ChatGPT确实能够高精度地检测网络钓鱼网站。同时,NTT发现,ChatGPT在上下文分析、确定域名是否合法、识别网络钓鱼网站中使用的社会工程学技术方面具有出色的表现。
网络工具层出不穷,安全风险则不可忽视。人员安全意识是企事业单位网络安全保护的第一道防线。为提升全民网络安全防范意识,天融信教育推出网络安全意识系列产品和服务。详情请咨询~
网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。
加入交流群
请使用微信扫一扫!