您的位置: 首页> 资讯 > 正文

一波未平一波又起?AI大模型再出邪恶攻击工具

2023-08-10 11:21:28 来源:科技云报道

AI大模型的快速向前奔跑,让我们见识到了AI的无限可能,但也展示了AI在虚假信息、深度伪造和网络攻击方面的潜在威胁。

据安全分析平台Netenrich报道,近日,一款名为FraudGPT的AI工具近期在暗网上流通,并被犯罪分子用于编写网络钓鱼电子邮件和开发恶意软件。

黑客在售卖页表示,该工具可用于编写恶意代码、创建出“一系列杀毒软件无法检测的恶意软件”、检测网站漏洞、自动进行密码撞库等,并声称“该恶意工具目前已经售卖了超过3000份”。


【资料图】

恶意AI工具FraudGPT:可自动生成多种网络攻击代码

据报道,FraudGPT的运作方式是通过草拟一封电子邮件,以高度可信的方式诱使收件人单击所提供的恶意链接。它的主要功能包括:

创建钓鱼网站页面

FraudGPT可以生成看似真实的网络钓鱼电子邮件、短信或网站,诱骗用户泄露敏感信息,例如登录凭据、财务详细信息或个人数据;

找到最容易受害的目标

聊天机器人可以模仿人类对话,与毫无戒心的用户建立信任,导致他们在不知不觉中泄露敏感信息或执行有害操作;

创建无法检测的恶意软件

FraudGPT可以创建欺骗性消息,引诱用户点击恶意链接或下载有害附件,导致其设备感染恶意软件;

编写欺诈的短信、邮件

人工智能驱动的聊天机器人可以帮助黑客创建欺诈性文件、发票或付款请求,导致个人和企业成为金融诈骗的受害者。

据悉,FraudGPT是由名为 "CanadianKingpin" 的开发者提供。

它主要基于GPT-3的大型语言模型,在经过训练后,可以生成合乎逻辑且与事实相符的欺诈性文本。一旦付费购买,FraudGPT便可以帮助犯罪分子成功进行网络钓鱼和诈骗。

在发布FraudGPT后,Canadiankingpin还创建了自己的电台频道,宣布将提供其他欺诈服务,包括销售电子邮件线索、信用卡CVV码等。根据Canadiankingpin的描述,他目前已经通过了EMPIRE、WHM、TORREZ、ALPHABAY在内的多个暗网市场的供应商认证。

然而由于这些暗网市场极强的隐蔽性和不透明性,目前Canadiankingpin的身份依然是个谜团,调查者也仅找到了Canadiankingpin的TikTok账号以及相同id的Gmail邮箱。而另一个令人感到沮丧的消息是,在经历了近一周的研究后,Netrich也并未能够实现对FraudGPT背后的大语言模型的破解。

虽然自FraudGPT发布仅过去了不到两周,但一个明显的事实是,这款“顶级AI工具”已开始被利用到了实际的犯罪行为中。在部分销售FraudGPT的暗网中,Canadiankingpin与一些订阅用户已经分享了多起他们基于FraudGPT所实现的黑客活动。

据Netrich统计,FraudGPT至少自7月22日便开始在暗网市场和Telegram频道中流通,订阅费用为200美元/月,1700美元/年。相比于ChatGPT Plus订阅20美元/月,价格高了10倍。

截止目前,暗网上已存在了超过3000条确认的订阅信息及评论。

恶意AI攻击工具:降低网络犯罪的进入门槛

事实上,AI工具降低了网络犯罪分子的进入门槛,FraudGPT已经不是第一起案例。

即便Claude、ChatGPT 、Bard等AI提供商会采取一些措施来防止他们的技术被用于不良目的,但随着开源模型的崛起,犯罪分子的恶意行为很难被遏制。

7 月初,基于开源大语言模型GPT-J开发而成,并且使用大量恶意代码进行训练和微调的WormGPT也曾引发关注。

据悉,WormGPT擅长使用Python代码执行各种网络攻击,例如:生成木马、恶意链接、模仿网站等,其在创作诈骗信息和钓鱼邮件等任务上所表现出的“卓越”能力让人胆战心惊。

但相比之下,FraudGPT在功能丰富性和编写恶意软件方面的功能更强大。

事实上,除了上文所提到的FraudGPT、WormGPT等专为恶意活动而生的聊天机器人外。

大语言模型本身所潜藏的风险也在不断给安全从业者们带来挑战,除了我们所熟知的幻觉问题外,大模型脆弱的护栏也在成为网络安全的一大噩梦。

上个月ChatGPT、Bard等聊天机器人暴露出的“奶奶漏洞”就证明了这样的事实,只需要通过提示让这些聊天机器人扮演用户已故的祖母,便能欺骗它们在讲睡前故事的过程中透露大量限制信息,甚至是手机IMEI密码或Windows激活秘钥。

除此之外,CMU和人工智能安全中心的研究员还发现了另一种通用方法,只需要附加一系列特定无意义token,就能够生成一个prompt后缀。

而一旦在prompt中加入这个后缀,通过对抗攻击方式,任何人都能破解大模型的安全措施,使它们生成无限量的有害内容。

尽管在过去几个月中,OpenAI、谷歌等世界顶级科技公司都在努力为自己所研发的大模型设计更多更加完善的限制措施,以保障模型能够在安全稳定的情况下工作。

但显而易见的是,直至目前仍然没有人能够完全避免类似问题的发生。

当犯罪门槛降低企业如何防范

毋庸置疑,无论是WormGPT ,还是FraudGPT ,这类极具威胁性的AI工具,都在为促进网络犯罪和诈骗“赋能”。

安全分析平台Netenrich曾表示:“这项技术会降低网络钓鱼电子邮件和其他诈骗的门槛。随着时间的推移,犯罪分子将找到更多方法来利用我们发明的工具来增强他们的犯罪能力。”

当AI工具的邪恶面被淋漓尽致的展现,再加之网络攻击「低门槛」,加强防御策略显得尤为重要。

为此,有专家针对个人和企业,提出了一些可采取的关键措施,以确保免受 FraudGPT和类似AI工具威胁的影响。

对在线通信保持警惕

不要乱点击陌生的网站链接、邮件,安装未知的软件。同时,针对需要验证、涉及敏感信息、金融交易的意外电子邮件,应通过官方渠道加以验证。

及时了解网络安全措施

定期更新安全软件、安装补丁并使用信誉良好的防病毒程序来防范潜在威胁。同时,也需要了解最新的网络安全实践,增强网络攻击的防御意识。

警惕未知的链接和附件

不要点击未知来源的链接或打开附件。FraudGPT可以生成指向网络钓鱼网站的逼真URL,因此,在点击任何链接之前验证发件人的身份至关重要。

教育和培训员工

对于企业来说,网络安全最佳实践的员工培训至关重要。确保员工了解潜在威胁并知道如何识别可疑活动。如果员工遇到任何可疑消息,应该立即向IT部门报告。

结语

AI大模型的快速发展在给诸多领域带来积极影响的同时,随着模型能力的不断提升,也被运用在恶意活动中,破坏力与日俱增。

但无论是FraudGPT、WormGPT等恶意软件的出现,还是大模型总会出现的幻觉、越狱等问题,其实都不是为了告诉我们AI有多么危险,而是在提醒我们需要更加专注于解决现阶段AI领域所存在的诸多问题。

正如网络安全专家Rakesh Krishnan在一篇关于FraudGPT的分析博客中所写的那样:技术是一把双刃剑,网络犯罪分子正在利用生成式AI的能力,而我们同样可以利用这种能力攻克他们所提出的挑战。

技术作恶者不会停止创新,我们同样不会。

值得欣慰的是,目前无论在国内外,政府及科技企业都在积极完善有关人工智能的监管政策及相关法规。

七月中旬,国家网信办已联合六部门发布了《生成式人工智能服务管理暂行办法》;七月底,美国7家AI巨头也与白宫达成协议,将为AI生成内容添加水印。

近来多个包含数据采集和使用不规范等问题的AIGC应用被要求在苹果商店下架一事也证明着监管措施正在发挥积极作用。

虽然关于人工智能,无论在技术还是监管方面我们都还有很长的道路需要去探索,但相信随着各界的共同努力,许多问题都将在不久后迎刃而解。

相关阅读

别怪ChatGPT,AI黑客攻击早已开始

生成式AI大模型,或将撼动云服务市场格局

AI攻击AI,升级的网络安全战

【科技云报道原创】

转载请注明“科技云报道”并附本文链接

原文标题:一波未平一波又起?AI大模型再出邪恶攻击工具

关键词:

资讯
业界
企业
骑闻
产品
一波未平一波又起?AI大模型再出邪恶攻击工具
AI大模型的快速向前奔跑,让我们见识到了AI的无限可能,但也展示了AI在
2023-08-10
蔚能电池新增AI软件开发业务
天眼查App显示,近日,武汉蔚能电池资产有限公司发生工商变更,经营范
2023-08-10
破门乏术“京津德比”平局收场
原标题:破门乏术“京津德比”平局收场北京日报讯(记者王洋)昨晚,北
2023-08-10
新款北京现代伊兰特发布,外观与尺寸升级,即将亮相成都车展
近日,有关新款北京现代伊兰特(图片|配置|询价)的实车图曝光,这款中期
2023-08-10
于洋:北京球迷还把我当成家人我也一样,任何队都有困难的时候
直播吧8月9日讯中超联赛第21轮,天津津门虎主场0-0战平北京国安。赛后
2023-08-09
建德市是哪个省的城市啊(建德市是哪个省的)
导读1、建德市是县级市,隶属于杭州市(地级市)。2、我是浙江温州的,
2023-08-09
  中新网海口1月23日电(符宇群)海南省第六届人民代表大会第五次会议23日在海口举行第二次全体会议。海南省人民检察院检察长张毅在作报告
2022-01-24
  中新网太原1月23日电 (高雨晴 冉涌 张鹏宇)记者23日从国网山西省电力公司获悉,该公司冬奥保电应急发电队伍已到达河北张家口赛区,
2022-01-24
  中新网西宁1月23日电 (记者 李江宁)据青海省地震局23日消息,中国地震台网正式测定,北京时间2022年1月23日10时21分,在青海海西州德
2022-01-24
  中新网贵阳1月23日电 (周燕玲)对外开放,是内陆开放型经济试验区贵州正在召开的两会热点词汇,如何拓展海内外“朋友圈”助力贵州经济
2022-01-24
温馨生活好young 厦门推广文旅产品火爆全网
  中新网厦门1月23日电 (记者 杨伏山)“冬日暖阳厦门好young”福建省内宣传推广线下活动22日精彩收官。主办方称,本次活动火爆全网及福
2022-01-24
宁夏非遗传承人:刻刀里的守正创新更有“年味”
  (新春见闻)宁夏非遗传承人:刻刀里的守正创新更有“年味”  中新网银川1月23日电 题:宁夏非遗传承人:刻刀里的守正创新更有“年味
2022-01-24
沧州:8个重大科技专项项目确定 引领经济社会高质量发展
为充分发挥科技在经济社会高质量发展中的引领和支撑作用,沧州市确定8个项目为2021年全市重大科技专项项目。这8个重大科技专项项目分别为:
2022-03-19
  中新网海口1月23日电(王子谦 符宇群)海南省高级人民法院院长陈凤超23日说,2021年海南法院为自贸港建设提供坚强司法保障,全年有效管
2022-01-24
  新华社武汉1月23日电(记者王贤)随着春节假期临近,从广州、深圳等地返回湖北的旅客较多。为此,23日,武汉站、汉口站、襄阳东站、十堰
2022-01-24
  1月22日0—24时,广东省新增本土确诊病例3例和本土无症状感染者1例,均为珠海报告。23日,珠海市疫情防控新闻发布会上,珠海市政府副秘
2022-01-24
青海海西州德令哈市发生3.7级地震
  据中国地震台网正式测定,1月23日11时58分在青海海西州德令哈市发生3 7级地震,震源深度9千米,震中位于北纬38 40度,东经97 35度。
2022-01-24
  北京2022年冬奥会和冬残奥会颁奖花束已于近期完成交付。与传统的鲜切花不同,这些花束全部采用上海市非物质文化遗产“海派绒线编结技艺
2022-01-24
  中新网宿迁1月23日电 (刘林 张华东)核酸检测是当下及时发现潜在感染者、阻断疫情传播的有效方法。23日,记者从宿迁市宿豫区警方获悉
2022-01-24
  记者从天津市人社局获悉,从明天(24日)起,天津2022年度第一期积分落户申报工作正式开始,这是新修订的《天津市居住证管理办法》《天津
2022-01-24
  中新社北京1月23日电 (记者 刘亮)记者23日从中国海关总署获悉,2021年,中国海关组织开展“国门绿盾”专项行动,在寄递、旅客携带物
2022-01-24
  记者从天津市疫情防控指挥部获悉,天津疫情第341—360例阳性感染者基本信息公布。  目前,这20例阳性感染者已转运至市定点医院做进一
2022-01-24
“最美基层民警”武文斌:案子破了最管用
  中新网吕梁1月23日电 题:“最美基层民警”武文斌:案子破了最管用  作者 高瑞峰  同事称他为“拼命三郎”。从警14年,武文斌破
2022-01-24
  据“西安发布”消息,截至2022年1月23日,雁塔区长延堡街道近14天内无新增本地病例和聚集性疫情。根据国务院联防联控机制关于分区分级
2022-01-24
  中新网西宁1月23日电 (记者 孙睿)据青海省地震台网测定,2022年1月23日10点21分(北京时间)在青海省海西州德令哈市(北纬38 44度,东经
2022-01-24
江西南昌:市民赏年画迎新年 书法家挥毫送春联
  (新春见闻)江西南昌:市民赏年画迎新年 书法家挥毫送春联  1月23日,“赏年画过大年”新年画作品联展江西南昌站活动在江西省文化馆
2022-01-24
  中新网成都1月23日电 (祝欢)成都市第十七届人民代表大会第六次会议23日在成都举行,成都市中级人民法院院长郭彦与成都市人民检察院检
2022-01-24
列车临时停车3分钟救旅客
  (新春见闻)列车临时停车3分钟救旅客  中新网广州1月23日电 (郭军 黄伟伟)“车长,车长,4号车厢有位旅客腹涨难忍,身体不舒服”…
2022-01-24
女子背负命案潜逃24年 因涉疫人员核查落网
  中新网湖州1月23日电(施紫楠 徐盛煜 赵学良)1998年7月,犯罪嫌疑人杜某因家庭琐事,用菜刀将自己的弟媳砍伤致死。案发后,她从老家河
2022-01-24
广东“00后”雄狮少年锤炼功夫迎新春
  (新春见闻)广东“00后”雄狮少年锤炼功夫迎新春  中新社广州1月23日电 题:广东“00后”雄狮少年锤炼功夫迎新春  作者 孙秋霞 
2022-01-24
05-20 中国旅游日!河北创新发展“旅游+” 打造“京畿福地 乐享河北”品牌
中国旅游日!河北创新发展“旅游+” 打造“京畿福地 乐享河北”品牌
5月19日是第12个中国旅游日。今年中国旅游日主题为感悟中华文化,享受美好旅程。河北内环京津,外环渤海,携太行燕山之威,挟畿辅拱卫之要 [详细]
05-20 西湖游船“国潮宋风”特色夜游上线 体验穿越宋风豪华画舫之旅
西湖游船“国潮宋风”特色夜游上线 体验穿越宋风豪华画舫之旅
西湖之胜,晴湖不如雨湖,雨湖不如夜西湖。想要一边沐着晚风,一边乘坐游船感受西湖夜色的别样美景吗?那就来体验一把穿越宋风的豪华画舫之 [详细]
05-20 杭州:露营成今年最大热点 “城市露营”模式受年轻人追捧
杭州:露营成今年最大热点 “城市露营”模式受年轻人追捧
一顶帐篷、一副桌椅、一张地垫,寻个湖畔草坪,就能体验时下最热的旅行方式——露营。五一假期,杭州灵山景区铜鉴湖九曲梅韵和海棠融春两块 [详细]
03-19 2022岳阳国际旅游节开幕 特色农产品展销等系列活动目不暇接
2022岳阳国际旅游节开幕 特色农产品展销等系列活动目不暇接
今天,天下洞庭岳阳市君山区第九届良心堡油菜花节暨2022岳阳国际旅游节开幕,菊红、粉红、水红、桃红、紫色、白色等七色组成的4万亩花海在 [详细]
03-19 2022年郴州计划重点推进文旅项目101个 总投资354亿元
2022年郴州计划重点推进文旅项目101个 总投资354亿元
3月16日,我市举行全市文旅项目和城市大提质大融城项目集中开工仪式,市委书记吴巨培宣布项目开工。郴州嘉合欢乐世界、仙福路工地清风徐来 [详细]
03-19 宿州泗县深入推进文旅融合发展 擦亮城市品牌
宿州泗县深入推进文旅融合发展 擦亮城市品牌
近年来,泗县以争创安徽省文化旅游名县为目标,深入推进文旅融合发展,努力擦亮水韵泗州 运河名城城市品牌,全县文化旅游业实现高质量发展 [详细]
03-19 淡季不忘引流 京郊民宿市场有望迎来回暖
淡季不忘引流 京郊民宿市场有望迎来回暖
旅游淡季中的京郊民宿有望成为市场中最先复苏的板块。3月17日,北京商报记者调查发现,虽然正值旅游淡季,且受疫情变化的影响,不过各家民 [详细]