人工智能机器人平台被发现安全漏洞,后果可能会是灾难性的
2024-10-18 09:12:11爱云资讯阅读量:88,865
(爱云资讯消息)据宾夕法尼亚大学工程学院的研究人员称,他们发现了多个由人工智能控制的机器人平台的先前未被发现的安全漏洞。
电气与系统工程UPS基金会运输教授乔治·帕帕斯(George Pappas)表示,“我们的研究表明,目前将大型语言模型与现实世界结合起来并不足够安全。”
帕帕斯和他的团队开发了一种名为RoboPAIR的算法,这是第一个专门设计用于破解由LLM控制的机器人的算法。与现有针对聊天机器人的即时工程攻击不同,
RoboPAIR是专门为从LLM控制的机器人引发有害的物理行为而设计的,比如波士顿动力公司和TRI正在开发的双足机器人平台。
据报道,RoboPAIR在破解三个流行的机器人研究平台方面取得了100%的成功率:四足机器人平台Unitree Go2、四轮机器人平台Clearpath Robotics Jackal以及用于自动驾驶的Dolphins LLM模拟器。RoboPAIR算法仅用了几天时间就完全获得了对这些系统的访问权限,并开始绕过安全限制。一旦研究人员利用了这些平台,他们就可以诱导这些平台采取危险的行动,例如不减速闯红灯通过马路十字路口。
研究人员表示,“我们的研究结果首次表明,被破解的LLM的风险远不止于文本生成,鉴于破解的机器人在现实世界中完全有可能造成物理伤害。”
目前宾夕法尼亚大学的研究人员正在与平台开发人员合作,以加强系统防止被进一步的入侵,但他们担心说,这些安全问题具有系统性。
宾夕法尼亚大学的研究者维杰·库马尔(Vijay Kumar)表示:“我们的研究结果充分表明,采取安全第一的做法对于实现负责任的创新至关重要。在将具备人工智能的机器人投入现实世界使用之前,我们必须解决其固有的弱点。”
该项研究的第一作者亚历山大·罗比补充说:“实际上,对人工智能系统进行潜在威胁和漏洞的测试(即AI红队)是保护生成型人工智能系统的必要安全实践。因为一旦发现漏洞,就可以对这些系统进行测试甚至训练以修补这些漏洞。”
相关文章
- 世界互联网大会|王巍:人工智能迅猛发展是全球技术合作成果
- 安恒信息王欣入选世界互联网大会人工智能专业委员会
- 《生成式人工智能零售业全景探索白皮书》重磅发布,引领“零售+AI”新时代
- 苹果计划在2026年推出LLM Siri 增强自研人工智能
- 智能时代的少年楷模:“2024华为开发者大赛·少年开发者人工智能大赛”颁奖典礼落幕
- 人工智能全球合作联盟——首届人工智能全球合作论坛核心成果之一
- 百模论剑决赛收官日 | “人工智能+”鏖战四日,战果即将揭晓!
- 微软推出Copilot Actions,利用人工智能自动执行重复性任务
- 微软宣布举办大型线下黑客大会 为人工智能安全提供高达400万美元奖励
- 百模论剑决赛第3日 | 各地团队赴蓉参赛,“人工智能+”智慧碰撞
- 人工智能智库网络在京启动,百度、快手、华为、蚂蚁、腾讯、阿里等发起
- 百模论剑决赛第2日 | 多赛道展演答辩,“人工智能+” 活力迸发
- 百模论剑决赛第1日 | 15支队伍首发亮相,“人工智能+”表现亮眼
- 木愚科技:智驭人工智能,领航“AI+”产业实训未来
- 2025 福布斯中国人工智能科技企业 TOP 50 评选正式启动
- 百模论剑·首届全国“人工智能+”行业应用创新大赛决赛在成都开战!