我们高估了 AI 说"不"的能力
MIT Technology Review 文章指出,AI 的拒绝机制已成为 AI 安全的核心支柱,但因其基于概率,可靠性有限,且拒绝边界由企业秘密划定。文章援引 OpenAI 前安全研究员 Steven Adler 和哈佛研究者 Ryan McBain 的说法,早期模型几乎有问必答,如今模型虽经大量拒绝训练,仍可能被绕过,部分用户已尝试用先进 AI 研发生物病原体和自主无人机蜂群。
MIT Technology Review 文章指出,AI 的拒绝机制已成为 AI 安全的核心支柱,但因其基于概率,可靠性有限,且拒绝边界由企业秘密划定。文章援引 OpenAI 前安全研究员 Steven Adler 和哈佛研究者 Ryan McBain 的说法,早期模型几乎有问必答,如今模型虽经大量拒绝训练,仍可能被绕过,部分用户已尝试用先进 AI 研发生物病原体和自主无人机蜂群。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出现有基准测试时出现的"意外失败"。她强调结果偏离预期时应仔细审视数据,并分享了使用当前 AI 系统的实用建议。
GitHub 认为 chat 并非与 LLM 交互的最佳界面,在 GitHub Copilot 应用中提出 canvas:一种运行在应用内、无浏览器外壳的全栈小应用,可与 Copilot 智能体双向通信,并能调用第三方 API 或在本地执行代码。