Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与数据洞察
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出现有基准测试时出现的"意外失败"。她强调结果偏离预期时应仔细审视数据,并分享了使用当前 AI 系统的实用建议。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出现有基准测试时出现的"意外失败"。她强调结果偏离预期时应仔细审视数据,并分享了使用当前 AI 系统的实用建议。
企业 AI 的竞争前沿已从预测精度转向自主决策,核心挑战是让预测系统在自主行动时不偏离业务意图。深度学习和生成式 AI 驱动的智能分析支持实时训练,使 AI 持续演进而无需等待季度刷新,其数据来源也从结构化数值扩展到非结构化交互数据。Everest Group 合伙人 Vishal Gupta 认为,"分析"一词正让位于 AI。
GitHub 认为 chat 并非与 LLM 交互的最佳界面,在 GitHub Copilot 应用中提出 canvas:一种运行在应用内、无浏览器外壳的全栈小应用,可与 Copilot 智能体双向通信,并能调用第三方 API 或在本地执行代码。
GitHub Podcast 最新一期拆解了五个 AI 开发热梗:AI 生成的代码仍需阅读和负责,但审查力度应按风险分级;Skills 与 MCP 解决不同问题,前者是打包的团队经验,后者是智能体连接工具与数据的标准,二者可组合使用。RAG 并未消亡,它通过检索外部知识减少 token 消耗并让回答更有依据,可与 Agent、Skills、MCP 共存于同一工作流。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不到 $1、部分厂商低于 $0.10,数据系统需应对三大新挑战:为智能体设计(Data Systems For Agents)、由智能体运行(Of Agents)、由智能体合成(By Agents)。