大规模识别 LLM 中的交互作用
伯克利 AI 研究提出 SPEX 与 ProxySPEX 算法,可在特征、数据和模型组件归因中大规模识别关键交互作用。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约少 10 倍的消融次数达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等边际方法。
日期栏展示收录日期,历史补录归入原文日期。
伯克利 AI 研究提出 SPEX 与 ProxySPEX 算法,可在特征、数据和模型组件归因中大规模识别关键交互作用。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约少 10 倍的消融次数达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等边际方法。
伯克利 AI 研究团队提出一种基于互信息的成像系统评估与优化框架,仅用含噪测量和噪声模型即可量化测量所含信息量,无需重建算法或任务专用解码器。该方法在彩色摄影、射电天文、无透镜成像和显微成像四个领域验证,信息估计能预测下游解码性能,优化后的设计在更少内存和算力下达到与端到端方法相当的水平,相关成果发表于 NeurIPS 2025。
Reflection 宣布完成 20 亿美元融资,组建了曾参与 PaLM、Gemini、AlphaGo、AlphaCode、AlphaProof 及 ChatGPT 等项目的 AI 团队,并搭建起可训练前沿规模 MoE 模型的大规模 LLM 与强化学习平台。该平台已在自主编程领域验证有效,下一步将把方法拓展到通用智能体推理,并从头结合大规模预训练与先进强化学习来构建开放模型。