From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge
中国科学技术大学、新加坡管理大学、东京大学、香港中文大学
通过层间干预分析Qwen、Llama、Gemma在回答过程中如何从查询路由依赖过渡到内部知识依赖,揭示不同模型间的知识检索机制差异。
Answer-Distribution Trajectories: A Stochastic-Dynamics View of LLM Reasoning
剑桥大学等
提出答案分布轨迹作为比终点准确率更细粒度的推理分析框架,揭示16个开源模型在4个推理基准上的动态推理过程差异。
Thinking with Looped Flows
AITHYRA
提出循环流推理方法,通过局部去噪目标训练循环模型,在ARC-AGI-1上达到58.8%准确率,并支持通过增加计算步数解决更复杂问题。
Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
斯坦福大学、华盛顿大学
发现MoE模型在重复数据下退化更快,80M稀疏MoE在4x重复时开始受损,强掩码正则化可在64x重复数据下保持MoE优势。
Good Pretraining, Bad SFT: Checkpoint Quality Across the Training Stack
—
在30B MoE训练管线中证明预训练损失或benchmark分数并非checkpoint选择的可靠指标,完整训练堆栈后的最佳checkpoint具有更高解密度。
MindTopo: Can Foundation Models Reason in Topological Space?
西北大学、微软研究院、斯坦福大学
提出MindTopo拓扑推理基准,包含11,030个实例和13类任务,评测14个MLLM在连续性、分离、顺序、包含和结五个拓扑属性上的推理能力。
ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making
—
提出首个物理接地的人类式反应决策基准,用240Hz刚体仿真构建1,000+可复现实例,评测MLLM在突发物理危害下的即时反应能力。
Logit Refiner: Improving Visual Autoregressive Models via Intra-Scale Dependency Modeling
慕尼黑机器学习中心
提出Logit Refiner轻量模块,通过尺度内依赖建模恢复视觉自回归模型并行解码中的局部一致性,仅增加约10%参数。
SenseNova-U1.5: Towards Native Unified Visual Intelligence
商汤科技
商汤科技推出的原生统一视觉智能模型,在多个视觉理解和生成任务上取得新进展。
Agentic Visual Generation: From Generative Models to Agentic Control
复旦大学
探讨从生成式模型向Agent式控制的视觉生成范式转变,提出Agentic视觉生成框架。
Procedural Graphs: Self-Evolving Execution Structures for LLM Agents
—
提出过程图框架,将程序知识组织为三元组并自我演化,在多个数据集和LLM上持续提升LLM Agent的长程规划执行能力。
ExecCritic: Learn to Test, Test to Improve for Coding Agents
微软研究院
提出ExecCritic代码Agent训练框架,通过角色特定的强化学习将测试Agent和修复Agent组合,在SWE-bench Verified上达到72.6%解决率。
Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up
—
提出协作演化框架,在七类企业Agent任务中发现仅模仿专家轨迹会破坏模型与harness的匹配,需采用on-policy专家修正。
MeClear: Cooperative Game-Theoretic Attribution and Risk-Aware Memory Clearance
—
提出基于合作博弈论的长程Agent记忆清除方法,在10个长对话记忆池中实现85.9%目标召回率和82.3%任务恢复率。
Scaling Automatic Research Agents via World Models
UIUC
探索通过世界模型扩展自动研究Agent的能力边界,提出基于世界模型的研究Agent框架。
Show-Harness: Just a VLM Agent Can Play Robots
Show Lab
提出仅用VLM Agent即可控制机器人的框架,展示了多模态Agent在机器人控制领域的应用潜力。
Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning
复旦大学等
提出Sci-MMR多模态Agent科学推理基准,包含235个多跳推理任务,发现模型答案准确率比完整证据恢复率高出20%以上。
Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents
—
提出长程深度研究Agent基准,要求模型在平均12.1个中间结论和10.4层依赖深度下完成多模态证据整合,最强系统OA仅43.1%。
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
上海AI实验室
提出更可靠的软件工程Agent基准SWE-Bench Pro Verified,为代码Agent评测提供更严格的验证标准。
WearableQA: A Benchmark for Health Reasoning over Real-World Wearable Data
Meta
提出基于真实可穿戴设备数据的健康推理基准WearableQA,推动AI在医疗健康领域的应用研究。
An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks
—
提出MMPIBench多模态提示注入攻击基准,在720次实验中覆盖6个框架、5个基础模型和6种视觉载体,发现音频通道中攻击完成率可达49%。
AgentHijack: Visual Patch Attacks on Multimodal Computer-Use Agents
—
提出端到端视觉补丁攻击评估框架,测试局部视觉信号能否诱导多模态计算机使用Agent执行恶意终端命令并影响真实执行环境。
EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents
加州大学伯克利分校等
提出EvoSafeHarness安全优化框架,自动搜索自然语言策略和可执行代码逻辑,在DecodingTrust-Agent上把平均攻击成功率从45.6%降至10.0%。
Domain-Specific Hallucination Detection in Large Language Models
Purdue University Fort Wayne
提出结合DeBERTa-v3、MC Dropout和温度校准的多信号幻觉检测流水线,在HaluEval上达到F1=0.915,并用DPO将Qwen2.5-0.5B幻觉率降低55.9%。
Negative Self-Distillation: Learning to Reason by Avoiding Flaws
—
提出负自蒸馏方法,通过学习避免推理缺陷来提升模型推理能力,为模型训练提供了新的思路。
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models
上海AI实验室
提出通过下一概念预测向潜在空间语言模型演进的架构预览,探索超越token级预测的新范式。
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
KAIST AI
提出基于on-policy反向蒸馏的弱到强泛化方法,探索小模型向大模型能力迁移的新路径。