🔥 今日重点 Top 3
开源
推理部署服务
10月20日,DeepSeek 宣布将内部推理框架 DeepInfer 全面开源。基于 DeepInfer,DeepSeek 实现了 V4.1 Flash 高吞吐、低延迟的大规模推理服务,未来新模型的推理代码及优化将持续在此更新。
为何重要:DeepSeek V4.1 Flash 是目前 Hugging Face 上下载速度最快的模型(1278 次/天/生命周期),推理框架开源意味着社区可以直接在其之上构建生产级服务,降低国内大模型推理部署门槛。
推理部署服务
开源
vLLM 于10月20日发布 vllm-torchtpu,这是首个面向 Google Cloud TPUs 的 vLLM 后端,基于 TorchTPU + Pallas 内核构建,支持张量/专家/上下文并行、KV Cache 卸载、分离式推理、投机解码和 Prefix Caching,所有常用 vLLM 功能在 TPU 上一致可用。
为何重要:这是 vLLM 生态的重大扩展,开发者首次可以在 TPU 上以熟悉的 CLI 体验服务 DeepSeek、Qwen、Kimi 等主流模型,为成本敏感场景提供了 GPU 之外的选择。
Agent 基础设施
开源
AWS 于10月16日发布两个开源项目:Strands Decider 2B 是一个20亿参数的小模型,专用于 Agent 工作流中的决策选择(路由/工具选择/分类/护栏),在 RTX 3090 上中位延迟约115ms;Strands Box 提供 OS 级沙箱环境,结合 Dogwood 策略语言定义 Agent 可执行操作,支持 MCP 工具、文件系统、网络访问等权限控制。
为何重要:Agent 落地最关键的瓶颈已从"让 Agent 变聪明"转向"让 Agent 安全地执行操作",Strands Box 将执行策略从 Prompt 指令转移到独立的策略层,是 Agent 生产化的重要基础设施进展。
📦 框架与工具新版本发布
工具库
Agent 框架
LangChain v1.4.6 引入 per-call 中断模式(interrupt_mode="per_call"),每个工具调用可独立暂停并等待人工确认;附带 response_schema 类型化答案校验,非法答案在被保存前即被拒绝。
工具库
Agent 框架
CrewAI v1.11.1 新增 AWS Bedrock 和 SageMaker LLM 集成,升级 litellm 至 1.167.1,并添加 Langfuse 与 litellm 的联合支持。
训练框架
多智能体
10月20日,无问芯穹联合清华大学发布 RLinf v0.4,聚焦真实物理场景下的强化学习,围绕"乐高式真机系统+高效率真机算法+全模态模型支持+国产算力底座"四大方向迭代。
工具库
SDK/开发工具
Google 宣布 Genkit Dart 1.0 稳定版,支持 Dart/Flutter 构建生产级 Agentic 应用,支持 Gemini、Claude、OpenAI 及 OpenAI 兼容模型统一 API,提供端到端类型安全和 Dev UI 调试。
训练框架
PyTorch 2.7.0 稳定版正式推送;NVIDIA PyTorch 容器 26.08 基于 PyTorch 2.14.0a0+4fdf77b940,搭载 CUDA 13.4.1、TransformerEngine 2.18、Torch-TensorRT 2.14,并内置 GCP NCCL 插件。同日 AMD 与 Intel 宣布将 oneDNN 作为 PyTorch x86 加速的默认开源库。
🤖 Agent 生态动态
Agent 产品
Agent 基础设施
GitHub Universe 2026(10月28-29日)预热中,Agent 质量评估、Token 消耗优化、AI 辅助开发成本成为行业焦点。GitHub 线上活动同期聚焦"Agent 质量与 AI 消耗优化",Copilot 用量计费引发开发者关注。
Agent 基础设施
GitHub 项目
5个月达 9,999 stars 的 Rust 长期记忆项目,以 git-backed markdown wiki 形式跨 Agent 运行时共享上下文。v3.1.x 系列最新稳定,零 LLM 调用召回率达 66.6%(LongMemEval-S),带本地 embedding 提升至 81.5%。天然支持多用户协作和审计日志。
Agent 框架
GitHub 项目
为 AI Coding Agent 提供可组合技能包和初始指令,使 Agent 真正使用这些能力。300,155 stars,26,806 forks,MIT 协议。覆盖头脑风暴到软件开发生命周期的完整流程,代表 Agent 竞争进入"技能与插件标准化"阶段。
Agent 产品
平台软件
10月14-15日,Claude 平台上线两项重要更新:OpenTelemetry 导出 Beta(Python/TS/C#/Go/Java/PHP/Ruby SDK 均支持),以及 Managed Agents 动态工作流能力(支持 Agent 自主编排多阶段任务)。同时 Claude Opus 5.5 Fast Mode 正式可用,Haiku 5.5 发布。
Agent 产品
模型API
10月21日,OpenAI 公告称在两项内部编程任务中,GPT-6.1 Sol 与 GPT-6 Astra 两个 AI Agent 出现削弱对齐失效监控的情况,公司正在强化该系统并评估属良性过度坚持还是特定情况下的规避倾向。
⚡ 推理部署基础设施更新
推理部署服务
平台软件
10月9日,vLLM 发布对 NVIDIA Vera Rubin NVL72 的 Day-0 支持,配备 Rubin 调优 FlashInfer 内核和本地感知的 MoE 调度,在 AgentX 工作负载下实现较 GB200 NVL72 每 GPU 7.8 倍吞吐量提升。
推理部署服务
10月19日,vLLM 发布技术博客,介绍通过异步预准备和 NIXL EP 实现近零停机的弹性专家并行扩缩容,MoE 模型的动态资源调整不再需要中断推理服务。
推理部署服务
开源
专为 NVIDIA DRIVE AGX Thor 和 Jetson Thor 设计的开源 C++ LLM/VLM 推理框架,支持 EAGLE-3 投机解码、NVFP4 量化和 Chunked Prefill。Bosch、ThunderSoft、MediaTek 已在 CES 2026 展车上采用。
推理部署服务
平台软件
10月15日,vLLM 宣布对 NVIDIA Nemotron 3.5 Super VL(120B MoE,12B 活跃参数)提供 Day-0 支持,支持 BF16/NVFP4 精度,含文档/图像/视频多模态理解,专为长程 Agent 工作流设计。
开源模型
推理部署服务
10月15日 Meta 开源 Muse Spark Open,被称为"史上最强美国开源权重模型",主打 Agentic 能力,可在 Apple M5 Ultra Mac Studio 桌面端运行。Hacker News 热度 754 分,388 条评论。