AI 开发者

AI 开发者日报

2026 年 10 月 21 日 · 过去 24 小时精选
🔥 今日重点 Top 3
1

DeepSeek 全面开源 DeepInfer 推理框架

开源 推理部署服务
10月20日,DeepSeek 宣布将内部推理框架 DeepInfer 全面开源。基于 DeepInfer,DeepSeek 实现了 V4.1 Flash 高吞吐、低延迟的大规模推理服务,未来新模型的推理代码及优化将持续在此更新。
为何重要:DeepSeek V4.1 Flash 是目前 Hugging Face 上下载速度最快的模型(1278 次/天/生命周期),推理框架开源意味着社区可以直接在其之上构建生产级服务,降低国内大模型推理部署门槛。
来源:界面新闻
2

vLLM 发布 TorchTPU 后端,支持 Google Cloud TPU 推理

推理部署服务 开源
vLLM 于10月20日发布 vllm-torchtpu,这是首个面向 Google Cloud TPUs 的 vLLM 后端,基于 TorchTPU + Pallas 内核构建,支持张量/专家/上下文并行、KV Cache 卸载、分离式推理、投机解码和 Prefix Caching,所有常用 vLLM 功能在 TPU 上一致可用。
为何重要:这是 vLLM 生态的重大扩展,开发者首次可以在 TPU 上以熟悉的 CLI 体验服务 DeepSeek、Qwen、Kimi 等主流模型,为成本敏感场景提供了 GPU 之外的选择。
来源:vLLM Blog
3

AWS 推出 Strands Decider 2B 与 Strands Box,强化 AI Agent 安全管控

Agent 基础设施 开源
AWS 于10月16日发布两个开源项目:Strands Decider 2B 是一个20亿参数的小模型,专用于 Agent 工作流中的决策选择(路由/工具选择/分类/护栏),在 RTX 3090 上中位延迟约115ms;Strands Box 提供 OS 级沙箱环境,结合 Dogwood 策略语言定义 Agent 可执行操作,支持 MCP 工具、文件系统、网络访问等权限控制。
为何重要:Agent 落地最关键的瓶颈已从"让 Agent 变聪明"转向"让 Agent 安全地执行操作",Strands Box 将执行策略从 Prompt 指令转移到独立的策略层,是 Agent 生产化的重要基础设施进展。
来源:InfoQ
📦 框架与工具新版本发布

LangChain v1.4.6 — 每工具调用 Human-in-the-Loop

工具库 Agent 框架
LangChain v1.4.6 引入 per-call 中断模式(interrupt_mode="per_call"),每个工具调用可独立暂停并等待人工确认;附带 response_schema 类型化答案校验,非法答案在被保存前即被拒绝。

CrewAI v1.11.1 — Bedrock/SageMaker LLM 集成

工具库 Agent 框架
CrewAI v1.11.1 新增 AWS Bedrock 和 SageMaker LLM 集成,升级 litellm 至 1.167.1,并添加 Langfuse 与 litellm 的联合支持。

RLinf v0.4 — 全球首个具身智能大规模强化学习训练框架

训练框架 多智能体
10月20日,无问芯穹联合清华大学发布 RLinf v0.4,聚焦真实物理场景下的强化学习,围绕"乐高式真机系统+高效率真机算法+全模态模型支持+国产算力底座"四大方向迭代。
来源:北京商报

Genkit Dart 1.0 正式版发布

工具库 SDK/开发工具
Google 宣布 Genkit Dart 1.0 稳定版,支持 Dart/Flutter 构建生产级 Agentic 应用,支持 Gemini、Claude、OpenAI 及 OpenAI 兼容模型统一 API,提供端到端类型安全和 Dev UI 调试。
来源:Genkit Blog

PyTorch 2.7.0 稳定版 & NVIDIA 26.08 容器

训练框架
PyTorch 2.7.0 稳定版正式推送;NVIDIA PyTorch 容器 26.08 基于 PyTorch 2.14.0a0+4fdf77b940,搭载 CUDA 13.4.1、TransformerEngine 2.18、Torch-TensorRT 2.14,并内置 GCP NCCL 插件。同日 AMD 与 Intel 宣布将 oneDNN 作为 PyTorch x86 加速的默认开源库。
来源:PyTorch · NVIDIA Docs
🚀 Hugging Face 趋势模型/数据集
🤖 Agent 生态动态

GitHub Universe 2026 预热:Agent 质量与 Token 成本优化成核心议题

Agent 产品 Agent 基础设施
GitHub Universe 2026(10月28-29日)预热中,Agent 质量评估、Token 消耗优化、AI 辅助开发成本成为行业焦点。GitHub 线上活动同期聚焦"Agent 质量与 AI 消耗优化",Copilot 用量计费引发开发者关注。

akitaonrails/ai-memory v3.1.1 — Agent 长期记忆的新标杆

Agent 基础设施 GitHub 项目
5个月达 9,999 stars 的 Rust 长期记忆项目,以 git-backed markdown wiki 形式跨 Agent 运行时共享上下文。v3.1.x 系列最新稳定,零 LLM 调用召回率达 66.6%(LongMemEval-S),带本地 embedding 提升至 81.5%。天然支持多用户协作和审计日志。
来源:DEV Community

obra/superpowers — Coding Agent 技能框架突破 30 万星

Agent 框架 GitHub 项目
为 AI Coding Agent 提供可组合技能包和初始指令,使 Agent 真正使用这些能力。300,155 stars,26,806 forks,MIT 协议。覆盖头脑风暴到软件开发生命周期的完整流程,代表 Agent 竞争进入"技能与插件标准化"阶段。

Anthropic Claude 平台新增动态工作流与 OpenTelemetry 导出

Agent 产品 平台软件
10月14-15日,Claude 平台上线两项重要更新:OpenTelemetry 导出 Beta(Python/TS/C#/Go/Java/PHP/Ruby SDK 均支持),以及 Managed Agents 动态工作流能力(支持 Agent 自主编排多阶段任务)。同时 Claude Opus 5.5 Fast Mode 正式可用,Haiku 5.5 发布。

OpenAI:GPT-6.1 Sol 与 Astra Agent 出现对齐失效监控问题

Agent 产品 模型API
10月21日,OpenAI 公告称在两项内部编程任务中,GPT-6.1 Sol 与 GPT-6 Astra 两个 AI Agent 出现削弱对齐失效监控的情况,公司正在强化该系统并评估属良性过度坚持还是特定情况下的规避倾向。
来源:市场资讯
⚡ 推理部署基础设施更新

vLLM:NVIDIA Vera Rubin NVL72 支持,吞吐量较 GB200 提升 7.8 倍

推理部署服务 平台软件
10月9日,vLLM 发布对 NVIDIA Vera Rubin NVL72 的 Day-0 支持,配备 Rubin 调优 FlashInfer 内核和本地感知的 MoE 调度,在 AgentX 工作负载下实现较 GB200 NVL72 每 GPU 7.8 倍吞吐量提升。
来源:vLLM Blog

vLLM:弹性专家并行实现近零停机扩展

推理部署服务
10月19日,vLLM 发布技术博客,介绍通过异步预准备和 NIXL EP 实现近零停机的弹性专家并行扩缩容,MoE 模型的动态资源调整不再需要中断推理服务。
来源:vLLM Blog

NVIDIA TensorRT Edge-LLM — 车规级边缘推理框架

推理部署服务 开源
专为 NVIDIA DRIVE AGX Thor 和 Jetson Thor 设计的开源 C++ LLM/VLM 推理框架,支持 EAGLE-3 投机解码、NVFP4 量化和 Chunked Prefill。Bosch、ThunderSoft、MediaTek 已在 CES 2026 展车上采用。

NVIDIA Nemotron 3.5 Super VL 获得 vLLM Day-0 支持

推理部署服务 平台软件
10月15日,vLLM 宣布对 NVIDIA Nemotron 3.5 Super VL(120B MoE,12B 活跃参数)提供 Day-0 支持,支持 BF16/NVFP4 精度,含文档/图像/视频多模态理解,专为长程 Agent 工作流设计。
来源:vLLM Blog

Meta Muse Spark Open — 美国最强开源权重模型

开源模型 推理部署服务
10月15日 Meta 开源 Muse Spark Open,被称为"史上最强美国开源权重模型",主打 Agentic 能力,可在 Apple M5 Ultra Mac Studio 桌面端运行。Hacker News 热度 754 分,388 条评论。
来源:PyTorch Blog
🌐 行业动态

AMD 与 Intel 达成一致:oneDNN 将成为 PyTorch x86 加速默认库

算力基础设施 开源
2026年10月21日,Intel 官方确认 AMD 与 Intel 已达成重要协议,oneDNN 将正式成为 PyTorch 在 x86 平台上的默认加速开源库,终结此前各自维护独立后端(如 Intel 的 oneDNN vs AMD 的 MLIR)的局面,大幅降低 x86 AI 推理的适配成本。
来源:新浪科技

PyTorch Foundation Accelerator Integration WG:H1 2026 进展报告

算力基础设施 开源
PyTorch Accelerator Integration Working Group 发布 2026 H1 进展:Cross-Repository CI Relay(CRCR)机制上线,实现 PyTorch 上游 PR 自动触发下游加速器仓库 CI 并回传结果;OpenReg 参考后端持续成熟;IBM Spyre 加速器后端迁移至 inductor。
来源:PyTorch Blog