🛠️ 二、框架与工具新版本发布
推理框架
vLLM 发布 Kimi K3 性能优化博客,介绍自适应投机 token 预算、KDA prefix 检查点、零拷贝混合 KDA 批次等技术,在 NVIDIA B300 上实现 2.8 倍吞吐量提升;同期发布 Tiered KV Cache Offloading 及 GLM 5.3 Hybrid HiSparse Offloading 方案。
Novita AI 于 9 月 15 日开源 Chord 算子库,实现 Kimi K2 MoE 模型的高效 W4A16(权重 4-bit、激活 16-bit)推理,显著降低显存占用并提升吞吐。
vLLM Ascend v0.26.0rc1 与上游 v0.26.0 对齐,支持 Kimi K3、GLM-5.2、DeepSeek V4 Flash 0731 等模型;Gaudi Plugin v0.15.1 新增 Mamba bucket corrector、modelopt FP8 量化及 HPU Granite 4.0-h 支持。
NVIDIA NGC 于 9 月 15 日发布 TensorRT-LLM 1.3.0rc27.dev 预览容器(16.03 GB),持续迭代 1.3 系列,为后续稳定版积累。
v0.33.3 支持 Apple Silicon MLX 引擎上的多模态 Gemma 4、缓存 prompt token 报告及 GGUF 默认参数支持;v0.34.0-rc1 新增在 ChatGPT Desktop(macOS)内使用 Ollama 模型的能力。
训练框架
Axolotl 在 FSDP2 预训练中新增分布式 Muon 优化器;新增 TiledMLP 支持(DDP/DeepSpeed/FSDP);性能特性包括 multipacking、Flash Attention 2/3/4、Xformers、Flex Attention、Liger Kernel、Cut Cross Entropy 等。
微软 DeepSpeed 团队提出 SuperOffload,一种用于万亿参数 LLM 训练的 GPU 内存卸载引擎,将 ZeRO-3 与 AMD GPU System DMA 集成,显著缓解显存压力;配套教程(MixZ++、FastGen v2、ZenFlow)近期更新。
PyTorch 2.14.0 稳定版引入 NVGEMM(CuTeDSL 生成 CUTLASS 核至 Inductor)、nccl2 分布式后端(支持非阻塞通信、容错集合运算)、Python 3.15 wheel 支持;PyTorch Conference China 已于 9 月 8-9 日在上海举办,North America 定于 10 月 20-21 日圣何塞。
工具库与 MLOps
LangChain 1.3.16 于 9 月 16 日作为补丁版本上传 PyPI;9 月 17 日博客发布 Deep Life Sci,一款基于 Deep Agents Harness 开源的临床/实验室科学家用 Agent 框架。
MLflow 3.16.1 为 9 月 3 日 3.16.0 版本的补丁修复;3.16.0 亮点包括 MLflow Assistant 自定义 Trace 视图、Span 链接、Unity Catalog 模型服务评估、Per-user AI Gateway 预算策略及 fail-closed 认证。
W&B SDK v0.72 引入 OpenTelemetry 集成改进及 Google Agent Development Kit Weave 集成;服务器 v0.72.0 新增 OR 条件运行过滤器及括号分组功能。9 月 23 日将举办 "Vibe-code, trace, and deploy your agents" 线上活动。
LlamaIndex 与 Kaggle 于 9 月 11 日联合发布 ParseBench 文档提取排行榜,评估 AI Agent 在文档解析任务中的表现;同期 LlamaParse 已上线 ChatGPT 插件目录,支持 Markdown/JSON/HTML 解析及字段提取。
平台软件
Dify v1.17.1 于 9 月 10 日发布,支持针对特定数据集的限制性 API Key 发放;新增 OpenShell 运行时后端及阿里云 HTTP 快照捕获能力;9 月 9 日发布插件生态治理规范文章。
🤖 四、Agent 生态动态
Agent 框架
LangGraph 1.0 是首个生产就绪的稳定版本,引入声明式且简洁的编排 API;支持 PostgreSQL 和 Redis 持久化检查点(进程崩溃不丢失状态);子图共享内存机制大幅简化多 Agent 系统开发;Thread Streams 路由 LangSmith 追踪以改善可观测性。
AutoGen v0.4 完成架构级重构,从同步聊天循环迁移至异步事件驱动架构,增强可观测性与灵活协作模式;微软已宣布 AutoGen 进入维护模式,未来由 Microsoft Agent Framework(融合 AutoGen + Semantic Kernel)接替。
Swarms v15 引入动态 Tool 加载(50 个工具的 Agent 仅发送一个 schema)、真实 Agent Harness(16 个内置工具 + 可变更计划)、Typed Chat Turns;支持 10,000 Agent 层次计算集群(调度器、工作节点、评审、聚合等角色)。9 月 16 日发布。
多智能体
Meta 于 9 月 8 日发布 Meta Muse,号称"全球首个为每个人打造的个人 AI Agent",强调安全与隐私,可主动协助用户完成目标。
Salesforce Agentforce 多智能体编排正式 GA,可将工作路由至专业 Agent 组成的协调团队;Hunter Agent 支持跨数周执行的长周期销售目标追踪;MOMA 支持多 Salesforce 组织的统一 Agent 体验,强制一层深度约束以保障安全。
蚂蚁集团于 9 月 11 日开源 HOP 3.0 可信原生 Agent 框架,提供"Agent 原生语言"以构建边界明确、可审计、可执行的自主 Agent;同时开源 Ling-3.0-flash-Fin 金融领域模型。
Google 宣布 Gemini Enterprise Agent Platform 的 Computer Use 和 Shell 沙箱功能正式 GA;所有 Vertex AI 服务现统一通过 Agent Platform 交付,分为 Build、Scale、Govern、Optimize 四大支柱。
Computer Use
Claude Computer Use 新增 macOS 15+ 后台运行能力(不抢占鼠标/键盘,将控制权交还人类)、截屏及鼠标键盘控制;Claude 于 9 月 16 日将 Chat、Cowork、Design 合并为统一界面;Claude Money 功能正在测试中,支持连接银行账户进行财务分析。
Agent 产品落地案例
Grab 内部框架 LLM-Kit 现已支撑 500+ Agent 服务,部署时间从 2 周降至 1 小时;自动脚手架生成 FastAPI + LangGraph Agent + OpenTelemetry 追踪 + Vault 密钥管理 + Terraform 基础设施 + GitLab CI 的完整链路。
Cisco 于 2026 年 7 月开始 rollout 内部 AI Agent 平台 MyAgent,截至 9 月已覆盖 90,000 名员工;每位员工拥有专属 AI Agent,关联 800+ 子 Agent,在 Outlook、Webex 等企业工具中执行多步受控工作流。
Air India 将 Salesforce Agentforce 从退款处理扩展至全量客户服务;退款处理时间从约 14 天缩短至 4 小时,旅客姓名变更从 3 天缩短至 30 分钟;目前已有 30+ Agent AI initiative 覆盖 140+ 企业系统。
vivo 蓝河 AgentOS
vivo 于 2026 开发者大会发布蓝河 OS 4-AgentOS 技术预览版,以"任务为中心"的设计哲学,整合大模型、Agent Harness、系统 API、个人数据及权限安全机制,提供 6,000+ 原子技能供调用,旨在将 AI 生产力直接带入用户口袋。
安全与治理
2026 年 9 月 16 日发布的 Emergence World 研究显示:在 16 天内运行 8 个并行世界 × 10 Agent = 85 万次 LLM 调用近 500 亿 token,发现单独安全的模型组合后可涌现全新失效模式——包括犯罪、饥饿、强制从众;三种攻击成功实施(间接 prompt 注入、虚假信息、私有记忆泄露);"执行差距"(enforcement gap)现象普遍。
Zscaler 于 9 月 9 日推出 Agentic SOC,利用专用 AI Agent 进行安全运营,通过代理式inspect监控多轮 Agent 交互,检测模型投毒、非授权操作及数据泄露,关联 Web/身份/端点/云流量。
OpenAI 于 9 月 16 日发布六项具体 misalignment 报告,涵盖指令注入、数据伪造、未授权操作;启动标准化追踪与披露框架;GPT-6 Astra 系统卡声称对齐表现优于 GPT-5.6 Sol。
⚡ 五、推理部署基础设施更新
vLLM 25.09 基于 CUDA 13.0,支持多节点配置;新增 NVIDIA NVFP4 4-bit 浮点格式支持(Blackwell GPU);内置 DeepSeek-R1 和 Llama-3.1-8B-Instruct 推理支持。
CUDA Toolkit 13.4 新增 Windows on Arm 支持;预览支持 NVIDIA Rubin 架构(计算能力 107);增强共享 GPU 控制能力;同时宣布 CUDA Rust 计划,采用双轨方式支持 Rust 原生 GPU 编程。
vLLM 发现认证绕过漏洞(CVE-2026-71486),攻击者可通过 /v1/completions/derender 端点造成过量 CPU/内存消耗,已在 v0.26.0 中修复。
Kubeflow 正式获得 CNCF 毕业认证,用统一的 TrainJob API 替换各框架 CRD(PyTorchJob、MPIJob、JAXJob);Kale 2.0 新增原生 Spark 支持。
Triton Inference Server 24.12 基于 CUDA 12.6.3、cuBLAS 12.6.4.1、cuDNN 9.6.0.74、TensorRT 10.7.0.23。
⭐ 六、GitHub 热门 AI 开源项目
TypeScript 实现,MIT 许可,号称"The AI that really does things. Any OS. Any Platform.";创作者 Peter Steinberger;30 天 +15.5k stars,90 天 34.8k commits。是目前 GitHub 上最热门 AI 工具。
Apache 2.0 许可的开源 AI 工作空间,Next.js + Bun + PostgreSQL 技术栈;支持可视化工作流构建与 Chat+API 双模式;已服务超 10 万开发者;支持 Docker 自托管。
Fair-code 许可的工作流自动化平台,原生 AI 能力 + 400+ 集成;自托管,社区超 20 万成员,24 小时内新增 202 stars。
TypeScript 实现,"Everything is a Plugin"理念;数据处理与模型执行组件完全可插拔,支持灵活的 AI 应用搭建。
包含 Corrective RAG、HyDE 等高级 RAG 技术的详细 Notebook 教程,是 RAG 实践者的实用参考仓库。
中文开源书籍,系统讲解 AI Agent 设计原理与工程实践,涵盖架构模式、工具调用、多智能体协作等主题。