OpenAI 扩大与 AWS 合作：托管智能体上 AWS，ChatGPT 进 Slack 与 Teams
OpenAI 把托管式智能体运行在 AWS 上，ChatGPT 进入 Slack 与 Teams 无需单独许可证，500 美元 Pro 档同日公布。
模型推理
「模型推理」标签聚合的各栏目已发布内容，按本站发布日期从新到旧排列。
3 条
vLLM 团队创业公司 Inferact：16 块 TPU v7 跑 Kimi K3，比 GB200 快 57%
据量子位报道，vLLM 原班人马创办的 Inferact 为谷歌 TPU 写了 megakernel 推理内核，配合 DeepSeek 的 DSpark 推测解码，在 16 块 TPU v7 上跑 Kimi K3 达到每秒 709 token，同等条件下 GB200 为 452 token，代码已开源。
DeepSeek R1 Online
提供开源高级推理大模型 DeepSeek R1 在线对话与 WebGPU 本地浏览器推理加速服务。