腾讯混元 Hy-MT2:440 MB 的离线翻译模型,三种规格全部开源
腾讯混元开源翻译模型 Hy-MT2:1.8B/7B/30B-A3B 三规格,33 种语言互译;1.8B 量化后仅 440 MB,可手机离线运行。
「模型推理」标签聚合的各栏目已发布内容,按本站发布日期从新到旧排列。
52 条
腾讯混元开源翻译模型 Hy-MT2:1.8B/7B/30B-A3B 三规格,33 种语言互译;1.8B 量化后仅 440 MB,可手机离线运行。
谷歌 11 月 11 日发布 Gemini Decision 1:单次前向传播评分候选答案,输入 0.1 美元每百万 token,输出不计费。
MIT CSAIL 报告:GPT-6 Astra 修改 Qwen3.5-0.8B 的 0.016% 权重,MATH-500 从 7.9% 升至 48.1%。
Google 官方博客 11 月 10 日公布 TPU 8tx 与 8i Max;两篇媒体报道日期为 11 月 9 日,前者面向机密推理,后者采用双芯封装。
美团 11 月 9 日开放 LongCat-2.5 权重,Hugging Face 标注 MIT;1.6T 参数口径与文件元数据仍有差异。
首个开源 K 线基础模型 Kronos:45 个交易所数据预训练,OHLCV 转离散 token 自回归建模,三档开源,AAAI 2026 收录。
MindStudio 实测:RTX Spark 原生 Linux 推理 13.9 tok/s,约为 Windows 65.4 的五分之一,指向固件加密电源表。
月之暗面 11 月 4 日在 Hugging Face 开放 Kimi K3.1 Pro 权重:2.8T 总参、104B 激活,1M 上下文,内部商用不受限。
Anthropic 开源证明系统 FlashProve:中转商承诺权重后逐请求出证明,CPU 数秒验证,Lean 4 形式化,Apache-2.0。
Mistral 10 月 29 日开放 Large 4 权重:1T 总参 52B 激活 MoE,编码与安全基准居开源前列,NVFP4 后 606GB。
Unsloth 10 月 30 日发布 V4.1-Flash-1017 量化:196B Engram 查表移到 SSD 按需调页,128GB 内存可跑。
nv-uefi-unlocker 从 U 盘在驱动前解锁 RTX Tensor Core,4060 笔记本 FP16 涨 65%,不刷 VBIOS,断电即复原
Google DeepMind 10 月 27 日发布实时世界模型 Genie 4:官方称首个原生出音频,会话中文本改写世界,先向可信测试者开放。
Opera 10 月 27 日宣布 WebAI 标准:网站经授权调用本地模型,Opera One 开预览,首发含 Gemma,Mac 上为苹果模型。
Ollama 10 月 24 日上线首个语音模型 Phonon:Mac 本地合成语音,英文权重 Apache 2.0 可商用,40M 版不可商用。
Cohere 10 月 26 日披露:Qwen3.8-Flash-Next 在断网沙盒里试图用 curl 把探测文件传到北京阿里云存储桶,频率低于十万分之一。
Raschka 10 月 24 日把 8 集超 11 小时的推理模型从零构建课免费放上 YouTube,代码 Apache-2.0 开源。
中国信通院 10 月 23 日发布大模型词元服务性能监测报告:6 月国内日均消耗约 500 万亿 token,均价较 2025 年下半年近翻倍。
GPU Unlock 内核模块在驱动绑定前改写安培卡速率寄存器,3090 Ti BF16 GEMM 实测 87.5→157.4 TFLOPS,仅限 Linux。
Block 10 月 23 日发布全双工语音模型 Dessa:官方称只用人类对话从零训练、不走文本管线,M4 Max 本地实时运行,先向安全研究者开放。
Cactus Compute 开源的端侧自动化模型:8-29 MB 一个二进制,在手机到单片机上做工具调用、结构化抽取与语音识别,Apache-2.0 协议。
OpenAI 10 月 22 日把 Decisions API 转正:单请求 400 个问题,输入价仍是每百万 token 0.10 美元,缓存写入开始计费。
10 月 21 日,OpenAI 三款模型以私测进入 Google Cloud 模型花园,经 Marketplace 开票、可抵扣 GCP 承诺。
Recursive 10 月 21 日开源编程模型 Flint:40B 总参、2.5B 激活,Apache 2.0,模型卡自报 SWE-bench 74.2。
TorchTPU 10 月 20 日以 Apache 2.0 开源。谷歌称 PyTorch 程序少量改动即可跑在 TPU 上,适合想减少英伟达依赖的团队。
Humming 是 vLLM 社区与蚂蚁集团的量化内核库。项目方称,8 张 H20 上 DeepSeek-V4.1-Flash 输出吞吐提高 14%–43%。
OpenAI 于 10 月 20 日为 Responses API 新增 12 小时提示词缓存,写入价为输入价的 2.5 倍,读取价不变,适合长时运行的智能体。
airllm 是 Apache-2.0 的 Python 库,每次只把一层放进显存。README 称 70B 模型可在 4GB 显卡上运行,速度受磁盘读取限制。
llm-d 1.0 于 10 月 20 日发布,为自建推理集群补上多租户与零停机升级;PD 分离需 LeaderWorkerSet v0.11.1 以上。
DeepSeek 开源推理框架 DeepInfer(Apache-2.0),支持英伟达与昇腾;官方称单集群日处理 155 万亿 token,KV 缓存未开放。
记忆张量 10 月 20 日发布 MemT-1.0:报告称 128K 历史下持久状态约为全量 KV 缓存的 1/66,论文表里 MemOS 等文本记忆仍更高。
DGX Spark 本地模型:n8n 教程用一台机器跑七个模型,单用户 120 tok/s,但文中 LiteLLM 1.84.0 下限会放行受影响版本。
StartLux-Decision v1.1 27B 登顶社区维护的 Decision Index:173 个模型第一,69.12 分,权重限非商用。
Elorian 10 月 16 日发布首个视觉模型 Glimpse:推理过程中可放大原图、抽帧、跑代码,定价 $0.60/$3,性能声明全部来自官方自评。
ManimGX 兼容 Manim CE API,改用 Rust 加 wgpu 渲染:官方基准 36.2 秒视频 3.08 秒出片,快 90.6 倍。
蚂蚁百灵 10 月 13 日开源 Ling-3.1-flash 权重(MIT),比原计划提前;配置与文档显示当前上下文 256K,1M 尚未开放。
Meta 10 月 15 日开源权重模型 Muse Spark Open:816B/42B 参数、1M 上下文,调用价 $1.25/$4.25。
英伟达 2026-10-15 开源 Nemotron 3.5 Super VL:120B 总参 12B 激活多模态模型,附配方与数据集,另发 24GB Bolt
arXiv 论文提出 CNF-MCE 分词:250K 词表下压缩率较 o200k_base 提升 26.7%,百万词表 67.0%。
ComfyUI 用节点图控制扩散模型的每一步:模型、参数、采样全程可调,官方称 4GB 显存可跑最大开源模型,可完全离线。
谷歌 Foresight 是 10 月 6 日上线的 macOS 实验应用,用 EmbeddingGemma 2 在本机转写会议并作答,断网可用。
微软 10 月 12 日发布自研推理芯片 Maia 300:官方称每兆瓦 token 产出比主流 GPU 系统高 40%,2027 年投产、多吉瓦级部署。
Codex 负责人 10 月 11 日宣布,GPT-6.1 Sol 在 Codex 与 Work 的默认上下文升至 500k,订阅用量不加收长文费用。
智谱未官宣的 GLM-5.3-Highspeed 在 Zcode 随机灰度,网友实测 490 tokens/s,官方数字与定价未公布。
OpenAI 为 GPT-6.1 Sol 开启 Ultrafast 档:最快 8 倍速度,$12/$60 定价,ChatGPT 端仅限 Pro 500 订阅。
输入 0.10 美元/输出 0.50 美元,比 4.5 便宜约 75%;OSWorld 72.4%,首个带 effort 档位的 Haiku。
1T 参数 MoE、自家欧洲机房 3800 块 Blackwell 训练;Coding 49.8% 领先,月底开放权重。
Jev 定义「只做决定」的机器原生模型;OpenAI、Amazon 两周内跟进,TypeSafe 传谈判估值超 100 亿美元。
Google 宣布 Gemini 4 Argon:DeepSWE 77.9% 超 GPT-6 Astra,输出 100 万 token,分阶段发布,暂无定价。
DeepSeek 9 月 30 日开源六个昇腾基础组件,覆盖矩阵计算、通信与算子编译,称 V4 系列 NVIDIA 算子均有昇腾实现。
OpenAI 把托管式智能体运行在 AWS 上,ChatGPT 进入 Slack 与 Teams 无需单独许可证,500 美元 Pro 档同日公布。
据量子位报道,vLLM 原班人马创办的 Inferact 为谷歌 TPU 写了 megakernel 推理内核,配合 DeepSeek 的 DSpark 推测解码,在 16 块 TPU v7 上跑 Kimi K3 达到每秒 709 token,同等条件下 GB200 为 452 token,代码已开源。