文档#模型推理

腾讯混元 Hy-MT2:440 MB 的离线翻译模型,三种规格全部开源

腾讯混元开源翻译模型 Hy-MT2:1.8B/7B/30B-A3B 三规格,33 种语言互译;1.8B 量化后仅 440 MB,可手机离线运行。

项目资料

GitHub Ecosystem
仓库地址github.com/Tencent-Hunyuan/Hy-MT2
许可证
Apache-2.0
主语言
Python
星标
1,758
核查时间
2026-11-15

以上快照资料以核查当日为准,可能随版本或运营策略变化。

翻译是少数”结果好坏自己一眼能看出来”的模型任务,这也是开源翻译模型值得关注的原因:你不必信评测榜,拿自己的文本跑一遍就知道。Hy-MT2 是腾讯混元的”快思考”翻译模型系列,含 1.8B、7B、30B-A3B(MoE)三种规格,全部支持 33 种语言互译,并可遵循多语言的翻译指令。仓库采用 Apache-2.0 许可(LICENSE.txt 为标准 Apache 2.0 全文;GitHub 识别为 NOASSERTION 是文件名导致的误报)。GitHub API 在 2026 年 11 月 15 日显示 1,758 颗星。

核心功能

  • 三种规格覆盖不同算力:1.8B 面向端侧与消费级设备;7B 为通用主力;30B-A3B 是 MoE 架构(激活约 3B),面向服务端高质量翻译。
  • 端侧量化:README 说明经 AngelSlim 1.25-bit 极致量化后,1.8B 模型存储需求降至 440 MB,推理速度提升 1.5 倍;仓库同时提供 FP8 与 GGUF(llama.cpp)变体,包括 1.8B 的 2-bit 与 1.25-bit 版本。
  • 指令遵循翻译:模型按提示词中的源语言、目标语言与领域术语执行翻译,README 要求源/目标语言使用全名(中文提示用中文语言名),且模型没有默认 system prompt。
  • 服务端部署:README 给出 vLLM(vllm serve tencent/Hy-MT2-30B-A3B --tensor-parallel-size 1)与 SGLang 两条启动路径,并为 1.8B/7B 与 30B-A3B 分别推荐了推理参数。
  • 配套评测集:仓库同批开源了 IFMTBench(指令遵循翻译基准,另有独立许可文件)。系列脉络清晰:2025 年 9 月的 Hunyuan-MT-Chimera-7B、2025 年 12 月的 HY-MT1.5,再到 2026 年 5 月的 Hy-MT2,已是第三代开源翻译模型。

典型使用场景

  • 离线与隐私敏感翻译:文本不出本机——旅行、办公、涉密或不便联网的场景;GGUF 变体可以直接在 llama.cpp 生态里跑。
  • 垂直领域的批量翻译:术语表和领域指令可以通过提示词注入,用 7B 或 30B-A3B 做批量、可复现的翻译流水线。
  • 对比商业 API 的自建方案:README 称 1.8B 整体上超过 Microsoft 与豆包等主流商业翻译 API——这是厂商口径,选用前以自己的语料实测。

快速上手

模型权重在 Hugging Face 集合与 ModelScope 同步提供。最直接的体验路径是 1.8B:下载 Hy-MT2-1.8B 或其 GGUF 变体,本地加载后按 README 的提示词格式(源语言全名 + 目标语言全名 + 待翻文本)发起推理;推荐参数(如采样设置)以 README 为准,注意模型没有默认 system prompt。服务端可用 vLLM 或 SGLang 一条命令拉起 30B-A3B。

小结

Hy-MT2 把”离线翻译”的门槛做到了 440 MB 存储、手机可跑的水平,三档规格也给足了从端到服务端的梯子。两个背景要如实记录:一是基准数字(称超过 DeepSeek-V4-Pro、Kimi K2.6 与主流商业 API)全部来自 README 的厂商口径,没有独立复现;二是仓库 2026 年 5 月发布、8 月底后暂无推送,节奏偏慢,把它当作可用的开源权重而非持续演进的产品更合适。GitHub API 在 2026 年 11 月 15 日报告:Python、Apache-2.0、1,758 颗星、未归档,最近推送 2026 年 8 月 26 日。

本条目基于 README 与模型卡整理,未实际加载模型或运行翻译;量化体积与速度数字来自 AngelSlim 与 README 自述,端侧实测以你自己的设备为准。若主要场景是整份 PDF 文档的翻译,可对照 babeldoc:它把文档解析、版式保留与 LLM 翻译串成流水线,与本条目的模型权重正好构成上下游。