MTP
MTP (Multi-Token Prediction，多 token 预测) 是一种推理加速技术：用一个轻量级的 drafter 模型同时预测接下来的几个 token，再由更大的目标模型在一次前向传播里集中验证，吞吐量提升 2–3 倍，质量不变。
这项技术来自 Meta FAIR 2024 年 4 月的论文，DeepSeek-V3 在 2024 年 12 月把 MTP 直接做进了模型架构里。2026 年 5 月 5 日，Google 以 Apache 2.0 协议开源了 Gemma 4 的 MTP drafter，同步支持 Hugging Face、vLLM、SGLang、MLX 和 Ollama，引发了 Hacker News 上一个 678 分的讨论帖，进入主流视野。
想象一个速记员，趁主编还在校对第一句话，他已经把接下来三句草稿写完了。
DeepSeek-V3 (国内公司) 在 2024 年 12 月就把 MTP 做进了模型架构，技术圈对这个词不陌生。2026 年 5 月 Google 开源 Gemma 4 drafter 后才掀起框架级实践浪潮，vLLM/SGLang/Ollama 实操、Apple Silicon 跑分这类内容窗口刚开。注意 SEO：「MTP」有大量医疗领域的同形词 (跖趾关节)，做内容要用更精准的长尾词。
提前 7 天看到萌芽期新词，解锁全部阶段筛选，并每周收到抢先提醒。
为什么现在开始走红？
2026 年 5 月 5 日，Google 以 Apache 2.0 开源了 Gemma 4 的 MTP drafter，在 vLLM、SGLang、MLX 和 Ollama 上都能跑，推理速度最高提升 3 倍，质量不变。SemiAnalysis 的数据显示，仅 MTP 一项就能在 B300 GPU 跑 DeepSeek R1 时造成 14 倍吞吐量差距，是目前软件层面单项收益最大的优化手段。
搜索热度
-
萌芽0–7 天
-
初现8–30 天
-
验证中31–90 天
-
上升 ← 当前91–180 天
-
成熟180 天以上
前景
未来 6 个月的热度走势与商业化节奏。
各大推理框架都已支持 MTP，这项技术在 90 天内会变成标准配置。
风险 · 如果云端 API 的成本下降速度超过本地 MTP 的加速收益，自托管的动力就会消退。
类比 · speculative decoding · flash attention · quantization
-
现在工具和教程的空白还很大
MTP 在一周内爆发式普及，但实操教程和对比工具几乎还是零。
-
3-6 个月推理优化 SaaS
托管 MTP 服务、跑分面板、配置优化工具开始进场。
-
6-12 个月框架原生功能化
MTP 成为各框架里的标配选项，竞争转向精度和特定硬件的调优。
“MTP” 的竞争与机会
判断依据包括已追踪的搜索词、变现方向和相关词。除标注“实测”的 Google KD 外，其余均为参考估算。
“MTP” 能做的点子
这个词可以延伸成文章、网站、产品、帖子、邮件、视频或课程。选一个方向，就能开始行动。
目前还没有一篇严谨的对比文章。可以覆盖接受率、硬件要求、上手难度，以及各自的适用场景。
各框架的配置文档分散在各处，一篇整合文章能同时覆盖这三个长尾搜索词。
本地推理跑分内容需求量大。Apple Silicon 用户是自托管消费端的主力人群。
一个 web 工具，用户输入模型和硬件，直接给出最优 MTP 配置。现在还没有这类工具。
按模型、温度、框架组合追踪接受率，帮助 builder 选对 MTP drafter。
带 token 计数的实时跑分视频在 YouTube 和 X 上传播率高，现在做还有先发优势。
面向大模型基础设施工程师，覆盖新出的 MTP 兼容模型、框架更新和跑分结果。
MacBook Pro M3 Max 跑 27B 模型，每秒 63 个 token。上个月同一个模型才跑到 28 tok/s。
七天内，llama.cpp、vLLM、SGLang、MLX 和 Ollama 全部上线了 MTP 支持。这种步调一致不是巧合。
SemiAnalysis 的数据显示，同一张 B300 GPU 跑 DeepSeek R1，开不同软件优化，能跑出 1k、8k、14k tokens/sec 三种结果。
大家在搜什么
来自 Google Suggest 和 Trends 的长尾词。热度和竞争度是估算，仅供参考，未经核实。内容类型由搜索词的写法推断。
“MTP” 的搜索结果
这里展示当前的自然搜索结果，以及正在投放的广告。广告数量可以反映当下的商业需求。
常见问题
什么是 MTP？
MTP (Multi-Token Prediction，多 token 预测) 是一种推理加速技术：用一个轻量级的 drafter 模型同时预测接下来的几个 token，再由更大的目标模型在一次前向传播里集中验证，吞吐量提升 2–3 倍，质量不变。
MTP 为什么现在火？
2026 年 5 月 5 日，Google 以 Apache 2.0 开源了 Gemma 4 的 MTP drafter，在 vLLM、SGLang、MLX 和 Ollama 上都能跑，推理速度最高提升 3 倍，质量不变。SemiAnalysis 的数据显示，仅 MTP 一项就能在 B300 GPU 跑 DeepSeek R1 时造成 14 倍吞吐量差距，是目前软件层面单项收益最大的优化手段。
MTP 是什么时候出现的？
约于 2026-05-05 公开出现（截至 2026-08-11 约 98 天前）。EarlyTerms 最早于 2026-05-07 记录到信号。
相关词
同一领域里的其他词：别名、子类、竞品，以及值得继续了解的相近概念。
- 相关 mlx MLX 是 Apple 开源的 Apple Silicon 机器学习框架，API 风格和 NumPy、PyTorch 基本一致，但整个 runtime 跑在 Metal 和统一内存架构上，CPU、GPU、Neural Engine 共享同一块内存，张量不需要在它们之间来回拷贝。 →
- 相关 Qwen3 Qwen3 是阿里巴巴推出的第三代开权重基础模型系列，2025 年 4 月 28 日正式发布，采用 Apache 2.0… →
- 相关 Gemma 4 Gemma 4 是 Google DeepMind 第四代开权重多模态模型系列，2026 年 4 月 2 日以 Apache 2.0 协议发布。四个尺寸覆盖手机到数据中心：E2B、E4B、26B Mixture-of-Experts，以及一个 31B… →
- 相关 token-maxxing Token-maxxing 是把 AI token 消耗量当生产力指标来卷的风气：在内部排行榜上比拼，让 agent 全天候自主运行，把花掉多少钱当成地位信号。批评者说这是大模型时代的「代码行数」，数的是投入，不是产出。 →
- 相关 DeepSeek V4 Flash 0731 DeepSeek V4 Flash 0731 is the official production release of DeepSeek's efficient 284-billion-parameter, 13-billion-active… →
- 相关 DiffusionGemma DiffusionGemma is a 26B open-weights language model from Google DeepMind that generates text through discrete diffusion rather than… →
- 相关 Gemma 4 12B Gemma 4 12B is Google DeepMind's 12-billion-parameter open-weights multimodal model, distinguished by an encoder-free architecture that… →
- 相关 IndexShare IndexShare is a sparse-attention optimization that reuses one token-selection indexer across a group of transformer layers instead of… →
- 属于
- 包含
- 相关
来源
这份报告引用的一手链接，点开任意一条都能自己核对。
- 01 Google — Gemma 4 MTP drafter 发布公告 blog.google ↗
- 02 Hacker News — Gemma 4 MTP 讨论帖 (678 pts) news.ycombinator.com ↗
- 03 Meta FAIR — 借助多 token 预测让大模型更好更快 (arXiv 2404.19737) arxiv.org ↗
- 04 AMD ROCm Blog — DeepSeek-V3 上的 MTP + SGLang rocm.blogs.amd.com ↗
- 05 GitHub — youssofal/MTPLX：Apple Silicon 原生 MTP github.com ↗
- 06 MarkTechPost — Google 为 Gemma 4 发布 MTP drafter marktechpost.com ↗