ProgramBench

上升 · 出现于 2026-05-05 · 98 天前 · 最近核对 2026-05-07

月搜索量

~697 /月

Google Trends + 校准估算

关键词难度（KD）

—

尚未实测

阶段

上升

出现于 2026-05-05 · 98d

数据更新于 2026-08-01 来源 · 7

ProgramBench 是一个软件工程评测基准，专测 AI agent 能否在只拿到编译好的二进制文件和配套文档的前提下，从零重建一个完整、可运行的代码库。任务期间不给源码，不允许反编译，不能联网。

2026 年 5 月 5 日由 Meta FAIR、斯坦福和哈佛研究人员联合发布。基准覆盖 200 个任务，从轻量 CLI 工具到 FFmpeg、SQLite、PHP 解释器这类重量级项目，由 248,000+ 条 agent 生成的行为测试负责验证。目前没有任何模型能完整解出一道题，Claude Opus 4.7 以接近解出率 3% 排名第一。

💡

ProgramBench 任务里，agent 拿到的是编译好的 `jq` 二进制和 man 手册，没有一行源码可看。它必须自己选语言、设计架构，最终交出一份能在数千个边缘输入上跑通的代码。同样的活，人类工程师也要好几天。

就像蒙眼画建筑：你只看到竣工的楼，从来没见过设计图。

EarlyTerms Pro

提前 7 天看到萌芽期新词，解锁全部阶段筛选，并每周收到抢先提醒。

为什么现在开始走红？

TL;DR

2026 年 5 月 5 日，Meta FAIR、斯坦福、哈佛联合发布 ProgramBench，把 AI 编码评测的难度门槛重新拉高。九个顶级模型在最严指标上全部得 0 分，引发关于大模型代码生成与真实软件工程之间差距的广泛讨论。

5 个因素在推动它走红，右滑 →

arXiv / Meta FAIR

ProgramBench：大模型能从零重建程序吗？

200 个任务，248K 条行为测试；9 个测试模型没有任何一个完整解出一道题。最佳成绩：Opus 4.7 接近解出率 3%。

May 5, 2026

facebookresearch/ProgramBench

官方基准仓库，MIT 协议，pip 可安装

321 ⭐

Y Hacker News

ProgramBench：大模型能从零重建程序吗？

May 7, 2026 139 points · 72 comments

ProgramBench

实时排行榜：Opus 4.7 以 3% 领跑，其余均为 0%

Claude Opus 4.7 完整解出率 0%、接近解出率 3.0%；GPT 5.4 和 Gemini 3.1 Pro 两项均为 0%。

May 2026

Emergent Mind

ProgramBench：评估大模型的软件重建能力

模型倾向写成单文件、函数偏长，和人类惯用的模块化风格相差明显。

May 2026

搜索热度

峰值 ~697/月

更新于 2026-08-01

~697/月 ~348/月 0

2026-07-03 2026-07-18 2026-08-01

词的生命周期

萌芽

0–7 天
初现

8–30 天
验证中

31–90 天
上升 ← 当前

91–180 天
成熟

180 天以上

前景

未来 6 个月的热度走势与商业化节奏。

信号中等

营收适中

来自 SWE-bench 团队，品牌背书会持续吸引研究者关注，推动媒体报道跟进。

风险 · MirrorCode (Epoch AI) 等竞品基准如果发布相互矛盾的结果，可能分散注意力。

类比 · SWE-bench · HumanEval · BIG-Bench

变现时间线

现在

研究内容窗口已开

AI 评测基准的解析内容和 newsletter 目前 SERP 竞争为零。
3-6 个月

排行榜周边工具冒头

随着各模型得分提升，对比工具和教程会吸引开发者流量。
6-12 个月

企业训练信号需求浮现

企业开始用 ProgramBench 任务评估 AI 编码 agent 供应商，咨询缺口随之打开。

“ProgramBench” 的竞争与机会

判断依据包括已追踪的搜索词、变现方向和相关词。除标注“实测”的 Google KD 外，其余均为参考估算。

内容缺口

10 条搜索词已追踪

主要是通用 (8), 案例 (1)

10 条长尾词仅见于 Suggest，存在内容机会

变现潜力

10% 的搜索词带有购买意图

2 条变现方向

以了解信息为主，商业意图尚弱

实现难度

高 (参考估算)

阶段：上升 — 入场稍晚，先确认是否还有机会

1 / 10 个常见域名后缀已被注册 · 最早注册 programbench.com (2008-09-09)

5 个相关词已发布

参考信号：已追踪的搜索词、变现方向和相关词

“ProgramBench” 能做的点子

这个词可以延伸成文章、网站、产品、帖子、邮件、视频或课程。选一个方向，就能开始行动。

文章

ProgramBench vs SWE-bench：2026 年哪个 AI 编码基准更有参考价值？

这类对比内容 SERP 几乎空白，开发者正在搜索两者的区别。意图明确的长尾词，适合评测基准主题内容站打基础。

文章

ProgramBench 是什么？为什么所有 AI 模型都得了 0 分？

定义性解析文，现在就有搜索需求，是评测基准主题内容站的流量锚点。

文章

如何在本地运行 ProgramBench：配置教程

pip 可安装、MIT 协议，目前还没有现成教程，开发者长尾流量等着接。

产品

一个追踪 ProgramBench 各模型得分变化的排行榜监控工具

官方排行榜是静态快照，做一个得分变化时推送通知的轻量服务，正好填这个缺口。

产品

一个按测试通过率对 ProgramBench 任务做难度可视化的工具

研究者需要任务级细节下钻，现有排行榜给不了。定位清晰的小型开源工具。

视频

我让 GPT-5.4 和 Claude Opus 4.7 做同一道 ProgramBench 题，结果在这

用真实基准任务做实机对比，YouTube 传播格式，现有媒体还没做过这类视觉化对比。

简报

锚定 ProgramBench 得分更新的 AI 评测周报

持续追踪哪些模型何时突破 0% 上限，订阅钩子清晰，面向 AI 研究者受众。

帖子 HN / r/MachineLearning

ProgramBench：第一个真说不的基准，0% 完整解出为什么比 SWE-bench 87% 更有价值

9 个顶级模型，200 道真实程序题，完整解出 0 道。基准终于不肯放水了，这才是这个分数的意义。

帖子 LinkedIn / Newsletter

「AI 能写代码」和「AI 能做软件」之间的差距，比你想的大

Claude Opus 4.7 在 3% 的任务上通过了 95% 的测试。离解决软件工程还远，但说明了一件事：架构级推理和 autocomplete 是两种完全不同的能力。

帖子 YouTube / Tech media

Meta 发了一个没人能过的 AI 基准，这才是关键所在

2026 年 5 月，SWE-bench 原班人马发布新基准，所有主要 AI 实验室在最难指标上全部得 0 分。ProgramBench 到底在测什么，0% 为什么反而是目前 AI 领域信息量最大的分数。

大家在搜什么

来自 Google Suggest 和 Trends 的长尾词。热度和竞争度是估算，仅供参考，未经核实。内容类型由搜索词的写法推断。

关键词

竞争度

内容类型

programbench

极低

通用

programbench github

极低

案例

programbench paper

极低

通用

programbench leaderboard

极低

通用

programbench ai

极低

通用

programbench arxiv

极低

通用

program bench llm

低

通用

programbench reddit

极低

评测

1–8 共 10

1 / 2

更新于 2026-08-01 · 来源：Google Trends、Google Suggest · 竞争度为参考估算

“ProgramBench” 的搜索结果

这里展示当前的自然搜索结果，以及正在投放的广告。广告数量可以反映当下的商业需求。

常见问题

什么是 ProgramBench？

ProgramBench 为什么现在火？

ProgramBench 是什么时候出现的？

约于 2026-05-05 公开出现（截至 2026-08-11 约 98 天前）。EarlyTerms 最早于 2026-05-07 记录到信号。

来源

这份报告引用的一手链接，点开任意一条都能自己核对。