AI 写的文章为什么总像一个模子?两人团队 Sitefire 不看用词,改看文章怎么铺陈

Sitefire 的两位创始人整理了 13500 篇商业博客,用文章结构而不是常见词语来区分人写内容和 AI 生成内容。项目方公布的实验分数很高,但样本年代、生成方式和真实场景仍有限,因此更适合把它看成一套观察写作问题的方法,而不是可以给每篇文章盖章的鉴定器。


Sitefire 官方研究图把人工文章和五种 AI 模型生成文章的结构分布放在一起比较。图片只展示项目方研究结果,不代表本站已经独立复现实验。 来源:Sitefire 官方研究文章


你可能说不出一篇文章哪里不对,却能感觉它“很像 AI 写的”:标题先把答案说完,开头列一遍接下来要讲什么,每一段都整整齐齐,结尾再重复一次。换掉几个常见词,读起来还是同一个模子。

德国两人创业团队 Sitefire 没有继续追某个词,而是把目光移到文章怎么铺陈。他们把标题、开头、证据、段落顺序和结尾方式拆成一组可比较的特征,再训练一个模型判断文章更接近人写还是 AI 生成。

它不先找“常见 AI 词”,而是看文章的骨架
普通检测器常盯着用词和句子概率,因此文章一旦改写,判断很容易变化。Sitefire 这次关注的是更大的结构:标题是否提前承诺结果、开头是否把全文预告一遍、每段是否同样工整、证据放在哪里,以及结尾是否再次复述主旨。

可以把它理解成不检查演员说了哪句话,而是检查每出戏是不是都按同一套流程登场、转折和谢幕。换掉台词不一定能改变这种安排,所以项目方认为结构可能比词语更难通过简单改写掩盖。

团队拿 2250 篇旧文章做底稿,再让五种模型各写一遍
论文称,团队收集了 268 家公司的 2250 篇人工博客,这些文章写于 ChatGPT 出现之前。随后,他们从每篇文章整理一份内容要求,让五种 AI 模型分别生成对应版本,最终得到 11250 篇 AI 文章,加起来共 13500 篇。

系统再从每篇文章提取 214 项观察结果,其中 187 项与结构有关,另外 27 项与表达风格有关。例如文章是否引用具体人物、是否提供来源、是否反复总结,以及推销产品时有多用力。部分标注经过人工对照,之后才用这些结果训练分类器。

项目方报告的分数很高,但它不是现实世界的“AI 判官”
论文报告称,只使用结构特征时,分类器在未见过的公司文章上取得 98.0 的综合检测分数;让各模型重写自己的文章后,分数仍为 98.1。这里的分数是项目方在特定实验里的 macro-F1,可以简单理解为同时照顾“人写”和“AI 写”两类判断后的综合成绩,不等于放到任何网站都能保持 98% 准确。

实验还尝试区分文章来自哪一种模型,项目方报告 79.3% 的归属判断分数。更直观的发现是,AI 文章更容易采用整齐、先预告再总结的结构;人工文章的写法分布更散。但这些结果仍需要其他团队在不同语言、行业和写作流程中复现。

最大的限制,是人类样本和 AI 样本并不是在同一种环境里写的
论文主动列出几项限制:人工文章主要来自 2020 到 2022 年,而 AI 文章生成于 2026 年;人工作者掌握完整业务背景,模型拿到的只是整理后的内容要求;实验也没有覆盖专门的改写工具、人工深度编辑,或人和 AI 一起完成的文章。

Hacker News 讨论还提出另一个问题:用于提取结构特征的环节本身依赖 AI 模型和自然语言提示,这会增加复现成本,也可能把模型自己的偏好带进判断。另有评论指出,现实网站往往以人工文章为主,即使误判比例不高,仍可能持续把少量真人作者错判成 AI。

Sitefire 想把研究放回自己的写作产品,普通人更适合拿它当检查清单
Sitefire 的公开说明称,团队正把这套结构理解能力放进自家的内容工具,让系统在写作时避免每篇文章都走同一套路线。Y Combinator 的公司页可以独立确认,Sitefire 是 2026 年冬季批次的在营公司,公开团队为 Jochen Madler 和 Vincent Jeltsch 两人。

对普通内容团队来说,现阶段更实际的用途不是上传文章后接受一个“人写或 AI 写”的判决,而是检查文章有没有把同一句话说三遍、每段是否一样整齐、观点和证据是否具体。结构检测可以提醒编辑哪里过于模板化,但判断内容是否真实、有用和有立场,仍需要人来负责。

想继续了解
• Sitefire:面向普通读者的方法说明
• SlopShape 论文与实验限制
• Hacker News:团队公开复盘与讨论
• Y Combinator:Sitefire 公司与创始人信息
• Web Pulse:对 SlopShape 的独立分析
0
一起维护这篇内容

发现链接失效、信息过时或内容有误,可以提交更新建议。

我要更新

交流讨论

发表评论

最新评论

引用 今天也要加油鸭 2026-10-4 20:52
98.0分是真敢报,换谁都先愣一下。
引用 路过打酱油 2026-10-6 12:10
先预告再总结,这结构太熟了。

查看全部评论(2)

返回顶部