GEO 不是营销圈自造的词
“生成式引擎优化”(Generative Engine Optimization,GEO)这个概念有明确的学术出处:普林斯顿大学、印度理工学院德里分校、佐治亚理工学院与 Allen Institute for AI 的研究者共同完成的论文《GEO: Generative Engine Optimization》,2024 年 8 月发表于第 30 届 ACM SIGKDD 知识发现与数据挖掘会议(KDD ’24,西班牙巴塞罗那)。论文预印本编号 arXiv:2311.09735,DOI 为 10.1145/3637528.3671900。
论文把 GEO 定义为:帮助内容创作者提升其内容在生成式引擎回答中可见度的方法体系。
先理解“生成式引擎”和搜索引擎的差别
论文用“生成式引擎(Generative Engines,GE)”指代那些用大模型聚合、摘要多来源信息来回答查询的系统。它和传统搜索引擎的关键差异在于:
- 搜索引擎返回一个按相关性排序的链接列表,内容以原样呈现,用户需要自己点进去看。
- 生成式引擎返回一段合成后的答案,把多个来源的信息融进同一段文字,并在其中嵌入引用。用户可能看完答案就结束,不再点击。
这个差异带来一个直接后果:在传统搜索里,“排名”是清晰且唯一的;在生成式引擎里,可见度变成了一个多维、模糊的概念。
两个可见度指标
论文提出了两个衡量“被引用得怎么样”的指标:
Position-Adjusted Word Count(位置调整词数)
同时考虑你的内容在答案中被引用的篇幅(词数),以及它出现的位置。位置越靠前、被引用的内容越多,得分越高。
Subjective Impression(主观印象)
由 7 个子指标构成,评估引用的整体质量:引用与问题的相关性、引用的影响力、所提供材料的独特性、主观位置(从用户视角看的显著程度)、主观篇幅、用户点击该引用的可能性、以及材料的多样性。论文使用 GPT-3.5 配合类 G-Eval 的评测模板来打分,并把分数归一化以便与位置调整词数做比较。
GEO-bench:一个 1 万条查询的基准
为了系统评估,论文构建了 GEO-bench,包含 1 万条查询,分为 8 千条训练集、1 千条验证集、1 千条测试集。数据来源覆盖了不同类型的真实与合成查询:
- MS Macro
- ORCAS-1
- Natural Questions
- AllSouls(牛津大学万灵学院的论文题)
- LIMA
- Davinci-Debate
- Perplexity.ai Discover
- ELI-5
- GPT-4 生成的查询
其中前三个数据集包含来自 Bing 和 Google 的真实匿名用户查询;后几个则被用来模拟生成式引擎面对的、更需要综合与推理的复杂提问。
核心实验结论
- 论文提出的 GEO 方法在 GEO-bench 上整体优于“不做优化”的基线。
- 表现最好的三种方法——引用来源(Cite Sources)、添加引语(Quotation Addition)、添加统计数据(Statistics Addition)——在位置调整词数指标上取得 30%—40% 的相对提升,在主观印象指标上取得 15%—30% 的提升。
- 整体而言,论文报告 GEO 可以让可见度最高提升约 40%。
- 方法的有效性因领域而异,需要做领域适配。
三个容易被忽略的限定条件
- **这是实验环境的结论,不是生产环境的承诺。**论文在自建生成式引擎和部署中的商用引擎上做了实验,但这不等于任何网站做完这些动作就能获得同样的百分比提升。
- **不同方法需要的投入不同。**引用来源、添加引语、添加统计数据需要引入额外内容;其余方法只是改进既有内容的呈现方式。
- **传统 SEO 的某些手段在生成式引擎里失效。**论文实测关键词堆砌几乎带不来提升,这一点后文会单独展开。
原文信息
- 标题:GEO: Generative Engine Optimization
- 作者:Pranjal Aggarwal、Vishvak Murahari、Tanmay Rajpurohit、Ashwin Kalyan、Karthik Narasimhan、Ameet Deshpande
- 发表:KDD ’24(2024 年 8 月 25—29 日,巴塞罗那)
- 预印本:arXiv:2311.09735