GPT-3:少样本提示成为交互界面的时刻

解决什么问题

传统 NLP 系统通常为每个任务做监督微调。有标签时这很有效,但流程慢、脆弱,也不像人类常用指令和例子描述任务。GPT-3 提出的问题是:如果把语言模型规模推大,能不能让任务适配发生在提示词里,而不是通过更新参数完成。

核心方法

OpenAI 训练了 GPT-3,一个 175B 参数的自回归 Transformer 语言模型。论文在 zero-shot、one-shot 和 few-shot 设置下评测它,做法是把任务描述和示例直接放进上下文。模型权重保持不变,任务规格由提示词承载。

关键结果

GPT-3 在许多 NLP 基准上无需任务专用微调就有强表现,并展示出明显的上下文学习行为。它仍会在一些数据集上失败,也暴露了网页级训练数据带来的方法学问题,但论文让少样本提示从有趣现象变成了真实能力。

为什么重要

GPT-3 改变了 AI 的用户界面。提示词变成一种编程表面:示例、风格要求和任务框架都能影响固定模型。这个想法直接引出了 prompt engineering、指令微调、工具使用提示和现代助手产品形态。

局限与存疑

少样本提示对措辞、顺序和示例很敏感。GPT-3 可能只是模仿模式,并不保证可靠推理;网页级数据也带来污染、偏见和记忆问题。论文的核心教训依然成立:规模可以把一部分学习从训练时转移到上下文时,但这种学习并不完美可靠。

一句话:GPT-3 让提示词像代码一样可编程。