Estimated read time 1 min read

近期,OpenAI 传出即将发布 GPT-4 的消息。据业内人士分析,升级版的 GPT 模型在技术上会有更大的提升,能够准确执行更接近人类能力的任务。

具体来讲,GPT-4 将拥有更多的参数,以便使用少量样本去处理多项任务。

回顾预训练语言模型 GPT 的发展历史可以发现。2018 年,OpenAI 在论文《通过预训练语言模型提升语言理解能力》(Improving Language Understanding by Generative Pre-Training)中提出了GPT-1 [1]。

图 GPT-3 相关论文(来源:OpenAI)

增加参数,用较少样本执行更多任务

在 GPT 模型不断更新的过程中,网络结构和方法都没有本质上的变化。但是,参数和数据集却在不断增多。

从规模来看,相较于 GPT-2 的 15 亿个参数,GPT-3 模型拥有 1750 亿个参数,增加了 100 多倍。

(来源:Pixabay)

模型规模的增大不仅体现在数量上,而且还带来了质的飞跃。GPT-3 不仅可以用自然语言生成网页,还可以模仿人类行为、写定制的诗歌或歌曲等,并曾被《麻省理工科技评论》评为“2021 全球十大突破性技术”(TR10)之一。

基于此可以推测出,OpenAI 将延续这一趋势,进一步强化规模最大化理论,扩大 GPT 模型的规模,或许在即将推出的 GTP-4 中增加参数。

同时,GPT-4 不仅可以更精确地模拟人类的行为,而且使用成本也比从前低得多。

据悉,GPT-3 模型的学习能力随着模型中参数数量的增加而增强。因此,GPT-3 在机器翻译、回答问题和填空等 NLP 任务执行方面表现出色。然而,在没有经过事先训练的任务中,GPT-3 的执行能力一般。

而更新版的 GPT-4 具有多模态与多参数,可以接受文本、音频、图像、视频输入,更擅长通过训练强化学习,不断优化数据和计算能力,能够用较少的样本执行更多的任务。

不用提示,GPT-4也能准确完成任务

GPT-3 系统可以使用自然语言与外界交流。例如,外界可以在 GPT-3 系统中输入文字:“以下是关于宇宙的故事,智者正在对小男孩讲述故事。智者乐于助人,了解宇宙学和天文学的相关知识。”

通过从句子中获得的信息,GPT-3 会自动对故事进行续讲。

GPT-4 具有更大的上下文窗口

虽然 GPT-3 的功能多样,但它的内存极其有限,导致无法获取上下文窗口之外的指令,用户必须重新编写不同的示例。这种限制严重阻碍了用少量样本执行任务的能力。

而 GPT-4 具有更大的上下文窗口,并允许用户向其输入书籍、长篇文章、图像、视频或音频等不同类型与格式的文件,进一步扩大了任务执行的范围。

综上所述,GPT-4 能够更少地依赖外界提示,并对人为错误具有更强的鲁棒性,故是一款功能多样、应用广泛、实用性强的网络模型。

参考资料:

1.https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf

2.https://arxiv.org/pdf/2005.14165.pdf

https://towardsdatascience.com/4-things-gpt-4-will-improve-from-gpt-3-2b1e7a6da49f?sk=44d56e4f1ab27e3f8d2abbaf44ca3602

https://www.hankyung.com/it/article/202211150468i

You May Also Like

More From Author