GPT-4的突破

小情绪闹闹 · 发表于 2023-3-16 09:55:52

1）意识分析和言语理解：GPT-3在美国BAR律师执照统考中达到人类水平的10%，而GPT-4达到90%的水平，相当于高等院校学生级别；GPT-4在生物奥林匹克竞赛中达到99%的水平，在美国高考中达到80%，在SAT等考试里也取得不俗的结果。此外GPT-4在不同语言上的表现取得重大突破（与GPT-3在英文情境下的表现相比，GPT-4在26种语言中的24种语言情境下的表现都更为优秀，GPT-4的中文准确度提升80%）。

2）多模态：GPT-4已经支持多模态，可以在图像的基础上给出一些分析结果、得出一些结论等，实现输入部分的巨大革新。此外使用RLHF即基于人类反馈的强化学习算法对其进行微调和拓展，建立一些可预测的针对不同行业的优化。

3）参数：GPT-3.5参数1750亿左右，GPT-4参数达到10万亿，参数是训练的基础。GPT-3.5在前段时间开了新版API接口，处理速度已经变快，GPT-4的输出从原先的2000-3000英文升级到25000的英文，例如原先达到文字上限后ChatGPT的输出就会断掉，现在输出的上限极大提高。

GPT-4迭代过程：OpenAI内部会在内容生成、销售编程等方面使用ChatGPT，GPT-4的预训练模型在去年8月完成，花了很长时间进行测试和微调，历时6个月，使用对抗程序和一些教材对ChatGPT进行迭代和调整。以前做语言模型的时候需要人工标注，找一些数据告诉其相应内容，从而花费一些时间，GPT-3存在回答不规范的情况，故使用对抗特殊程序对其进行训练，实现迭代革新。

GPT-4对行业影响：当前行业应用最成熟的还是ChatGPT，2013年谷歌提出基于深度学习处理NLP相关算法，2018年提出使用Transformer模型。从2018年ChatGPT雏形出现到现在已经有5年的积累，注册人数月活等数据都很惊艳。ChatGPT基于GPT模型，谷歌、百度等也在研究其他模型，国内方面百度布局的会更全面。百度推出文言一心和文心一格，各行业已经在预约参与文心一言行业模型的优化。GPT-4甚至可以做到替代较高端的劳动者，例如律师、程序员和财务等，能够极大提高工作效率。ChatGPT影响的赛道包括硬件平台、通用模型平台、文字输出对应的平台等。

（转）

来自苹果APP客户端