本期看点：

1、生成式AI并不是全新的技术，这是一个现有的工具，只是最近应用才开始增加；

2、Transformers模型成为了大型语言模型发展的转折点，使机器自我监督学习成为可能，人工智能的速度达到了极限；

3、ChatGPT(Generated Pre-trained Transformers或GPT-3)已成为历史上增长最快的消费级应用程序，在2023年1月累计了1亿的月平均用户(MAU)。相比之下，之前增长最快的应用程序是TikTok(9个月)和Instagram(2.5年)；

4、在谷歌证明Transformer模型能够更好地理解人类语言之前，循环神经网络(RNNs)和卷积神经网络(CNN)是理解人类语言的两种流行且占主导地位的模型；

5、Transformer模型摆脱了大型的、标记的数据集来训练模型的局限，它可以从互联网上大量未标记的数据中学习，因而适用于自然语言处理之外的更广范围；

6、ChatGPT-4预计将使用100万亿个参数，比GPT-3多500倍，即使对我们最好的计算机来说，训练GPT-4模型也可能是一项极其艰巨的任务；

7、未来，人工智能的能力开始在很大程度上受到当前可用计算能力的限制。

编者按：今日凌晨，万众瞩目的大型多模态模型GPT-4正式发布。OpenAI发文称，GPT-4能接收图像和文本输入，输出文本内容，虽然在许多现实场景中的能力不如人类，但在各种专业和学术基准测试中已做到人类水平的表现。今年以来，ChatGPT引爆全网，在各大互联网公司与科技公司的重磅投入之下，GPT的迭代进入了“军备竞赛”。随着OpenAI的ChatGPT被集成到搜索引擎和更广泛的网络中，生成式人工智能正在改变我们在网络上搜索、使用信息和相互交流的方式，甚至有可能改变搜索的商业模式，以及我们访问网络内容的方式。

那么，GPT以及生成式AI，为何突然火爆全网？究竟是概念炒作推动的昙花一现，还是背后有更为重要的意义？花旗银行发布的报告《生成式AI：ChatGPT与搜索》对此进行了研究与解读。

原文：GENERATIVE AI：ChatGPT and Search

来源：Citi GPS：Global Perspectives & Solutions

何谓生成式AI

生成人工智能(AI)旨在理解和预测来自特定数据集的信息。生成式AI并不是全新的技术，它已经被应用在智能撰写电子邮件等应用程序中，在许多方面，这是一个现有的工具，只是最近才开始增加。

目前，生成式AI处于发展拐点。深度学习和预测AI也已经存在了一段时间，然而，最近模型在规模和复杂性上有了令人难以置信的增长。目前存在的大型语言模型(LLMs)具有数百GB的容量，可以分析大量的数据集，尽管这种分析或“训练”需要大量的计算能力。模型规模的增加是通过计算技术的改进而实现的，包括中央处理器(CPU)和云计算，这允许客户从云中使用数千个图形处理单元(GPU)，以及大量的可用数据。这些模型的创建者使它们变得更“人性化”，从而使它们更容易访问。

而Transformers模型成为了大型语言模型发展的转折点。Transformers是一种深度学习模型，它使用自注意力机制来衡量给定输入数据中每个部分的重要性。它们在LLMs中的使用启动了自然语言处理(NLP)的开发链，NLP是人工智能的一个分支，旨在帮助计算机理解自然人类语言。Transformers模型用于NLP时，可以更有效地训练AI GPU，从而显著降低了与其他模型相比的训练成本。正如英伟达(NVIDIA)首席执行官黄仁生(Jensen Huang)在2022年所说的:“Transformers使自我监督学习成为可能，人工智能的速度达到了极限。”

OpenAI和ChatGPT

OpenAI成立于2015年，是一家研究实验室，是三种生成式AI模型(ChatGPT、Codex和DALL-E)背后的AI研究和部署公司。这些模型经过训练，可以理解人类语言的结构，以创建文本、代码和图像内容，以及来自训练集的新类型的数据/见解。由于计算能力、数据可用性以及测试和进一步完善模型的公共能力的改进，模型的发布已经成为生成式AI的一个拐点。

ChatGPT(Generated Pre-trained Transformers或GPT-3)的第三次迭代于2022年11月推出，是一个能够解决/回答提示的类人人工智能平台。ChatGPT搜索的不同之处在于，它提供了一种会话式的查询响应，而不是建议站点的链接。自推出以来，它已成为历史上增长最快的消费级应用程序，在2023年1月累计了1亿的月平均用户(MAU)。相比之下，之前增长最快的应用程序是TikTok(9个月)和Instagram(2.5年)。

展开全文

今年2月发布的采用GPT-3.5技术的ChatGPT可以使用多达1750亿个参数，是GPT-2使用的参数数量的100多倍，GPT-2只使用了大约15亿个参数。参数的增加带来了计算能力的显著提升，也使新模型能够执行以前没有训练过的任务。虽然不能避免不完整的答案，不一致的反馈，或有偏见的行为，但ChatGPS是一个有前途的，用户友好的LLM应用程序。展望未来，ChatGPT-4预计将使用100万亿个参数，这表明LLM技术的进步有可能以指数级速度增长。

生成式AI市场机遇

事实上，人工智能正在被嵌入到技术堆栈的每一层。生成式AI是一种人工智能，它不仅被训练去识别以及做出预测，而且还从训练的数据集中生成新的输出和新颖的见解。为了评估该类别的市场机会，花旗研究(Citi Research)对对话式人工智能市场进行了类似的增长比较，尽管二者并不完全相同。对话式AI是一种模仿人类交流的技术，不一定是通过LLM运行的，尽管聊天机器人(以及传统对话式AI的升级)更像是生成式AI的自然初始用例。

根据IDC的报告，对话式人工智能市场预计将以37%的复合年增长率(CAGR)增长，从2021年的33亿美元增长到2026年的160多亿美元。其中，他们预测公有云组件的复合年增长率将达到52%，而本地化部署解决方案的复合年增长率仅为19%。值得注意的是，IDC是在2022年7月，即ChatGPT推出前四个月做出这一预测的，因此这可能是保守的，低估了未来的增长潜力。

随着公有云与本地部署对话式AI使用的显著增长，以及ChatGPT等需要大量计算能力的显著增长，花旗研究认为，云市场的成熟度和可扩展性可能会得到验证。

ChatGPT研究与应用推进

2023年2月，微软宣布将在必应搜索引擎和Edge浏览器中集成一种新的生成式人工智能模型——Open AI的ChatGPT，该模型基于GPT-3.5，并针对搜索进行了优化。这种集成将允许：基于相关/个性化结果创建内容、通过网络链接总结问题的完整答案、通过聊天进行后续和更具体的查询，以及通过1000个字符的文本框扩展搜索。除了创造更好的用户体验外，微软还指出，在将ChatGPT模型应用于其搜索引擎时，搜索相关性提高了。这一点很重要，因为增加搜索相关性可以帮助解决40%以上的搜索不能立即返回答案的问题。

2月初，谷歌发布了生成式AI工具Bard，这是其首个基于对话的AI模型。Bard由一个“轻量级”LaMDA模型提供动力，该模型经过1370亿个参数训练，目前其特性和功能有限。Bard是一个面向公众的大型语言模型(LLM)，它基于几种底层人工智能工具，包括(1)LaMDA，对话应用语言模型，专注于基于聊天/会话的模型;(2) PaLM，或路径语言模型，这是一个更先进的多模态后继者，可以集中地处理文本、音频和图像;(3) Sparrow，强调安全对话，基于谷歌2017年原始的Transformer研究。Transformer仍然是像ChatGPT这样的LLMs的底层基础。

基于人们对ChatGPT的强烈兴趣以及谷歌Bard的发布，中国互联网公司也正在开发类似的产品，将类似ChatGPT的功能融入到他们的服务和产品中。

2月7日：百度透露将在3月份完成一个名为“ERNIE Bot”的ChatGPT项目的内部测试。根据新闻报道，百度的目标是将该服务作为一个独立的应用程序提供，并逐渐将其合并到其搜索引擎中，在用户执行搜索查询时整合搜索结果。

2月8日：阿里巴巴也在开发一款ChatGPT式的人工智能工具，目前正在进行内部测试。

2月8日：京东有意将ChatGPT方法和技术要点整合到其产品服务中。

2月9日：网易有道正在研究将人工智能生成的内容纳入其教育服务。

ERNIE Model(文心大模型)是百度于2019年3月推出的自然语言处理深度学习模型。ERNIE是一个连续的预训练框架，通过连续的多任务学习，通过预训练任务增量地构建和学习。

自2019年以来，ERNIE模型已经开发了多个迭代:

ERNIE 3.0 TITAN：一种预训练语言模型，具有2600亿个参数，在大量非结构化数据和知识图上进行训练，擅长自然语言理解和生成。

ERNIE-ViL：一种用知识增强的方法来学习视觉和语言的联合表征，使用结构来增强视觉-语言的预训练。

ERNIE-ViLG 2.0：文本到图像的扩散模型，具有知识增强的去噪专家混合技术，改善细粒度语义控制，缓解生成图像中的对象属性不匹配问题。

ERNIE系列:与多个行业和公司合作的一系列大模型，将功能齐全的AI开发平台应用于特定的行业应用场景。2022年12月，ERNIE大模型家族推出了11款新模型，使总数达到36款。

生成式AI与搜索

生成式AI正在重新定义搜索，和浏览体验，使其更加自然和直观，并代表了互联网上最重要的演变之一。随着生成式AI集成到搜索体验中，搜索和搜索引擎结果页面(SERP)正变得更具对话性、更个性化，在许多方面更像个人礼宾服务，这可能会改变我们搜索旅行、购买商品和研究产品的方式。

在过去的几年里，搜索已经从最初的“10个蓝色链接”演变为更直观的体验，谷歌的Multisearch(文本、图像和视频)、Lens(图像识别技术，通过视觉分析显示与对象相关的信息)和QuickAnswers(显示在搜索引擎结果页面顶部)就是证明。有了生成式AI，搜索体验从仅仅向用户展示相关链接，发展到直接在搜索引擎结果页面中提供相关答案，并且当用户找不到最相关的答案时，生成式AI解决了搜索中近40%的点击返回的问题，这将改善用户体验，同时也有可能进一步巩固市场。

这关系到2250亿美元的全球搜索广告市场(根据eMarketer的数据)，在搜索引擎中引入生成式AI，将搜索领域的竞争提升到很长一段时间以来从未见过的水平。同样受到威胁的还有更广泛的数字广告市场，到2022年，该市场的总目标市场规模将达到5700亿美元。

大语言模型和Transformers

语言模型本质上是预测句子中接下来出现的词汇或词组的模型。大型语言模型(LLMs)使用大型神经网络来确定单词的上下文，并提供下一个单词的概率分布。几乎所有人都在某些时候都遇到过大型语言模型——它们实际上强调了我们在在线搜索引擎上搜索时遇到的预测文本模型。LLMs还为当今使用的数字助手提供了动力，从苹果的Siri到亚马逊的Alexa，从这个意义上讲，LLMs已经成为我们日常生活中无处不在的一部分。

大型语言模型是一种非常通用的AI形式，有许多应用案例。除了用于预测文本，它们还可以通过降低软件转录不寻常或不合逻辑的词汇的可能性来改进语音识别软件。LLM准确预测文本和理解对话上下文的能力使它们被用作在线支持聊天机器人，为企业节省了大量的时间和人力。

LLMs的使用预示着自然语言处理(NLP)的进一步发展。NLP是人工智能的一个分支，旨在使计算机以与人类相同的方式理解自然的人类语言。NLP的一个关键突破时刻是谷歌在2017年引入了一个Transformer模型。在此之前，循环神经网络(RNNs)和卷积神经网络(CNN)是理解人类语言的两种流行且占主导地位的模型，直到谷歌证明其Transformer模型能够更好地理解人类语言。

谷歌的Transformer模型包含了一种新颖的“注意力”机制，该机制考虑了句子中所有词汇之间的关系，然后对它们进行适当的加权。其中一个关键的收获是，Transformer模型不仅能够在NLP上表现得更好，而且能够更有效地使用可用的计算资源，在8个NVIDIA P100图形处理单元(GPU)上训练仅需要3.5天，训练成本只是次优模型的一小部分。最终，这些Transformer神经网络通过跟踪序列数据(如组成句子的词汇)中的关系，有效地学习上下文，进而理解含义。

Transformer LLMs理解上下文的重要性怎么强调都不为过。LLMs的一个理想行为是，当上下文包含与任务相关的信息，而这些信息可能与模型的任何记忆知识相冲突时，它们优先考虑上下文——其思想是，预测是基于上下文的，然后可以继续用于纠正未来的预测，而无需定期重新训练。2019年，谷歌的研究员兼搜索副总裁潘度·纳亚克(Pandu Nayak)将机器学习语言模型添加到谷歌搜索中描述为“过去五年来最大的飞跃，也是搜索历史上最大的飞跃之一。”

微软必应平台的项目经理Jeffrey Zhu同样将Transformer描述为“自然语言理解方面的突破”，并且“不像之前的深度神经网络(DNN)架构按顺序单独处理词汇，Transformer理解每个词汇和句子中所有词汇之间的上下文和关系。”

人工智能的新纪元

尽管Transformer为LLMs提供了许多好处，但重要的是要注意，它们可以应用于更广的范围，例如使用顺序文本、图像甚至视频的任何情况。这是因为Transformer不需要大型的、标记的数据集来训练模型，与以前使用的昂贵的训练数据集不同，Transformer模型能够识别数据集中不同元素之间的关系，这意味着它实际上可以从互联网上大量未标记的数据中学习。正如英伟达(NVIDIA)首席执行官黄仁生(Jensen Huang)在2022年所说的那样，“Transformer使自我监督训练成为可能，人工智能跃升至曲速。”

Transformer被斯坦福大学的研究人员称为人工智能的“基础模型”。也就是说，“任何在广泛数据(通常使用大规模的自我监督)上训练的模型，都可以适应广泛的下游任务”，并继续提供了BERT和GPT-3等Transformer模型的例子。

这可能是因为近年来LLMs能力的最大飞跃之一来自于OpenAI推出的GPT-3，这是一个具有1750亿参数的自回归语言模型(比任何以前的非稀疏语言模型多10倍)，取代了只有15亿个参数的GPT-2。据报道，GPT-3在一些明确训练的任务上表现得更好。然而，让许多人感到惊讶的是，相对简单的学习数据集缩放和模型的计算能力，导致GPT-3能够在没有明确训练的任务中表现得更好，这使得社会对这种模型潜在的不可预见的灵活性感到兴奋。

人工智能的终极形式，人工通用智能，原则上应该能够学习通用性问题。近年来，LLMs的规模呈指数级增长，有些人将其描述为每年增长10倍，这导致一些人质疑LLMs的发展是否可以被视为新的摩尔定律。也就是说，随着LLMs规模的增加，训练它们所需的计算能力也在增加，以至于人工智能的能力开始在很大程度上受到当前可用计算能力的限制。用一个NVIDIA V100(一种专门为人工智能训练设计的GPU)，训练GPT-3生成类人文本需要355年和460万美元的电费。下一个迭代，GPT-4，据称将有100万亿个参数，比GPT-3多500倍。近年来，摩尔定律面临压力，即使对我们最好的计算机来说，训练GPT-4模型也可能是一项极其艰巨的任务。

虽然前面有许多挑战，但现代LLMs(以及它们所基于的Transformer模型)不仅因其出色的理解和生成文本的能力而受到高度重视，而且还因其在初始训练中内化大量现实世界知识的能力而受到高度重视。