Created
Jul 23, 2024 06:19 AM
Favorite
Favorite
Priority
备注
推荐
🌟🌟🌟🌟
类型
模型学习
最近有很多人问我大模型是什么东西，是怎么运行的？如果有新的知识，大模型怎么更新？为什么要用RAG直接把知识告诉大模型不香吗？用RAG我的知识搜不到，不就完犊子了吗？
因此，准备最近跟大家一起分享一些容易懂的文章，慢慢深入，跟大家一起学习交流。
大模型概述
大模型是指具有数千万甚至数千亿参数的深度学习模型。近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果，如自然语言处理，图片生成，工业数字化等。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。
按参数量划分
根据OpenAI的分类方法，可以将AI模型分为以下几类：
小型模型：≤ 1百万个参数
中型模型：1百万 – 1亿个参数
大型模型：1亿 – 10亿个参数
极大型模型：≥ 10亿个参数
就目前来说，各种越来越大的模型出现，这个划分已有点不合时宜，10亿级参数量已成为开源大模型的入门门槛，百亿、千亿是主流产品。
按输入类型划分
语言大模型(NLP)：是指在自然语言处理(Natural LanguageProcessing，NLP)领域中的一类大模型，通常用于处理文本和语音数据和。这类大模型的主要特点是它们在大规模语料库(网上的一切可以获得的数据，如：微博、博客、网页等)上进行了训练，以学习自然语言的各种语法、语义和语境规则。例如:GPT系列(OpenAI)、Bard(Google)、文心一言(百度)。
视觉大模型(CV)：是指在计算机视觉(Computer Vision，CV)领域中使用的大模型，通常用于图像处理和分析。这类模型通过在大规模图像数据上进行训练，可以实现各种视觉任务，如视频生成、图像分类、目标检测、图像分割、姿态估计、人脸识别等。例如:VIT系列(Google)、文心UFO、华为盘古CV、INTERN(商汤)
多模态大模型：指能够处理多种不同类型数据的大模型，例如文本、图像、音频等多模态数据。这类模型结合了 NLP 和 CV 的能力，以实现对多模态信息的综合理解和分析，从而能够更全面地理解和处理复杂的数据。例如: GPT-4o（OpenAI）等
多模态大模型是未来的趋势：比如现在生成的各种小姐姐、小哥哥，已经越来越活灵活现。
现有大模型梳理
大模型的目标
我们已文本为例，来介绍模型是如何拟合知识的。不管是什么类型的大模型，目标就是为了学习计算一个句子出现的概率，并使它符合人类世界的规律。比如：“南京市 长江”，后面跟 “大桥”的概率就比跟 “小桥”的概率大，一个好的语言模型，应该能学会这种规律。
大语言模型，由于参数量比较大，有了更加炸裂的效果。由于学习了现有互联网和书本的全部内容，我们可以问他：
也可以问他：
好的大模型应该是有一定的推理能力的，可以看出，上面这个大模型产品他自己调用了计算器，计算出了结果，这也是大模型实现Agent的例子，后面会详细介绍到。
在训练ChatGPT类的语言模型时，我们的输入是将文本依次输入到模型中，然后预测下一个词，以此让模型学会，语言中的内部联系，例如：
这样可以看出，前面的信息越准确，后面预测出的词置信度会越高，因为 南京市后面会接的东西很多，南京市长江后面跟的内容范围就会窄很多;所以我们在使用大模型时，尽量要把内容输准确、详细，这样更容易得到想要的效果。
由于网上的信息来源于各种各样的生产者，有些人会故意生产错误的信息，导致模型可能学习到了错误的知识，使用时需要注意。
总体来说，文本、语音、视频被编码后输入模型，没有太多的区别，详细内容可以私信博主获得指导。
大模型采用的架构
Transformer最重要的能力是Attention，可以直观的、不受长度限制的，在生成新内容时，给予前面出现词的不同权重，例如：
今天 天气 不好，我 的 心情 受到 了 影响，外面 在 下雨
在预测 下雨 的时候，天气 不好 的贡献就会比较大，这样可以使模型的效果更加可控。如果想了解详细计算过程后面会讲到。
根据这种网络架构的变形，主流的框架可以分为Encoder-Decoder, Encoder-Only和Decoder-Only，其中：
1）Encoder-Only，仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如文本分类、情感分析等，这类代表是BERT相关的模型，例如BERT，RoBERT，ALBERT等
2）Encoder-Decoder，既包含编码器也包含解码器，通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以Google训出来T5为代表相关大模型。
3）Decoder-Only，仅包含解码器部分，通常用于序列生成任务，如文本生成、机器翻译等。这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。同时还有一个重要特点是可以进行无监督预训练。在预训练阶段，模型通过大量的无标注数据学习语言的统计模式和语义信息。这种方法可以使得模型具备广泛的语言知识和理解能力。在预训练之后，模型可以进行有监督微调，用于特定的下游任务（如机器翻译、文本生成等）。这类结构的代表也就是我们平时非常熟悉的GPT模型的结构，所有该家族的网络结构都是基于Decoder-Only的形式来逐步演化。
大模型能做什么
1、先看看大模型的回答：
2、几个简单的小例子
快速获得科普知识
分类
文本生成
以上给出了三个简单的使用例子，后续会详细介绍，并给出更好的使用方法。
注：让我一起学习大模型知识和获得大模型使用方法吧；有需要了解的内容可以留言和私信。