一、什么是AI？
人工智能（AI，Artificial Intelligence）是指让机器具备人类智能的能力，使其能够执行如感知、推理、决策、学习和创造等任务。AI 的发展经历了多个阶段，从最早的基于规则的专家系统，到如今的深度学习和神经网络驱动的智能系统，使得 AI 具备了更强的学习能力和泛化能力。

AI 主要包括以下几个关键领域：

计算机视觉（CV）：如人脸识别、图像分类、目标检测等。
自然语言处理（NLP）：如机器翻译、文本摘要、语音识别等。
机器人技术：如自动驾驶、机械臂、智能家居等。
决策系统：如推荐系统、智能调度、金融风控等。
其中，自然语言处理（NLP） 是 AI 领域的一个重要分支，而 LLM（大语言模型）正是 NLP 领域的一项突破性技术。

二、AI与LLM 的关系
LLM（Large Language Model，大语言模型）属于 AI 领域的一个重要子集，它是 AI 发展的高级阶段，专门用于处理和生成自然语言。AI 主要提供了 LLM 发展的基础技术，而 LLM 是 AI 在自然语言处理上的具体应用。

三、支持的 LLM、嵌入模型和向量数据库
LLM：包括任何开源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。

嵌入模型：AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAi。

向量数据库：LanceDB（默认）、Pinecone、Chroma、Weaviate 和 QDrant。


四、大语言模型的概念
大语言模型（英文：Large Language Model，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。

通常，大语言模型（LLM）指包含数百亿（或更多）参数的语言模型，这些模型在大量的文本数据上进行训练，例如国外的有GPT-3、GPT-4、PaLM、Galactica和LLaMA等，国内的有ChatGLM、文心一言、通义千问、讯飞星火等。

在这个阶段，计算机的“大脑”变得非常巨大，拥有数十亿甚至数千亿的参数。这就像是将计算机的大脑升级到了一个巨型超级计算机。这让计算机可以在各种任务上表现非常出色，有时甚至比人类还要聪明。

为了探索性能的极限，许多研究人员开始训练越来越多庞大的语言模型，例如拥有1750亿参数的GPT-3和5400亿参数的PaLM。尽管这些大型语言模型与小型语言模型（例如BERT的3.3亿参数和GPT-2的15亿参数）使用相似的架构和预训练任务，但它们展现出截然不同的能力，尤其在解决复杂任务时表现出了惊人的潜力，这被称为“涌现能力”。以GPT-3和GPT-2为例，GPT-3可以通过学习上下文来解决少样本任务，而GPT-2在这方面表现较差。因此，研究界给这些庞大的语言模型起了个名字，称之为“大语言模型（LLM）”。而LLM的一个杰出应用就是ChatGPT，它是GPT系统LLM用于与人类对话式应用的大胆尝试，展现出了非常流畅和自然的表现。


五、LLM的应用和影响
LLM已经在许多领域产生了深渊的影响。在自然语言处理领域，它可以帮助计算机更好地理解和生成文本，包括写文章、回答问题、翻译语言。在信息检索领域，它可以改进搜索引擎，让我们更轻松地找到所需的信息。在计算机视觉领域，研究人员还在努力让计算机理解图像和文字，以改善多媒体交互。】

最重要的是，LLM的出现让人们重新思考了通用人工智能（AGI）的可能性。AGI是一种像人类一样思考和学习的人工智能。LLM被认为是AGI的一种早期形式，这引发了对未来人工智能发展的许多思考和计划。

总之，LLM是一种令人兴奋的技术，它让计算机更好地理解和使用语言，正在改变着我们与技术互动的方式，同时也引发了对未来人工智能的无限探索。


六、LLM为什么要基于Transformer架构？
在Transformer架构出现之前，自然语言模型主要依赖循环神经网络（RNN），但RNN的顺序处理方式限制了计算的并行性，且在处理长序列时，信息容易丢失或遗忘。

Transformer通过引入自注意力机制和位置编码，克服了传统模型在捕捉长距离依赖和并行计算方面的局限。自注意力机制允许模型同时关注输入序列中的所有词，捕捉更远距离的依赖关系，避免了RNN及其变体LSTM模型中存在的顺序处理瓶颈。因此，Transformer成为大规模预训练模型的基础架构，并在多个任务中展现了出色的性能。


七、LLM扩展应用
为了应对日益复杂的任务需求，一些新型的大模型应运而生，它们对单一LLM的能力进行了扩展和补充。这些模型主要包括多模态大语言模型、LLM智能体（Agent）、垂直领域LLM等。以下是对这些模型的简要介绍：

多模态大语言模型 (Multimodal Large Language Models)

多模态大语言模型通过融合文本、图像、视频和音频等多种信息，能够同时处理不同类型的输入，生成更丰富的语义理解。与传统模型不同，它在多元数据训练下显著提升了对各类数据的理解能力，展现出更强的任务适应性和通用性。例如，在图像描述任务中，模型结合图像和文本生成精准自然的语言；在音频处理任务中，通过融合音频和文本信息，提高语音识别和语义理解的准确性。


LLM智能体（Agent）

LLM智能体（Agent）是基于LLM的人工智能系统，它能够理解、生成和处理语言，以执行各种任务。与传统的程序或工具不同，智能体不仅能够提供信息和答案，还能根据上下文进行自主推理、决策和行动。通过与用户的互动，它可以处理复杂的问题，提供个性化建议，并完成诸如对话、文本生成、翻译、问答等多种任务。智能体的核心是成熟的LLM，它通过大量的语料库学习语言的结构和含义，不断优化其理解和生成能力。