花了一周时间, 总结了一份AI 学习攻略, 让不懂算法也能轻松上手AI Agent开发

嗨，大家好。 ”

最近在研究AI代理在零代码平台上的应用。我们专门整理了一份关于AI学习的干货资料，帮助大家快速了解LLM，熟悉主流的AI大模型框架和方法。基于人工智能模型改进传统工作。

这就是本文的重点，接下来我将开始分享和总结。

LLM介绍

1. LLM概念

大规模语言模型：通常具有较大参数和计算能力的自然语言处理模型，例如OpenAI 的GPT-3 模型。这些模型可以使用大量数据和参数进行训练，以生成类似人类的文本或回答自然语言问题。大规模语言模型广泛应用于自然语言处理、文本生成、智能交互等领域。

2. 大模型分类

根据输入数据类型的不同，大型模型可以分为三大类：

语言模型（NLP）：是指自然语言处理（NLP）领域的一种大规模模型，通常用于处理文本数据和理解自然语言。此类大规模模型的主要特征是它们在大型语料库上进行训练，以学习自然语言的各种语法、语义和上下文规则。示例：GPT 系列（OpenAI）。

视觉大型模型（CV）:是指计算机视觉（CV）领域使用的大型模型，通常用于图像处理和分析。此类模型可以在大规模图像数据上进行训练，以完成图像分类、人脸识别和目标检测等各种视觉任务。

多模态大规模模型：指能够处理多种不同类型数据的大规模模型，例如文本、图像、音频等多模态数据。这类模型结合了NLP和CV的能力，实现了对多模态信息的全面理解和分析，从而可以更全面地理解和处理复杂的数据。示例：DingoDB多模式矢量数据库（九章云集DataCanvas）、DALL-E（OpenAI）、悟空花花（华为）、midjourney。

3.大语言模型的工作机制

选择一张照片

最著名的大语言模型（LLM）架构本质上是Transformer 架构。典型的Transformer 模型在处理输入数据时有四个主要步骤。

1. 词嵌入： 模型执行词嵌入，将单词转换为高维向量表示。然后数据通过多个Transformer 层。这有助于模型理解单词的含义并据此做出预测。

2. 位置编码： 位置编码是一种帮助模型确定单词在序列中的位置的技术。位置编码主要用于跟踪词序。例如，如果将句子“I like cats”输入到模型中，位置编码可帮助模型区分句子开头的“I”和结尾的“cat”。这对于模型理解上下文并产生一致的输出非常重要。

3. Self-Attention 机制： Self-Attention 机制是Transformer 模型的核心组成部分。这使得模型能够有效地交互，并在生成输出时关注输入序列中的不同位置。自注意力机制的关键思想是计算输入序列中每个单词之间的相关性，并使用这些相关性来加权模型在每个位置的注意力。

4.前馈神经网络： 前馈神经网络进一步处理每个位置的表示。前馈神经网络由多个全连接层组成，每个层都有一组用于对输入进行非线性变换的参数。此过程有助于引入模型输出的复杂性和灵活性。

二.LangChain原理和应用案例

Langchain 是一个开源框架，允许开发人员将大规模语言模型（例如GPT-4）与外部计算和数据源相结合，以提高大规模语言模型（LLM）的能力。

提供Python 和TypeScript 的包。

Langchain 由三个核心组件提供支持：

该组件提供了LLM接口、模板提示和信息检索索引的封装。链结合不同的组件来解决特定任务，例如在大量文本中查找信息。

Langchain的这种结构设计使得LLM不仅可以处理文本，还可以在更广泛的应用环境中进行操作和响应，大大扩展了其应用范围和有效性。

JDBC与Java类似，为Java开发人员提供了访问不同数据库的统一方式，并使不同数据库之间的切换更加方便。

1.LangChain的工作流程

提出问题：用户提出问题。查询语言模型。这些问题被转换为向量表示，以便在向量数据库中进行相似性搜索。从向量数据库中提取相关信息并将其输入到语言模型中。将相关信息转换为语言模型；生成答案或执行操作：语言模型结合初始问题和相关信息来提供答案或执行相应的操作。

2. 应用场景

浪链的应用场景非常广泛，我们将列出一些常见的应用场景和案例。

文本摘要：总结长篇文章、书籍、报告和其他文本以提取重要信息。例如，对一篇新闻文章进行总结，以便读者能够快速理解主要内容。文档问答：根据文档内容进行问答。例如，当用户询问有关产品手册、技术文档等的问题时，系统根据文档中的信息做出准确的响应。信息提取：从大量文本中提取结构化信息，例如从简历中提取姓名、联系方式、工作经历等重要内容。聊天机器人：构建具有记忆功能的聊天机器人，可以与用户进行多次对话并记住以前的对话以提供更加个性化的服务。例如，在线客服机器人可以了解用户的问题并提供解决方案。智能问答系统：应用于智能客服、智能助理等，解答各种问题并提供相关知识和信息。代码理解和分析：分析代码并从中获取逻辑。它还支持与代码相关的问题和答案。语言翻译：LangChain本身并不直接进行语言翻译，但可以结合其他翻译工具和模型来实现翻译功能。数据库交互：从数据库中提取数据信息或类似数据库的内容，实现数据库查询和操作。内容生成：生成文章、故事、诗歌等各种文本内容。 API 交互：阅读并理解API 文档，以向实际API 发出请求并检索数据。例如，调用天气API获取天气信息并回答用户的相关问题。

三. AI Agents 原理和应用案例

AI代理的原理是感知环境、做出决策并执行行动以实现特定目标。它通常包括规划、内存、工具、动作等主要模块，其工作流程大致如下：

初始化目标：为您的AI 代理设定明确的目标。 AI代理使用核心语言模型（例如GPT-3.5和GPT-4）来理解这些目标并启动相应的行动计划。根据设定的目标生成任务。规划任务序列、确定任务优先级、执行顺序，并为可能出现的意外情况做好准备。信息收集：收集相关信息，例如搜索互联网、访问数据库以及与其他人工智能模型交互以执行特定功能。任务；数据管理和策略改进：持续管理和分析您收集的数据，并根据您的数据和目标调整策略。任务执行：根据计划和记忆或通过与外部世界的交互来执行特定的动作。完成行动、学习和优化的工具：从每次交互和任务执行中学习，不断优化你的表现和策略，以更好地适应新情况并实现你的目标。

用专业术语来说，就是能够独立实现目标的“个人”。流程如下。

选择一张照片

将场景抽象为模型。大约看起来像：

选择一张照片

1. 开发一个AI Agent的步骤

确定目标和功能：明确您希望AI 代理实现的具体目标和功能。选择合适的技术和框架：选择适合您需求的人工智能技术，例如深度学习框架。数据收集和准备：收集、组织、清理和预处理与目标相关的数据。训练模型：使用收集的数据训练模型并调整参数以优化性能。模型评估和优化：评估训练好的模型，并根据结果进行优化和改进。集成部署：将模型与相关系统集成、部署、测试。

使用统一钱文：实现AI代理的案例研究

请参考以下步骤使用统一钱文实现AI代理。

安装所需的库。使用pip install qwen-agent 命令为pip install -u qwen-agent 准备模型服务。您可以选择使用阿里云上Dashscope提供的模型服务，也可以部署并使用开源的统一钱文。制作你自己的模型。使用Dashscope 时，请务必设置环境变量并开发自己的代理。这是创建可以读取PDF 文件并利用工具的代理的简单示例。

首先，添加自定义工具，例如图像生成器。

导入urllib.parse

导入json5

从qwen_agent.tools.base 导入basetool 和register_tool

@register_tool(\’my_image_gen\’)

类myimagegen(basetool):

description=\’aipainting（图像生成）服务，输入文字描述，返回根据文字信息绘制的图像的URL。

参数=({

\’名称\’: \’提示\’,

\’类型\’:\’字符串\’,

\’description\’: \’所需图像内容的详细描述（英文）\’,

“要求”: 正确

})

def 调用(self, params: str, **kwargs) – str:

提示=json5.loads(params)(\’提示\’)

提示=urllib.parse.quote(提示)

返回json5.dumps (

{\’image_url\’: f\’https://image.pollinations.ai/prompt/{prompt}\’},

确保_ascii=假）

接下来，配置要使用的LLM 模型。

llm_cfg={

\’odel\’: \’qwen-max\’,

\’odel_server\’: \’dashscope\’，

#\’api_key\’: \’your_dashscope_api_key\’, # 您可以根据自己的实际情况设置或使用环境变量

# 可选的构建配置来调整构建参数

\’generate_cfg\’: {

\’top_p\’: 0.8

}

}

接下来，创建代理。

从qwen_agent.agents 导入助手

system_instruction=\’\’\’你是一个有用的助手。

收到用户的请求后，需要进行以下操作：

-首先绘制图像并获取图像URL。

– 然后运行代码`request.get(image_url)`来下载图像。

– 最后，从指定文档中选择图像操作来处理图像。

使用“plt.show()”显示图像。 \’\’\’

tools=(\’my_image_gen\’, ) #在这里添加需要的工具

代理=助理（系统指令=系统指令，工具=工具，llm_cfg=llm_cfg）

最后，您可以将此助手作为聊天机器人运行并与其交互以执行相关任务。请注意，这只是一个基本示例。在实际开发中，您可能需要根据您的具体需求进一步扩展和定制代理的功能，例如添加工具、处理不同类型的任务以及优化其交互方式。

四.Rag原理和应用案例

选择一张照片

为什么要使用RAG技术？

RAG（Retrieval Augmented Generation）主要解决大规模语言模型（LLM）中的以下问题：

错觉问题：由于LLM是一个预先训练的模型，如果用户提出的问题与他们自己的知识储备不匹配，它可能会产生看似正确但实际上是错误的答案。换句话说，出现了“幻觉”。 RAG通过从外部知识库检索相关信息，为LLM提供更准确的基础，并减少幻觉的发生。数据新鲜度问题：LLM一旦经过预训练，就无法实时识别更新的数据。 RAG可以处理并将公司的公共领域数据或内部私有领域数据提供给LLM，LLM会实时更新，因此它可以根据最新的信息生成答案。知识问题的局限性：法学硕士可能对某些利基领域知识不足。 RAG 填补了LLM 所缺失的知识，并通过向量匹配帮助您找到与您的问题最相关的段落和文章。隐私问题：出于安全考虑，公司可能不希望法学硕士接受其敏感数据或文档的培训。 RAG在不暴露敏感数据的情况下从知识库中检索相关信息，并提供回答LLM所需的信息。

RAG 是一种使用来自私人或专有数据源的信息来协助文本生成的技术。搜索模型（用于搜索大型数据集或知识库）和生成模型（大型语言模型）经过训练，可以添加来自更多数据源的上下文信息，补充法学硕士（LLM）的原始知识库等）。这消除了重新训练模型的需要，提供了更相关的搜索体验，并改进了大型语言模型的输出。

RAG 的工作原理如下：

搜索：通过嵌入模型将用户的查询转换为向量，与向量数据库中的其他上下文信息进行比较，通过相似度搜索找到向量数据库中的前k个最佳匹配。增强功能：将用户查询和附加检索信息嵌入到预设提示模板中，以提供更丰富、更具上下文的信息，从而简化后续生成过程。生成：将搜索丰富提示的内容输入到大规模语言模型(LLM) 中以生成所需的输出。

让我们考虑RAG 的一个示例应用程序。假设您想要构建一个智能客户服务系统，可以回答有关您产品的各种问题。首先，我们收集产品相关文档和常见问题解答等数据，对这些数据进行处理和向量化，并将其存储在向量数据库中。当用户提出问题时，系统通过搜索模块在矢量数据库中搜索相关信息，然后将查询和检索到的信息输入并丰富到提示模板中。最后，使用大规模语言模型根据扩展的提示生成准确的上下文响应。

这句话在计算机、互联网、移动互联网的早期也同样成立。

我在互联网公司的第一线工作了十多年，指导过很多初级同事。帮助了很多人学习和成长。

我们认识到我们有很多宝贵的经验和知识可以与您分享。我们还可以利用我们的能力和经验来解答学习人工智能中的很多困惑。这就是为什么我仍然坚持组织和分享不同的事情。忙于工作。然而，由于知识传播渠道有限，很多互联网行业的朋友无法获得正确的学习资料来提高学习水平。因此，重要的AI大规模模型学习资料包括AI大规模模型入门学习思维导图、优质AI大规模模型学习。书籍、手册、视频教程、实践学习和其他录制视频均免费共享。

五. AI + 低代码/零代码的思考

现阶段，大家对大规模模型AI已经有了前沿的认识。对大规模模型AI了解至少95%的人可以在相关讨论中表达先进的、非反应性的、现实的观点。只需与人工智能聊天、训练它，然后使用代码将大型模型连接到您的业务。

大型模型AI能做什么？大型模型如何获得“智能”？利用人工智能的核心思维方法。大型模型应用技术架构代码示例：融入即时工程和核心思想链的重要性。还有思想树。立即攻击并警告.

六. 前端效能

在这个阶段，你将正式进入大规模模型人工智能的高级实践学习，学习构建私有知识库，并扩展你的人工智能的能力。快速开发完整的基于代理的对话机器人。掌握适合Python和JavaScript程序员的最强大的大规模模型开发框架，并利用最新的技术进步。

为什么RAG 为ChatPDF 搜索构建一个简单的基本概念？什么是向量表示（嵌入）？扩展您对RAG 系统的了解并了解RAG-Fusion。本地部署.

1.下一代工作模式和研发思维方式

恭喜。一旦你学会了这个，你基本上就可以找到一份与大模型AI相关的工作，甚至可以自己训练GPT。通过微调，您可以训练自己的大规模垂直模型，独立训练开源多模态大规模模型，或者学习更多技术解决方案。

到现在已经过去2个月左右了。你已经成为一个“人工智能孩子”。想要进一步探索吗？

为什么要做RAG？什么是模型训练？简介小实验2：手工训练一个简单的神经网络什么是训练/预训练/微调/轻量级微调？ -权重微调概述- 构建实验数据集调整……

2.AI辅助工具Marscode

对全球大规模模型在性能、吞吐量、成本等方面有一定的了解，在云端、本地等各种环境下部署大规模模型，找到适合自己的项目和初创公司的方向，以及使用它们作为武器，可以成为您拥有的产品。

《选择硬件》是使用国内大规模模型服务构建OpenAI的指南。基于阿里云PAI部署大规模模型。大模型案例：如何在阿里云上优雅部署私有部署开源大模型部署系列开源LLM项目内容安全互联网信息服务算法备案.

学习是一个过程，只要你在学习，就会有挑战。上帝奖励努力工作，你越努力，你就会越好。

如果你能在15 天内完成所有任务，那你就是天才。然而，如果你能达到60-70%，你就开始具备成为大规模模型AI 的正确特征。

如何学习大模型 AI ？

# 我花了一周的时间整理了以上信息，整理成了一份AI学习指南，这样即使是不懂算法的人也能轻松开始开发AI代理。相关内容来源网络仅供参考。相关信息将正式公布！