一、安装ollama，ollama官网：ollama.com，安装后打开终端输入命令可运行加载模型，例如：qwen3.5:4b

ollama run qwen3.5:4b

可按配置和需求，从ollama选择模型和参数版本，这时本地已有运行的大模型。

二、利用LangChain编写python代码，实现AI智能体Agent的功能

LangChain 是一个用于构建大语言模型（LLM）应用的 Python 框架。

LangChain 提供统一的接口来连接各种 AI 模型，并支持构建能够自动调用工具、检索知识、记住上下文的智能 Agent。

三、RAG（Retrieval-Augmented Generation，检索增强生成）让 AI 能够基于你的私有文档回答问题，不需要微调模型，只需将文档向量化存储，Agent 就能检索相关内容来回答。

普通的大模型只能回答训练数据中有的内容。如果你的文档是私有的（公司内部文档、个人笔记），模型就"不知道"。

RAG 解决了这个问题：

1、离线阶段：将文档切分成小块 → 用 Embedding 模型转换为向量 → 存入向量数据库

2、在线阶段：用户提问 → 将问题转为向量 → 在向量数据库中搜索最相似的内容 → 将检索到的内容作为上下文发给模型 → 模型基于检索内容回答

本文内容参考和引用：菜鸟教程www.runoob.com