【大模型】Ollama+open-webui/Anything LLM部署本地大模型构建RAG个人知识库教程（Mac）

csdn推荐

目录

一、Ollama是什么？

Ollama是一个功能强大的开源框架，旨在简化在Docker容器中部署和管理大型语言模型（LLM）的过程。以下是关于Ollama的详细介绍：

定义与功能： 特点与优势： 支持的平台与模型： API与界面： 安装与部署：

综上所述，Ollama是一个为在本地运行大型语言模型而设计的强大、易用、功能齐全的开源框架。它通过优化设置和配置，简化了在Docker容器中部署和管理LLM的过程，使得用户能够快速、方便地在本地运行大型语言模型。

二、如何在Mac上安装Ollama

在Mac上安装Ollama的步骤如下，结合了参考文章中的信息，并进行了适当的总结和归纳：

1. 准备工作 2. 下载并安装Ollama 3. 运行Ollama 4. 安装和配置大型语言模型 5. 使用Ollama 回答问题时CPU100%，MAC M1 8G内存

请注意，以上步骤和命令可能因Ollama的版本和您的具体需求而有所不同。建议您参考Ollama的官方文档和社区资源，以获取最准确和最新的安装和使用指南。

三、安装open-webui 1. 准备工作 安装Docker环境：确保你的系统上已经安装了Docker Desktop。你可以从Docker官网下载并安装适合你操作系统的Docker Desktop版本。配置Docker以支持GPU（可选）：如果你的本地有GPU，并且希望利用GPU加速大模型效果，你需要在Docker Desktop中配置GPU支持。这通常涉及到在Docker Desktop的设置中启用GPU支持，并安装相应的驱动程序和软件。可参考文章：Macbook m1安装docker详细教程_mac m1安装docker-CSDN博客 2. Open WebUI ⭐的主要特点

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

想了解更多关于Open WebUI的功能吗？查看我们的Open WebUI 文档，了解全面概述！

3. Docker安装OpenWebUI

拉取Open-WebUI镜像：使用Docker命令从GitHub Container Registry拉取Open-WebUI的镜像。例如，你可以运行以下命令来拉取最新的Open-WebUI镜像：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

下载太慢，需要配置docker国内镜像仓库，参考这篇文章：

MacOS上配置docker国内镜像仓库地址_mac docker配置镜像源-CSDN博客

如果163也很慢，建议配置阿里云镜像地址，需要登陆阿里云不过配置发现更慢！手动下载了

最后只能用魔法解决了

4. 安装完成 4.1 本地登陆

登陆地址:3000/ 注册账号登陆

4.2 选择模型

4.3 聊天

4.4 配置文本嵌入模型

4.5 上传PDF文档

4.6关联文档，回答问题

4. 配置本地大模型LLaMA2-7B 下载LLaMA2-7B模型：你需要从适当的来源（如Hugging Face的模型仓库）下载LLaMA2-7B模型的文件。由于模型文件可能非常大，下载可能需要一些时间。确保你有足够的存储空间来存储这些文件。配置Open-WebUI以使用LLaMA2-7B模型：Open-WebUI允许你通过配置文件或环境变量来指定要使用的模型。你需要根据你的Open-WebUI版本和配置方式，将LLaMA2-7B模型的路径或位置配置到Open-WebUI中。具体的配置方法可能因Open-WebUI版本而异，请参考Open-WebUI的官方文档或GitHub仓库中的说明进行配置。重启Open-WebUI容器：在配置完Open-WebUI以使用LLaMA2-7B模型后，你需要重启Open-WebUI容器以使配置生效。你可以使用Docker命令来停止并重新启动容器，或者如果Open-WebUI支持热重载配置，你也可以尝试重新加载配置而不必重启容器。 5. 验证配置 访问Open-WebUI界面：在配置完成后，你可以通过浏览器访问本地的3000端口来访问Open-WebUI的界面。在界面上，你应该能够看到已经配置好的LLaMA2-7B模型，并可以开始使用它进行对话或其他任务。

测试LLaMA2-7B模型：在Open-WebUI界面中，你可以尝试与LLaMA2-7B模型进行对话或执行其他任务来验证配置是否正确。如果一切正常，你应该能够看到LLaMA2-7B模型对你的输入做出合理的响应。 四、使用Ollama + AnythingLLM构建类ChatGPT本地问答机器人系 学习目标

当在MAC上安装AnythingLLM时，以下是更详细的步骤，结合了参考文章中的信息：

1. 下载AnythingLLM 2. 安装AnythingLLM 3. 配置AnythingLLM 3.1 步骤说明

3.2选择LLM、嵌入模型和向量数据库 嵌入模型：可以选择内置的嵌入模型或下载其他模型，如OpenAI、LocalAi、Ollama等提供的嵌入模型。向量数据库：默认使用内置的LanceDB，但也可以选择其他如Chroma、Milvus、Pinecone等。 3.3设置环境变量（如果需要） 3.4权限管理（如果需要） 4. 构建知识库 5. 开始使用 6. 自定义集成（如果需要） 7. 监控和反馈 8. 注意事项 9. 额外信息 参考文章

Ollama-0001-安装

Ollama：本地大模型运行指南

ollama+open-webui，本地部署自己的大模型_ollama的webui如何部署-CSDN博客

Macbook m1安装docker详细教程_mac m1安装docker-CSDN博客

MacOS上配置docker国内镜像仓库地址_mac docker配置镜像源-CSDN博客

第九期： 使用Ollama + AnythingLLM构建类ChatGPT本地问答机器人系统 - 知乎 ()

AI小白使用Macbook Pro安装llama3与langchain初体验_mac安装llama3-CSDN博客

EP4 Ollama + AnythingLLM 解读本地文档 构建私有知识库_哔哩哔哩_bilibili

文章来源:https://blog.csdn.net/luomao2012/article/details/139457751