AnythingLLM等 + ollama搭建本地知识库GPT

Ollama

首先安装ollama，且下载模型，官网：https://ollama.com/

下载：Download Ollama on Windows
下载好后安装模型，直接在控制台（windows系统是cmd）中执行相应命令即可，参考：library。例如安装llama3模型就执行命令

ollama run llama3

安装好后会自动运行模型，此时访问 ：http://127.0.0.1:11434
提示Ollama is running即表示ollama运行成功。

AnythingLLM

官网下载：Download AnythingLLM for Desktop

在启动页LLM Preference中选择 Ollama，输入其服务地址后会自动刷新可用模型，选择模型，设置 token 数即可（一般4096）

其他LLM软件

如果不想用AnythingLLM，可以用以下选择，但注意以下均不是直装软件，需要在docker中部署或在服务器中安装

Open WebUI

英文功能全面，也可对接sd绘画等

官网：Open WebUI 仓库：https://github.com/open-webui/open-webui

MaxKB

国产软件全中文，基于 LLM 大语言模型的知识库问答系统，1Panel 官方出品。可在飞致云上直接使用：FIT2CLOUD 飞致云 - 应用商店

一般安装还是从仓库：MaxKB: 💬 基于 LLM 大语言模型的知识库问答系统，1Panel 官方出品。