Ollama

首先安装 ollama，且下载模型，官网：https://ollama.com/

下载：Download Ollama on Windows
下载好后安装模型，直接在控制台（windows 系统是cmd）中执行相应命令即可，参考：library。例如安装 llama3 模型就执行命令

ollama run llama3

安装好后会自动运行模型，此时访问 ：http://127.0.0.1:11434
提示 Ollama is running 即表示 ollama 运行成功。

AnythingLLM

官网下载：Download AnythingLLM for Desktop

在启动页 LLM Preference 中选择 Ollama，输入其服务地址后会自动刷新可用模型，选择模型，设置 token 数即可（一般 4096）

其他 LLM 软件

如果不想用 AnythingLLM，可以用以下选择，但注意以下均不是直装软件，需要在 docker 中部署或在服务器中安装

Open WebUI

英文功能全面，也可对接 sd 绘画等

官网：Open WebUI 仓库：https://github.com/open-webui/open-webui

MaxKB

国产软件全中文，基于 LLM 大语言模型的知识库问答系统，1Panel 官方出品。可在飞致云上直接使用：FIT2CLOUD 飞致云 - 应用商店

一般安装还是从仓库：MaxKB: 💬 基于 LLM 大语言模型的知识库问答系统，1Panel 官方出品。