下载 GitHub - Vali-98/ChatterUI: Simple frontend for LLMs built in react-native. 作为图形界面；

1. 加速通道下载：0.8.0 版本 、0.8.0b 版本

下载模型文件 Llama-3.2-3B-Instruct-Q4_0_4_4.gguf · bartowski/Llama-3.2-3B-Instruct-GGUF at main (huggingface.co)；

1. 访问不了抱抱脸的用镜像，即域名替换为 https://hf-mirror.com/

2. 中文对话建议使用 qwen 模型（模型命名中 q2 到 q8 依据手机配置选择，数字越小的占用越低，准确率也低，越大对配置要求越高）：

   1. Qwen/Qwen2.5-3B-Instruct-GGUF at main (hf-mirror.com)
   2. Qwen/Qwen2.5-1.5B-Instruct-GGUF at main (hf-mirror.com)

在 ChatterUI 的 Instruct 选项中，点击 Alpaca，将其修改为 Llama 3；

在 ChatterUI 的 API 选项中，点击 Import Model，选择下载的模型文件，再点击 Load 载入模型；

现在即可与默认的 AI Bot 角色进行对话。还可以使用自定义的设定描述词，创建新的角色。