Win10安装text-generation-webui
text-generation-webui
页面：https://github.com/oobabooga/text-generation-webui
下载：https://github.com/oobabooga/text-generation-webui/archive/refs/heads/main.zip
解压main.zip到:d:/text-generation-webui
安装python环境管理工具：Miniconda
页面：https://docs.anaconda.com/free/miniconda/
下载：https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe
安装：打开Miniconda3-latest-Windows-x86_64.exe安装。
开始安装 text-generation-webui
1、执行:D:/text-generation-webui/cmd_windows.bat
2、等待。
3、期间有提示：硬件选择 A:N卡，B：A卡，C：Apple卡，D：Inter卡，E:仅使用CPU。
4、本次选择E: CPU 无GPU。
安装网页用户界面（命令行在:D:/text-generation-webui/cmd_windows.bat）pip install -r requirements_cpu_only.txt
按需求使用文件
NVIDIA has AVX2 requirements.txt
NVIDIA no AVX2 requirements_noavx2.txt
AMD has AVX2 requirements_amd.txt
AMD no AVX2 requirements_amd_noavx2.txt
CPU only has AVX2 requirements_cpu_only.txt
CPU only no AVX2 requirements_cpu_only_noavx2.txt
Apple Intel requirements_apple_intel.txt
Apple Apple Silicon requirements_apple_silicon.txt
启动
执行:D:/text-generation-webui/start_windows 无错提示即可。
使用text-generation-webui
浏览器打开：http://127.0.0.1:7860/
下载模型
模型应放置在文件夹中text-generation-webui/models。它们通常是从Hugging Face下载的。
GGUF 模型是单个文件，应直接放入models. 例子：
text-generation-webui
└── models
└── llama-2-13b-chat.Q4_K_M.gguf
其余模型类型（例如 16 位 Transformer 模型和 GPTQ 模型）由多个文件组成，必须放置在子文件夹中。例子：
text-generation-webui
├── models
│ ├── lmsys_vicuna-33b-v1.3
│ │ ├── config.json
│ │ ├── generation_config.json
│ │ ├── pytorch_model-00001-of-00007.bin
│ │ ├── pytorch_model-00002-of-00007.bin
│ │ ├── pytorch_model-00003-of-00007.bin
│ │ ├── pytorch_model-00004-of-00007.bin
│ │ ├── pytorch_model-00005-of-00007.bin
│ │ ├── pytorch_model-00006-of-00007.bin
│ │ ├── pytorch_model-00007-of-00007.bin
│ │ ├── pytorch_model.bin.index.json
│ │ ├── special_tokens_map.json
│ │ ├── tokenizer_config.json
│ │ └── tokenizer.model
在这两种情况下，您都可以使用 UI 的“模型”选项卡自动从 Hugging Face 下载模型。也可以通过命令行下载它。