llama.cpp windows
llama.cpp windows cuda 编译
Windows 用 CUDA 编译 llama.cpp 源码编译实现 GPU 加速推理
1. 环境准备
硬件要求
NVIDIA RTX 系列显卡 确保显卡驱动与 CUDA 版本匹配
软件要求
Visual Studio 2022 含 C++ 编译工具
http://www.facesoho.com/cplusplus/visual-studio-windows.html
CMake 用于生成编译文件
http://www.facesoho.com/cplusplus/cmake-windows.html
CUDA Toolkit 推荐与显卡驱动匹配 如 CUDA 12.4 或 13.1）
http://www.facesoho.com/cplusplus/cuda-toolkit-check.html
cuDNN 与 CUDA 版本对应
Git 用于下载 llama.cpp 源码
Python/Anaconda
可选 用于测试脚本
2. CUDA 安装与配置
使用 nvidia-smi 检查显卡驱动版本 确保支持目标 CUDA 版本
nvidia-smi
Fri Oct 9 17:55:31 2026
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.89 Driver Version: 460.89 CUDA Version: 11.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+=======================|
| 0 Quadro P2000 WDDM | 00000000:01:00.0 On | N/A |
| 49% 41C P8 8W / 75W | 813MiB / 5120MiB | 8% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
下载对应 CUDA Toolkit（如 CUDA 11.2 ）
https://developer.nvidia.com/cuda-toolkit-archive
https://developer.nvidia.com/cuda-11.2.2-download-archive
选择自定义安装
Operating System: windows
Architecture : x86_64
Version: 10
确保包含 nvcc 编译器和必要 DLL
安装 cuDNN 并将其 DLL 文件
复制到 CUDA 对应目录 确保编译时可用
3. llama.cpp 编译方式
# curl
curl -LsSf https://llama.app/install.sh | sh
# powershell
irm https://llama.app/install.ps1 | iex
运行 llama-cli.exe
输出应显示显卡信息和 compute capability
方法二 源码编译
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
Policy CMP0194 is not set: MSVC is not an assembler for language ASM.
# llama.cpp\ggml\CMakeLists.txt
# ref: https://cmake.org/cmake/help/latest/policy/CMP0194.html
# MSVC is not a valid assembler for the ASM language.
# Set to NEW to avoid a warning on CMake 4.1+ with MSVC.
if (POLICY CMP0194)
cmake_policy(SET CMP0194 NEW)
endif()
project("ggml" C CXX ASM)
/////////////////
Warning: ccache not found - consider installing it for faster compilation or disable this warning with GGML_CCACHE=OFF
http://www.facesoho.com/cplusplus/ccache-windows.html
//////
Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the system variable OPENSSL_ROOT_DIR (missing: OPENSSL_CRYPTO_LIBRARY OPENSSL_INCLUDE_DIR)
//////
4. 模型管理与运行
下载 GGUF 格式模型 qwen3.5-2b-q4km.gguf
放在单独文件夹 避免中文或空格路径
测试脚本示例Json
{
"model": "qwen.gguf",
"prompt": "你好 请用500字介绍一下通义千问",
"temperature": 0.7,
"max_tokens": 512,
"ctx_size": 4096
}
运行前关闭防火墙以避免连接问题
5. 注意事项
版本匹配 CUDA、cuDNN、llama.cpp 版本必须对应 否则可能报错
路径管理
Windows 对中文路径和空格敏感
建议统一管理模型和可执行文件路径
环境变量生效 修改后需重启 CMD/PowerShell 或电脑
性能优化
可使用 USE_GRAPHS=1、设置 PEER_MAX_BATCH_SIZE 等参数提升推理速度
通过以上步骤 Windows 用户可以顺利编译或使用 CUDA 版本的 llama.cpp
实现大模型 GPU 加速推理。
