Mistral AI

获取官方模型权重（无需科学上网）

方法一：从国内镜像源下载（推荐）
执行命令

wget https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models/mistralai/Mistral-7B-Instruct-v0.3.tar -O mistral-7b-instruct-v0.3.tar

清华源已同步该模型全部文件，下载速度稳定在8–12MB/s。

方法二：Hugging Face CLI离线缓存导入
先在可联网环境执行

 huggingface-cli download mistralai/Mistral-7B-Instruct-v0.2 --local-dir ./mistral_v02 --revision main

再将整个目录拷贝至内网机器；注意【revision参数不可省略，否则可能拉取到损坏的分片】

解压后验证结构：

tar -tf mistral-7B-Instruct-v0.3.tar | head -n 5

应看到 tokenizer.model.v3、consolidated.safetensors 等关键文件。

本地部署：GPU加速版（RTX 3090/4090适用）

第一步：创建隔离环境并安装核心依赖

python -m venv mistral-env && source mistral-env/bin/activate && pip install -U pip && pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

第二步：安装推理专用栈

pip install transformers accelerate sentencepiece bitsandbytes xformers

其中xformers必须安装，否则在长文本生成时会出现attention kernel崩溃，

错误提示为“RuntimeError: expected scalar type Half but found Float”

第三步：加载4-bit量化模型

from transformers import AutoModelForCausalLM, AutoTokenizer; 
tokenizer = AutoTokenizer.from_pretrained("./mistral-7b-instruct-v0.3");
model = AutoModelForCausalLM.from_pretrained("./mistral-7b-instruct-v0.3", load_in_4bit=True, device_map="auto")；

这一步会自动分配显存，若显存低于16GB，需改用 load_in_8bit=True

第四步：执行单轮推理测试

inputs = tokenizer("你是谁？", return_tensors="pt").to("cuda"); 
outputs = model.generate(**inputs, max_new_tokens=64); 
print(tokenizer.decode(outputs[0], skip_special_tokens=True))；

输出含“Mistral AI”字样即成功 生成草稿，转换文本，获得写作帮助-等等

本地部署：CPU轻量版（无GPU设备可用）

直接运行官方提供的纯CPU推理脚本：

pip install mistral-inference && python -m mistral_inference.transformer --model_path ./mistral-7b-instruct-v0.3 --prompt "用中文写一段端午节祝福语" --max_tokens 128

该命令会自动启用flash-attn CPU fallback路径，实测i7-12800H处理器耗时约47秒生成完整回复；
若提示 ImportError: cannot import name 'flash_attn'， 说明未正确降级依赖，需额外执行

 pip install flash-attn==2.5.8 --no-deps

输出结果末尾带符号属正常现象，是Mistral v0.3协议终止符，解析时用
tokenizer.decode(..., skip_special_tokens=True)
即可过滤。

启动HTTP API服务（兼容OpenAI格式）

使用vLLM一键启动（推荐）

pip install vllm && python -m vllm.entrypoints.openai.api_server --model ./mistral-7b-instruct-v0.3 --dtype bfloat16 --gpu-memory-utilization 0.9 --max-model-len 32768 --port 8000

服务启动后，用curl测试：

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"mistral-7b-instruct-v0.3","messages":[{"role":"user","content":"你好"}],"max_tokens":64}'；

返回JSON中包含choices[0].message.content字段即为有效响应。

注意：首次启动会触发模型图编译，耗时约90–150秒，期间API请求将超时；后续请求延迟稳定在320ms以内（RTX 4090 + DDR5 6000MHz）

对接国产前端界面（免写代码）

方法一：用 Unstract 平台加载本地模型
Unstract Desktop版（v2.4.1+）
启动后进入 Settings → LLM Providers → Add Custom Provider → 填入http://localhost:8000/v1 → Model Name填 mistral-7b-instruct-v0.3 → Test Connection；连接成功后即可在PromptStudio中拖拽构建文档提取流程。

方法二：用Ollama快速挂载（仅限macOS/Linux）

ollama create mistral-zh -f Modelfile

FROM ./mistral-7b-instruct-v0.3 
RUN cp tokenizer.model.v3 /usr/share/ollama/.ollama/models/blobs/sha256-*
RUN chmod 644 /usr/share/ollama/.ollama/models/blobs/sha256-*

然后执行

 ollama run mistral-zh 

即可进入交互式终端