选用大模型推理时显存和内存的区别与联系

一、显存占用实测（Qwen3-VL 8B 多模态，比普通纯文本8B吃显存多很多）

VL多模态额外带图像编码器ViT，会多占用2~4GB显存：

1. q4_K_M（最轻量）
模型权重≈5.5GB + 图像编码缓存2~3GB + KV上下文缓存
单图短对话峰值：9~10GB
多图+长上下文：直接冲到12~13GB，OOM崩溃
​
2. q5_K_M（均衡质量）
权重≈5.9GB，峰值轻松11~13GB，12G卡风险极高
​
3. q6_K / q8_0 直接放弃，加载就爆显存

你的显卡还要预留1GB给系统、Docker、桌面渲染，可用显存≈11GB上限。

• 只单张图片、简短问答：q4_K_M 勉强能跑；
  ​
• 多轮对话、多张图片、读取Obsidian长文档、连续调用Linux工具：显存直接打满，Ollama进程被杀，OpenClaw任务中断。

二、你128G大内存能起到什么缓解作用？

Ollama支持KV缓存溢出到系统内存，能小幅降低显存峰值，但图像编码器必须放在显存，无法丢内存，这是核心瓶颈：

1. 开启KV缓存量化  OLLAMA_KV_CACHE_TYPE=q4_0 ，缓存显存减半；
​
2. 超长上下文时，KV缓存溢出128G内存，不会立刻OOM；
​
3. 缺陷：图片处理阶段显存瞬间冲高，内存兜底救不了图像编码器的显存占用。

你的128G超大内存能起到什么缓冲作用？

Ollama支持KV缓存溢出到系统内存，缓解显存压力，但有局限：

1. KV缓存放不下时自动丢到128G内存，不会立刻OOM；
​
2. 模型权重必须全部放显存，不能丢内存，权重本身占用是刚性开销；
​
3. 内存交换会大幅降低推理速度，模型思考卡顿，更容易触发OpenClaw空闲超时断开任务。