大模型基础：架构、精度与量化

当企业提出网络安全、数据本地化或私有化部署要求时，选模型只是第一步。你还需要理解模型架构、显存占用、计算精度、量化格式和推理框架，才能判断一张消费级显卡与多张数据中心显卡分别能做什么。

模型从哪里找

开放权重模型通常托管在以下平台：

• Hugging Face：全球使用最广泛的模型与数据集平台之一。
• ModelScope 魔搭：国内常用的模型、数据集和应用托管平台。
• HF-Mirror：Hugging Face 的第三方镜像入口。

下载大文件时可以使用平台官方 CLI、huggingface-cli、modelscope CLI 或支持断点续传的下载工具。使用第三方镜像时，应校验仓库来源、文件大小和哈希，不要直接运行来源不明的模型代码。

常见信息源包括模型官方博客、Hugging Face Model Card、GitHub Release、论文、r/LocalLLaMA 和国内技术社区。社区体验适合发现线索，模型规格仍应回到官方仓库确认。

先认识参数量

模型名称中的 B 表示十亿参数：

• 7B 约为 70 亿参数。
• 32B 约为 320 亿参数。
• 235B-A22B 表示总参数约 2350 亿，每个 Token 推理时激活约 220 亿参数。

参数量影响权重存储、显存需求和计算量，但不能单独代表能力。训练数据、架构、后训练、上下文机制和推理配置同样重要。

Dense 与 MoE

在 2026 年，大型模型普遍使用 MoE，小型和中型模型仍常见 Dense。两者的关键区别是每个 Token 经过前馈网络时使用多少参数。

Dense 密集模型

Dense 模型的每一层都会使用该层的全部权重。可以把它理解为由同一支完整团队处理每个请求。

优点：

• 权重参与路径稳定，实现和调优相对直接。
• 同等总参数规模下，单 Token 使用的计算容量通常更高。
• 小规模部署时更容易预测延迟和行为。

缺点：

• 总参数越大，每个 Token 的计算量通常越高。
• 大型 Dense 模型吞吐低，对计算资源要求高。

MoE 混合专家模型

MoE 在部分层中设置多个专家前馈网络，并由路由器为每个 Token 选择少量专家。它像一个拥有多个专科的团队，由分诊系统选择本次参与的成员。

优点：

• 总参数可以很大，同时将单 Token 激活参数控制在较低水平。
• 在权重能够被高效读取的前提下，计算量通常低于同等总参数的 Dense 模型。
• 可以用更大总容量容纳知识和技能。

缺点：

• 所有专家权重通常仍需要存入显存或内存；激活参数少不等于权重占用少。
• 路由、专家并行和跨卡通信增加部署复杂度。
• 激活参数较小时，注意力主干和单 Token 计算容量可能更接近小模型。

用 Qwen3 对比 Dense 与 MoE

下面使用参数规模接近、结构不同的 Qwen3-32B 和 Qwen3-30B-A3B 作为例子。

MoE 模型的大量总参数位于专家前馈网络中，而 Attention、Embedding 等共享主干更接近激活规模。它可能拥有较大的知识容量和较低计算量，但加载完整权重时仍需要接近 30B 模型的存储空间。

如何阅读 Model Card

模型 ID 常写成 组织名/模型名，例如 Qwen/Qwen3-32B。仓库首页的 Model Card 通常提供：

• 模型架构与训练阶段
• 参数量和激活参数量
• 上下文长度
• 支持语言和任务
• 推荐推理框架与最低版本
• 聊天模板和调用示例
• 许可证、限制和评测结果

常见术语

不要只看仓库名称。社区量化、微调和合并模型可能沿用基础模型名字，但许可证、聊天模板和能力已经发生变化。

Embedding 与隐藏维度

文本进入 Transformer 前，会先被分词器转换为 Token ID，再由 Embedding 矩阵映射为向量。基础估算公式为：

Embedding 参数量 = vocab_size × hidden_size

如果输入 Embedding 与输出语言模型头不共享权重，即 tie_word_embeddings: false，两套矩阵需要分别计算。

Qwen3 系列使用约 151,936 的词表：

• Qwen3-32B 的 hidden_size=5120，单个矩阵约 7.78 亿参数。
• Qwen3-30B-A3B 的 hidden_size=2048，单个矩阵约 3.11 亿参数。
• 两者都不绑定输入输出权重，因此对应部分需要乘以 2。

隐藏维度决定每个 Token 在模型内部表示的宽度。更大的维度提供更高表示容量，但也增加矩阵计算、参数量和缓存成本。它不是可以独立比较的“理解精度”分数。

层数与前馈网络

num_hidden_layers 表示 Transformer 模块堆叠数量。更多层允许进行更多次表示变换，但模型能力不由层数单独决定。

intermediate_size 通常表示 Dense 模型前馈网络的中间宽度；MoE 模型可能使用 moe_intermediate_size 表示每个专家的前馈宽度。

MHA、MQA 与 GQA

注意力会把隐藏状态投影为 Query、Key 和 Value。多个注意力头可以学习不同的表示子空间，但不能简单等同于明确的“思考角度”。

Qwen3-32B 使用 64 个 Query 头和 8 个 KV 头；Qwen3-30B-A3B 使用 32 个 Query 头和 4 个 KV 头。两者都是 GQA。

KV Cache 为什么重要

自回归生成时，已经处理过的 Key 和 Value 会缓存在显存中，避免每生成一个 Token 都重新计算全部历史。KV Cache 随以下因素增长：

• 上下文长度
• 并发请求数
• Transformer 层数
• KV 头数与单头维度
• Cache 数据精度

因此“权重刚好装进显存”不代表模型能够处理目标上下文和并发。

原生上下文、RoPE 与 YaRN

原生上下文通常表示模型训练或后训练时重点覆盖的长度。超过原生长度后，即使框架允许继续输入，召回和推理质量也可能下降。

RoPE 使用旋转方式把位置信息编码进 Query 和 Key。YaRN 是一种 RoPE 扩展方法，通过调整不同频率的位置编码，使模型能够在超过原生训练长度时继续工作。

评估长上下文时，应测试：

• 开头、中间和结尾的信息召回
• 多个相似事实之间的区分
• 跨文件引用和约束保持
• 输入长度增加后的速度与显存变化
• 有效答案是否随上下文变长而退化

学会阅读仓库文件

模型仓库通常包含以下文件：

Dense 配置示例

{
  "architectures": ["Qwen3ForCausalLM"],
  "model_type": "qwen3",
  "hidden_size": 5120,
  "intermediate_size": 25600,
  "num_hidden_layers": 64,
  "num_attention_heads": 64,
  "num_key_value_heads": 8,
  "head_dim": 128,
  "max_position_embeddings": 40960,
  "rope_theta": 1000000,
  "tie_word_embeddings": false,
  "torch_dtype": "bfloat16",
  "vocab_size": 151936
}

MoE 配置示例

{
  "architectures": ["Qwen3MoeForCausalLM"],
  "model_type": "qwen3_moe",
  "hidden_size": 2048,
  "intermediate_size": 6144,
  "moe_intermediate_size": 768,
  "num_hidden_layers": 48,
  "num_attention_heads": 32,
  "num_key_value_heads": 4,
  "num_experts": 128,
  "num_experts_per_tok": 8,
  "norm_topk_prob": true,
  "router_aux_loss_coef": 0.001,
  "tie_word_embeddings": false,
  "torch_dtype": "bfloat16",
  "vocab_size": 151936
}

加载带有自定义架构的模型时，architectures、model_type 和 transformers_version 很重要。推理框架版本过旧时，可能无法识别模型或使用正确算子。

数据精度

数据精度影响权重大小、计算吞吐和数值误差。需要区分“硬件可以存储”“框架可以模拟执行”和“硬件原生高速计算”。

查看 NVIDIA 官方的 CUDA GPU Compute Capability 可以确认 GPU 架构，但具体模型格式是否可用仍由推理框架和量化内核决定。

常见量化格式

量化通过较低精度保存权重或激活值，减少显存与带宽开销。不同格式不是简单的质量排名，还需要匹配硬件和推理后端。

参考 vLLM Quantization 文档 检查硬件与量化方法的当前兼容矩阵。

显存怎么估算

权重的最低理论占用可以粗略估算为：

权重显存 ≈ 参数量 × 每参数位数 ÷ 8

例如 32B 模型：

实际占用还包括：

• 量化比例、零点和元数据
• KV Cache
• CUDA Context 和计算工作区
• 激活值与临时张量
• 推理框架自身开销
• 多卡通信缓冲区

因此应预留显存余量。MoE 模型虽然激活参数少，完整专家权重仍通常需要加载；只有使用 CPU 或磁盘卸载时，才可能减少 GPU 权重占用，但会牺牲速度。

按硬件选择格式

下面是经验性起点，不是绝对兼容表：

推理框架怎么选

部署前确认框架是否支持模型架构、聊天模板、量化格式、Tensor Parallel、Prefix Cache 和目标上下文长度。

一套实际部署流程

常见误区

• 激活参数少，所以显存占用也少：MoE 的全部专家权重通常仍需加载。
• 上下文标称 128K，就能准确使用 128K：标称窗口不等于有效召回和推理能力。
• 量化位数越高，效果一定越好：校准方法、层级敏感度和推理内核同样重要。
• 模型文件能加载，就代表硬件原生加速：框架可能进行了反量化、类型转换或兼容执行。
• 层数或注意力头越多，模型一定越聪明：这些参数必须结合隐藏维度、训练和整体架构理解。
• 公开榜单领先，就适合本地业务：部署质量最终取决于真实任务、延迟、成本和稳定性。

理解 Model Card、config.json、数据精度与量化格式之后，你就能先排除明显不匹配的方案，再通过实际测试选择模型和硬件，而不是依赖一份通用部署教程。