前言

将一个训练好的FP32模型部署到昇腾NPU上执行推理时，INT8量化是最常用的加速手段——它通过将FP32权重和激活值映射到8位整数的离散空间来减少计算量并缩小访存带宽占用。CANN提供的AMCT（Ascend MindSpore Converter Tool）量化工具套件，是昇腾NPU上执行模型量化的官方入口。AMCT支持两种量化模式：PTQ（Post-Training Quantization，后训练量化）和QAT（Quantization-Aware Training，量化感知训练）。两者的核心差异在于何时引入量化仿真——PTQ在模型训练完成后执行一次性的校准量化，QAT则将量化仿真节点插入训练过程让模型学会适应量化误差。理解这两种量化路径的适用场景和使用方式，是在昇腾NPU上实现高效推理部署的前提。

PTQ：校准集驱动的后训练量化路径

PTQ的工作流程可以用"拍照后调色"来类比。训练好的FP32模型就像一张拍好的照片，PTQ的任务是为这张照片找到合适的"调色参数"——Scale（缩放因子）和ZeroPoint（零点偏移），将FP32的连续值映射到INT8的离散范围。这个过程通过create_quant_model接口在模型的计算图中插入量化仿真节点来完成。

在AMCT中启动PTQ量化的常规步骤是：加载训练好的FP32模型，配置校准集（通常是训练集的子集），调用create_quant_model接口生成量化后的模型，再遍历校准集收集每层激活值的统计分布，最终计算出每个量化层的Scale和ZeroPoint。

【代码段1：AMCT PTQ的Python调用示例——加载ONNX模型并执行量化校准】

import amct_onnx as amct

# 加载训练好的FP32 ONNX模型
model_path = "resnet50_fp32.onnx"
config_path = "quantization.cfg"

# 配置校准集（从训练集中抽取的代表性子集）
calibrate_dataset = load_calibrate_data(
    data_dir="./imagenet_calibrate",
    batch_size=32,
    sample_count=1000
)

# 插入量化仿真节点并执行校准
result = amct.create_quant_model(
    model=model_path,
    config_file=config_path,
    calibration_dataset=calibrate_dataset,
    save_path="./quantized_model"
)
print("Quantization calibrated, output model saved to quantized_model/")

这个代码片段展示了PTQ量化的最简流程。校准集的选择直接影响量化的最终精度——校准集需要覆盖模型在推理阶段可能遇到的数据分布，否则Scale和ZeroPoint的估计会偏离真实分布。对于分类模型，建议从验证集中随机抽取500-1000张图片作为校准集，覆盖各类别的代表性样本。

PTQ量化完成后，AMCT会输出两个文件：量化后的部署模型和量化配置信息。部署模型可以直接在昇腾NPU上使用INT8推理加速。从FP32切换到INT8后，模型尺寸减少约75%（从4字节到1字节的权重压缩），显存占用同步减少。如果校准集覆盖了目标数据分布的典型模式，精度损失通常控制在0.5%-1%以内。

QAT：训练阶段嵌入量化仿真节点

当PTQ的精度损失超出可接受范围时，QAT提供了更精确的量化路径。QAT的思路是在训练过程中插入模拟量化效果的伪量化节点（FakeQuant节点），让模型的权重和激活值在训练阶段就接受INT8量化误差的"扰动"，从而学会减少对量化引起的精度损失的敏感性。

【代码段2：在MindSpore训练脚本中插入AMCT量化感知训练节点】

import mindspore as ms
from amct_mindspore import create_quant_model
from mindspore.train import Model, LossMonitor

# 加载预训练模型
network = resnet50(pretrained=True)

# 创建量化感知训练模型：插入FakeQuant节点
quant_network = create_quant_model(
    network=network,
    config_file="qat_config.cfg",
    quant_type="qat"
)

# 配置优化器和损失函数——量化训练的学习率通常降低一个数量级
optimizer = ms.nn.Momentum(
    quant_network.trainable_params(),
    learning_rate=0.001,
    momentum=0.9
)
loss_fn = ms.nn.SoftmaxCrossEntropyWithLogits()

# 启动量化感知训练
model = Model(quant_network, loss_fn, optimizer)
model.train(
    epoch=10,
    train_dataset=train_dataset,
    callbacks=[LossMonitor(per_print_times=100)]
)

# 导出量化的推理模型
amct.save_quant_model(quant_network, "./qat_resnet50_int8.onnx")

QAT的核心优势在于可以让模型在训练过程中"学会"抗量化误差。FakeQuant节点在前向传播中模拟INT8量化的取整操作，在反向传播中使用直通估计器（STE）回传梯度，让权重在考虑量化噪声的情况下进行更新。代价是QAT需要额外的训练时间——通常在3-10个轮次的微调即可收敛，相比PTQ的分钟级校准，QAT的耗时更长但精度恢复效果更好。

实际应用中，QAT训练结束时导出量化的推理模型文件。这个模型可以直接替代原始FP32模型，精度损失通常控制在0.1-0.3%以内，显著优于PTQ的0.5-1%。

逐层敏感度分析：哪些层不适合量化

并非模型的所有层都对量化表现出相同的容忍度。某些层在INT8量化后会出现明显的精度退化，需要在量化配置中将这些层排除在量化范围之外。AMCT提供了逐层敏感度分析功能，通过逐层启用量化并评估精度影响来确定每层的量化敏感度。

【代码段3：AMCT逐层敏感度分析的配置和调用示例】

import amct_onnx as amct

# 配置逐层敏感度分析：逐层量化+评估精度变化
sensitivity_config = {
    "analysis_type": "layerwise_sensitivity",
    "calibration_dataset": calibrate_dataset,
    "eval_metric": "accuracy",
    "eval_dataset": val_dataset,
    "skip_layers": []  # 起始时不跳过任何层
}

# 执行敏感度分析
sensitivity_result = amct.analyze_quant_sensitivity(
    model="resnet50_fp32.onnx",
    config=sensitivity_config
)

# 筛选出敏感层（精度下降超过0.5%的层）
sensitive_layers = [
    layer for layer, drop in sensitivity_result.items()
    if drop > 0.5
]
print(f"Sensitive layers (/> 0.5% accuracy drop): {sensitive_layers}")

# 在量化配置中排除敏感层，保持它们的FP32计算
quant_config = {
    "skip_layers": sensitive_layers,
    "quant_type": "int8"
}

敏感度分析输出的典型结果表明：网络的输入层、关键的残差连接节点、Softmax层和LayerNorm层通常表现出较高的量化敏感度。这是因为这些层的值分布在每次前向传播中都跨越FP32的全范围，使用固定的Scale和ZeroPoint无法充分捕获这种波动。将敏感层保留为FP32（或FP16）计算可以在不损失大部分量化收益的前提下避免精度崩塌。

PTQ与QAT的工程选择

在实际部署中，PTQ和QAT的选择取决于精度容忍度和迭代周期。在模型快速迭代的早期阶段，使用PTQ可以在几分钟内完成量化并评估推理性能，快速定位精度瓶颈。在模型确定上线版本后的最终优化阶段，QAT提供更精确的精度恢复路径。

混合部署策略在实践中也很常见：权重使用W8量化（8比特权重），激活值保留FP16或FP32，在性能和精度之间取得平衡。AMCT支持这种灵活的配置方式，可以在配置文件中按层指定不同的量化位宽。

效率对比

以下表格总结了PTQ和QAT两种量化路径在核心指标上的差异：

维度	使用前（FP32推理）	使用后（INT8量化推理）	差异来源
模型文件大小	FP32权重每个参数占用4字节，100M参数模型约400MB	INT8权重每个参数占用1字节，100M参数模型约100MB	数据类型从32位浮点压缩为8位定点，位宽缩减至1/4
推理内存占用	加载FP32模型需要400MB显存存放权值和同等显存存放激活值	INT8权重仅占100MB，激活值也同步压缩	权重和激活值同时从FP32裁切为INT8，整体内存占用约FP32的1/4
单次推理延迟	Conv2d算子在FP32下使用32位浮点乘加器，单次MAC操作需完整流水线周期	INT8 Conv2d使用8位定点乘加器，量化取整指令可在单个时钟周期内完成	NPU的INT8乘加器硬件电路比FP32乘加器精简，数据通路短且功耗更低
PTQ校准耗时	无需校准，FP32训练完成后直接用于部署推理	500-1000样本校准集约需3-5分钟完成Scale/Zeropoint计算	校准过程仅遍历校准集统计每层激活值的分布，不涉及梯度回传
QAT微调周期	FP32全精度训练需完整迭代训练集数十轮次	QAT在预训练模型基础上插入FakeQuant节点微调10个epoch	量化感知训练只在微调阶段引入量化仿真，不需要从零开始训练
精度保持率（PTQ）	100%（FP32推理精度基准）	PTQ量化后精度保持率约99%-99.5%（损失0.5%-1%）	后训练的Scale/Zeropoint统计来自校准集采样分布，与实际推理分布存在偏差
精度保持率（QAT）	100%（FP32推理精度基准）	QAT量化后精度保持率约99.7%-99.9%（损失0.1%-0.3%）	训练过程中权重学会了适应INT8取整误差，直通估计器保留了梯度信息

混合精度量化的配置策略

在实际工程部署中，全模型INT8量化并非唯一选择。AMCT支持按层或按算子类型混合指定量化位宽，允许将INT8量化与FP16或BF16计算混合使用。这种混合精度量化的典型配置是：计算密集的卷积层和全连接层使用INT8量化以获得最大加速收益，而数值敏感的分层归一化层（LayerNorm）、Softmax层和GELU激活函数保留FP16或FP32计算精度。

在AMCT的配置文件中，可以通过quant_mode参数按层指定量化策略。例如，对于ResNet50中的残差块，elewise加法层可以配置为不量化，而卷积层保持INT8量化。MLPerf推理基准测试的结果显示，这种混合策略可以在精度损失低于0.1%的前提下实现约3倍的理论算力提升。

混合量化配置的另一个实用场景是处理模型中不同输入通道的动态范围差异。在多模态模型中，图像分支和文本分支的激活值分布差异巨大，统一的量化参数无法同时覆盖两种分布。此时可以为不同分支配置独立的量化参数表，让每个分支的Scale和ZeroPoint自定义适配输入数据特征。

AMCT与CANN推理管线的集成

量化后的模型需要通过CANN的推理管线才能在昇腾NPU上实际运行。AMCT输出的量模型文件需要经过ATC（Ascend Tensor Compiler）工具转换为昇腾处理器可执行的om模型文件。在ATC转换过程中，量化模型的om文件会携带量化感知元数据，包括每层的Scale、ZeroPoint值以及每层的量化范围配置。

ATC转换为om模型后，可以通过AscendCL接口在昇腾推理程序中进行推理调用。量化后的om模型在加载和内存分配上与FP32模型使用相同的API接口，开发者不需要修改推理代码来适配量化模型。这种接口兼容性使得模型的量化部署可以在不改动推理框架的前提下完成——只需将ATC的输入模型从FP32替换为量化后的模型即可。

卷积神经网络量化案例：ResNet50部署实践

以ResNet50在ImageNet分类任务上的量化部署作为具体案例，梳理AMCT的完整量化工作流。ResNet50包含约25M参数，主力计算集中在49个卷积层上。FP32推理模式下，单张224x224图片在昇腾NPU上的推理延迟约2.3ms，显存占用约380MB。

PTQ量化路径：使用随机从验证集抽取的800张图片作为校准集，以每个类别至少8张图片覆盖1000类分布。校准完成后输出INT8量化模型，模型文件从FP32的95MB压缩至25MB。在校准集覆盖度充分的情况下，Top-1精度从76.3%下降至75.7%，损失0.6%。整体推理延迟从2.3ms降至1.1ms，约52%的延迟改善。

QAT量化路径：在PTQ量化模型的基础上，使用预训练模型权重初始化，在ImageNet训练集上微调8个epoch。学习率从原始训练的0.1降至0.01，动量保持0.9。微调完成后导出的QAT量化模型Top-1精度为76.1%，仅比FP32基准下降0.2%。推理延迟保持1.1ms水平与PTQ模型一致。

对比结果表明：在ResNet50场景下，PTQ路径以分钟级校准时长换取0.6%的精度损失；QAT路径以额外的8个epoch微调时间换回0.4%的精度恢复。选择哪条路径取决于部署场景对精度的要求——如果精度要求宽松（可接受0.6%损失），PTQ直接部署即可;如果要求严格（精度损失不超过0.3%），QAT是必需的。

Transformer模型量化的特殊挑战

Transformer架构的量化比卷积神经网络更具挑战性，原因在于其值分布的非均匀性和对精度的敏感性。BERT-base模型的自注意力层包含Softmax操作，其输出值集中在概率分布的少数类别上，其余位置趋近于零。这种尖峰分布使INT8量化的分辨率在低概率区域严重不足。

针对Transformer模型的优化策略包括：对Softmax的输出层引入对称量化而非非对称量化，使ZeroPoint固定为零以在低概率区域保留更多有效量化分辨率。对于GELU激活函数的分段非线性特征，在激活值处于非线性过渡区间的区域增加量化节点的密度。对于多层感知器（MLP）中的全连接层，权重分布相对规整，可以直接使用MinMax校方法进行INT8量化，但在GELU的饱和区和非线性区需要进行混合精度配置。

在实际部署测试中，BERT-base在昇腾NPU上使用AMCT的QAT路径量化后，GLUE基准测试的平均精度损失控制在0.3%以内，推理吞吐量提升约2.8倍。SQuAD 2.0问答任务上F1分数从89.2分降至88.9分，损失约0.3分。

---

仓库地址：https://atomgit.com/cann/amct