你好，我使用模型进行量化，跑的profiling 查看cosine 最小的10个layers，发现有关于relu的
[2024-12-04 05:16:30 dipoorlet] (profiling.py 265): INFO Relu_582-onnx::Conv_2787 cos : 0.95583 
relu 激活函数没有参数，也就是说是权重通过这个激活函数之后，精度会变差？

请问 sensitive_layer_num 这个参数对敏感层分析应该如何使用，没有在项目代码中看到相关的使用

请教个问题，在main函数里面
parser.add_argument("-N", "--data_num", help="num of calibration pics", type=int, required=True)

当我的输入是1个的时候，data_num =1 表示1张校准图片，但是如果我模型的输入是6个，这里如果还选择1，就会报错。所以这个data_num 具体含义应该是按照输入的个数，用组来描述更合理吧。 

我这里发现个问题，就是当校准数据越多的时候，量化效果并没有显著提升。而更反常识的是我分别用1帧，200帧，400帧校准数据在qnn后端进行量化，发现200帧int8量化之后余弦相似的是最的，请问应该如何合理的设置校准数据，是否校准数据也有过拟合这一说法？

课程中讲的提供qnn的docker环境，这个要怎么下载？

量化之后余弦相似度到0.97了，但是精度还是不好。这是为什么呢？余弦相似度能不能作为评价量化的指标？

你好老师，请教两个关于snpe两个问题；
第一个我是看视频才了解 dipoorlet 把 snpe作为后端不支持per_channel量化，其他后端是否支持某种量化策略，这种信息一般在哪里能查到？
第二个问题就是snpe作为后端只能用per_tensor量化策略，有没有其他方式能规避这个问题？用 ppq 工具 可行吗？
（我主要使用的平台是qnn）
谢谢

请教一下，在qnn 使用原生量化工具，有什么好的组合方式吗，比如量化参数和激活值的策略吗，per_row ，per_channel 是否开启？

请问在qnn-net-run进行 yolov8单张图推理的时候，推理出来的结果是float32 还是 int8 ，如果默认是float32 可以直接跑python推理脚本，如果是int8 的话，是不是还要反量化，如何进行输出反量化，以及如何设置我输出的结果是int8？

请问使用 dipoorlet 工具 ，课程里讲的比较多的是int8量化，那么如果我想混合精度量化的话，有没有相关的设置和参数可以使用？有具体的例子或者是github的repo可以参考吗？

请教一下，不论是qnn 或者是tensorrt量化，校准数据一般是原始图片（.jpg,.bin,.raw等)，还是经过了预处理之后的bin文件，如果把模型输入的归一化放到模型里面去做（不再放到预处理），那么这个时候校准数据集是不是要 resize + 归一化处理之后的文件？

请问一般实际部署中，用c++部署和处理图像，输入数据维度类型是NHWC，不是NCHW，这种格式上的变化对模型量化、以及最后端到端指标有影响吗？

请教一下，视频中所讲的内容基本都是基于python 部署去 跑 tensorrt 或者是qnn，在实际边缘设备上，我们可能会用到c++去部署，那么用C++去测端到端的模型指标，以及量化损失是否能够和python保持一致，数据是否能够对齐？

你好，aimet 开源工具的量化的过程中，发现和边缘设备qnn-net-run 会有结果对不齐的情况，dipoorlet 会不会出现这个问题？是否已经能够成功部署落地？

如视频所说，模型权重参数，如果出现了异常值，请问一般是如何进行对权重范围进行截断的，dipoorllet 工具有哪个算法或者是参数可以对其进行处理？

在介绍QDrop的时候，举例了几个消融实验，这里的实验是不是和混合精度一样，某几层是量化的，某些层不做量化？

按照视频讲解，在adaround 损失函数里面，第二个W是量化之后的，但是实际上我看ppt里面，w是scale * 原来的w / scale 下取整的结果，我理解这的第二个w是量化之后量化的结果，而不是量化后的w。不知道我这里有没有理解错？