代码问题请求帮助

[LKAMING97]

你好，带佬的代码写的很好，有部分代码不太懂，想请教一下，
parser.add_argument( "--arch_bits", type=lambda s: [float(item) for item in s.split(",")] if len(s) != 0 else "", default=" ", help="bits configuration of each layer",

if len(args.arch_bits) != 0: if args.wa_same_bit: set_wae_bits(model, args.arch_bits) elif args.search_w_bit: set_w_bits(model, args.arch_bits) else: set_bits(model, args.arch_bits) show_bits(model) logger.info("Set arch bits to: {}".format(args.arch_bits)) logger.info(model)
这个arch_bits主要是做什么的呢，卡在这里有段时间了

[liujingcs]

这个是用来设置每层的weight和activation的bitwidth

[LKAMING97]

您好，我还有一个问题想请教一下，脚本里面这个，

在代码里面找不到对应的，只能找到

两者是否一致呢

[liujingcs]

LIQ_wn_qsam的具体位置在这里： https://github.com/ziplab/SAQ/blob/main/models/LIQ_wn_qsam.py

[LKAMING97]

你好大佬，作为一名刚接触模型量化的学生很喜欢您的工作，我是有以下一些疑问的，想知道通过这样量化感知训练（伪量化？）后的模型大小为什么会没变的，是需要进一步的后处理才能成为量化模型？还是这样训练后的模型的就已经是默认量化好的，可以进行部署了

[liujingcs]

目前量化模型存储时还是用float32存储的，所以模型大小没变。如果要减小模型大小，需要将模型转成低比特进行存储

[LKAMING97]

目前量化模型存储时还是用float32存储的，所以模型大小没变。如果要减小模型大小，需要将模型转成低比特进行存储

但是里面的权重激活已经是低比特了是吗

[liujingcs]

权重是的，激活值需要量化后才是低比特。比如说权重的范围是[0,1]，那么量化到2-bit之后，量化之后的值就只有{0, 1/3, 2/3, 1}

[LKAMING97]

您好，感谢大佬的回答，如果我想进一步得到可部署的模型，经过SAQ训练后保存下来的模型还需要什么步骤呢

…

------------------ 原始邮件 ------------------ 发件人: liujingcs ***@***.***> 发送时间: 2023年8月12日 14:08 收件人: ziplab/SAQ ***@***.***> 抄送: LKAMING ***@***.***>, Author ***@***.***> 主题: Re: [ziplab/SAQ] 代码问题请求帮助 (Issue #1) 权重是的，激活值需要量化后才是低比特。比如说权重的范围是[0,1]，那么量化到2-bit之后，量化之后的值就只有{0, 1/3, 2/3, 1} — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[liujingcs]

详细步骤可以参考这个: https://pytorch.org/docs/stable/quantization.html

[wangyu-lab]

详细步骤可以参考这个： https://pytorch.org/docs/stable/quantization.html
您好，看了您的建议，我使用了pytorch api进行int8量化，想问问您具体应该使用什么模块进行int8模型转换，获取权重和参数呢，搜索了很多一直没有头绪