QLoRA保存和加载问题

[xiaobingbuhuitou]

请教大佬，对于qlora的训练时就是 1.加载基础模型base_model并配置quantization_config 2. LoRA包裹； 然后对于保存是否就是直接base_model.save_pretrained("path") 保存对应的lora参数，然后对于测试或者推理加载1.重新创建base_model(需要配置quantization_config么？ )，然后直接直接PeftModel.from_pretrained(base_model, "path") 么？我想请问这个流程对么？然后是否需要进行merge_and_unload()合并两者呢？求😢

[hiyouga]

merge 只能在未量化的模型上面做，但是单纯挂载 lora 也可以使用量化版模型

[xiaobingbuhuitou]

感谢大佬！但是佬我有点迷糊，就是当前我训练结束后，保存了qlora的lora参数作为best checkpoint，然后测试时候应该是可以使用未配置quantization_config的原始base_model进行测试吧？然后我的这个保存和加载流程应该没有问题吧？谢谢