QLoRA加载基础模型后是否需要采用prepare_model_for_kbit_training()函数包裹？

[xiaobingbuhuitou]

我想要加载原始使用float32预训练的模型作为基础模型并进行训练，加载时配置了

 qlora_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=torch.bfloat16
    )

后续是否需要采用prepare_model_for_kbit_training()进行包裹😰？貌似包裹了之后会使得bnb_4bit_compute_dtype失效会变为float32。

[hiyouga]

不需要

[xiaobingbuhuitou]

我看这边https://huggingface.co/docs/peft/v0.14.0/en/developer_guides/quantization#quantize-a-model中是进行指定了。我也不知道为啥了😰