揭秘QLoRA: 通过对权重矩阵量化的方法，来高效微调大语言模型

0:00 介绍
2:09 LoRA未解决的痛点
3:49 运用qlora微调创建的Guanaco模型
背景小知识
5:43 什么是quantization量化？
10:19 什么是block-wise k-bit quantization?
引出
11:08 4-bit NormalFloat Quantization
14:07 双重量化
15:47 QLoRA Magic
19:46 模型微调对比结果
23:18 code： https://colab.research.google.com/dri...

• #science_technology
• #qlora
• #
• #
• #efficient_fine_tuning_of_quantized_llms