查看“LoRA”的源代码

{{4}}
LoRA是一种大语言模型训练方法，可以理解为stable diffusion（SD）模型的一种插件。它利用少量数据训练出一种画风/IP/人物，实现定制化需求。和hyper-network、controlNet一样，LoRA也是在不修改SD模型的前提下实现的。
<br>
LoRA最初应用于[[NLP]]领域，用于微调[[GPT-3]]等模型（也就是[[ChatGPT]]的前生）。由于[[GPT]]参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将LoRA模型的参数注入（inject）SD模型，从而改变SD模型的生成风格，或者为SD模型添加新的人物/IP。