DeepSeek+LoRA+FastAPI微调大模型并暴露接
口给后端调用
整体介绍
1. 需求和技术
企业对于大模型的不同类型个性化需求
SFT(有监督微调)、
RAG(检索增强生成)
关注:基本概念;分别解决什么问题;如何根据需求选择;
微调部分详细介绍:
微调算法的分类
LoRA 微调算法
微调常见实现框架
2. 整体步骤说明
在Linux系统上微调一个大模型、部署模型、暴露 API给web后端调用
3. 模型微调
框架: LLama-Factory (国产最热门的微调框架)
算法: LoRA (最著名的部分参数微调算法)
基座模型:DeepSeek-R1-Distill-Qwen-1.5B
蒸馏技术通常用于通过将大模型(教师模型)的知识转移到小模型(学生模型)中,
使得小模型能够在尽量保持性能的同时,显著减少模型的参数量和计算需求。
4. 模型部署和暴露接口
...