😀 前不久CloudStudio上线了GPU应用，支持一键克隆、复制等能力，今天我们就基于该环境上线一个中文医疗应用。

1 📝 前期准备

本次采用云上环境进行部署， 基于腾讯云CloudStudio的GPU应用环境，限时免费提供16G显存的T4显卡，8核32G虚拟机。针对一些参数量较小的模型可以进行微调。对于大参数量的建议单独购买HAI服务后训练，将训练后的模型进行部署使用。

1. 打开网址[Cloud Studio](Cloud Studio - 云端开发，化繁为简)使用微信或QQ等进行网站登录。

2. 点击右上角的“创建应用”进行创建，可以选择任意模版进行创建。

3. 在弹出的窗口中等待初始化完成。

4. 正常打开应用面板后，点击切换到GPU。

5. 待切换完成后，点击终端。

6. 验证环境

2 🤗 微调过程

2.1 环境准备

2.1.1 OS环境准备

1. 执行如下命令安装aria2工具

2. 执行如下命令下载miniconda3软件包。

3. 执行安装

2.1.2 创建虚拟环境并激活

1. 执行如下命令进行准备环境

2.1.3 下载LLaMA-Factory项目

1. 执行如下命令下载LLaMA-Factory项目

2. 加载依赖库

3. 执行如下命令安装modelscope软件

4. 执行如下命令安装unsloth软件

5. 执行如下命令安装swanlab软件

6. 执行如下命令安装swanlab[dashboard]软件

7. 创建软连接

8. 验证版本

2.1.4 启动面板

2.1.5 国外节点

1. 下载frpc_linux_amd64_v0.3程序

2. 执行如下命令启动面板

2.1.6 国内节点

1. 执行如下命令启动面板

2.2 数据集准备

1. 下载数据集

2. 修改dataset_info.json使得界面中可以选择数据集

2.3 模型微调

2.3.1 基本配置

1. 打开项目网站7860地址。

2. 切换语言到中文

3. 选择大模型名称，我这里选择的是Qwen2.5-3B-Instruct实际GPU应用提供的是T4显卡，建议选择较小参数量的模型

4. 设置微调方法到lora

5. 加速方式选择unsloth

6. 在Train界面的“数据集”中选择我们导入的Chinese-medical-dialogue

7. 点击“预览数据集”确定数据集是否正确。

8. 设置验证集比例为0.2，即为20%的数据集作为验证数据集

9. 计算类型修改到fp16

10. 展开SwanLab参数设置，勾选“使用SwanLab”功能。

11. 设置SwanLab API秘钥

12. 设置SwanLab 模式为cloud

13. 点击预览命令，生成预览指令

2.3.2 微调前模型对比

1. 选项卡界面切换到Chat，并选择“加载模型”

• 如果对应目录下没有模型文件时，会自动进行模型文件下载。

1. 选择一个数据集中的问题进行提问，比如提问“女宝宝，刚7岁，这一年，察觉到，我家孩子身上肉很多，而且，食量非常的大，平时都不喜欢吃去玩，请问：小儿肥胖超重该如何治疗。”模型的回答如下：

2. 测试后卸载模型

2.3.3 开始训练

1. 在Train中点击“开始”

2. 监控损失率和步数

3. 监控显存占用情况

4. 点击SwanLab 链接查看详细报告
日志：

5. 待微调结束后，查看SanLab视图，观察eval

2.4 模型推理与评估

1. 待训练结束后，LLaMA Board上会显示训练完成。

2. 在“检查点路径”中选择训练的检查点

3. 在“Evaluate & Predict”中的数据集中选择评估的数据集，我这里没有，就选择了之前训练的数据集。

4. 在“温度系数”中由于我们训练的是医疗方面，需要严谨的回答，需要设置到0.5及以下。

5. 点击“开始”进行评估

6. 等待评估完成。

2.5 模型对话

2.5.1 基础模型对话

1. 先不勾选“检查点路径”并加载模型

1. 在输入框输入“男孩子，刚4岁，最近，发现，我家孩子体重要比别的孩子重很多，而且，最近越来越能吃了，还特别的懒，请问如何治疗” 模型回复是：

2.5.2 微调后模型答复

1. 在“检查点路径”中设置训练的检查点

2. 点击“加载模型”

3. 设置温度到0.5

4. 在输入框输入“男孩子，刚4岁，最近，发现，我家孩子体重要比别的孩子重很多，而且，最近越来越能吃了，还特别的懒，请问如何治疗” 模型回复是：

2.6 模型导出

1. 创建一个模型存放位置

2. 选择“Export”，模型名称和检查点选择正确。

3. 导出目录中设置“/workspace/mymmodel”

4. 点击“开始导出”

5. 待进度条走完

6. 查看模型文件

2.7 模型发布API

2.7.1 LLaMA-Factory方式

2.7.2 ollama方案

1. 安装ollama软件

2. 准备Modelfile文件

3. 在弹出的终端中输入如下命令设置环境变量和启动ollama服务。

4. 执行加载

5. CLI运行问答窗进行测试

3 医疗问答系统

3.1 医疗系统生成

对于没有代码基础的人来说，大模型赋能的IDE或者代码助手是一个不错的工具。腾讯云AI代码助手就是这样一个大模型赋能的工具，今天我们使用这个工具软自动生成一个医疗问题系统

1. 打开IDE窗口，点击“腾讯云AI代码助手”图标。

2. 在弹出的界面中输入内容如下：

3.2 医疗系统对接

3.3 医疗系统测试

1. 安装依赖

2. 启动项目

4 应用复制和启动

免责声明：

• 笔者水平有限，尽管经过多次验证和检查，尽力确保内容的准确性，但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。

• 本文所述内容仅通过实战环境验证测试，读者可学习、借鉴，但严禁直接用于生产环境。由此引发的任何问题，作者概不负责！