服务器选用：算力云 部署qwen2.5-vl-7B，24g显卡跑不起图，单问问题就占20g左右。有能力可以用大点的显卡
一、下载模型 Qwen2.5-VL-7B-Instruct
有conda ，可以在conda下操作，不知道conda的同学可以参考本博主之前的文章Conda/Miniconda/Anaconda 安装及命令整理_conda mini-CSDN博客；
conda create --name qwen python=3.11
conda activate qwen
模型地址： 魔搭社区
pip install modelscope
可以使用sdk下载、git下载、命令行下载，本次使用命令行下载方便指定下载路径到数据盘：
cd /root/autodl-tmp #进到数据盘目录
mkdir qwen2.5 #创建文件夹
cd qwen2.5
mkdir Qwen2___5-VL-7B-Instruct #创建模型文件夹
#下载模型到指定文件夹
modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./Qwen2___5-VL-7B-Instruct
注意：local_dir后是下载到指定文件夹
二、下载项目代码及相关安装
git clone https://github.com/QwenLM/Qwen2.5-VL
cd Qwen2.5-VL
pip install git+https://github.com/huggingface/transformers accelerate
# It's highly recommanded to use `[decord]` feature for faster video loading.
pip install qwen-vl-utils[decord]==0.0.8
三 启动webUI
git下来的Qwen2.5-VL目录下有个web_demo_mm.py文件，打开该文件，有两处需要修改：
第一处：修改模型加载的路径：
DEFAULT_CKPT_PATH = ‘/root/autodl-tmp/qwen2.5/Qwen2___5-VL-7B-Instruct’
第二处：修改web ui 的端口号
parser.add_argument(‘–server-port’, type=int, default=6006, help=‘Demo server port.’)
执行命令：
python web_demo_mm.py
如有报错，少啥装啥，如下：
pip install gradio
pip install torchvision
启动成功：
算力云服务需要使用隧道代理，autoDL帮助文档->最佳实践->ssh隧道有教程可以查看：
SSH代理命令¶
使用SSH将实例中的端口代理到本地，具体步骤为：
Step.1 在实例中启动您的服务（比如您的服务监听6006端口，下面以6006端口为例）
Step.2 在本地电脑的终端(cmd / powershell / terminal等)中执行代理命令
ssh -CNg -L 6006:127.0.0.1:6006 root@123.125.240.150 -p 42151
其中root@123.125.240.150和42151分别是实例中SSH指令的访问地址与端口，请找到自己实例的ssh指令做相应替换。6006:127.0.0.1:6006是指代理实例内6006端口到本地的6006端口。
注意：执行完这条ssh命令，没有任何日志是正常的，只要没有要求重新输入密码或错误退出
Windows下的cmd/powershell如果一直提示密码错误，是因为无法粘贴，手动输入即可（正常不会显示正在输入的密码)
Step.3 在本地浏览器中访问http://127.0.0.1:6006即可打开服务，注意这里的6006端口要和上述6006:127.0.0.1:6006中的端口保持一致
