本地部署 CogVLM

本地部署 CogVLM

  • CogVLM 是什么
  • CogVLM Github 地址
  • 部署 CogVLM
  • 启动 CogVLM

CogVLM 是什么

  • CogVLM 是一个强大的开源视觉语言模型(VLM)。CogVLM-17B 拥有 100 亿视觉参数和 70 亿语言参数。

  • CogVLM-17B 在 10 个经典跨模态基准测试上取得了 SOTA 性能,包括 NoCaps、Flicker30k captioning、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC,而在 VQAv2、OKVQA、TextVQA、COCO captioning 等方面则排名第二,超越或与 PaLI-X 55B 持平。

CogVLM Github 地址

https://github.com/THUDM/CogVLM.git

部署 CogVLM

克隆代码,

git clone https://github.com/THUDM/CogVLM.git; cd CogVLM

创建虚拟环境,

conda create -n cogvlm python=3.11 -y
conda activate cogvlm

安装 PyTorch,

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
conda install -y -c "nvidia/label/cuda-12.1.0" cuda-runtime

安装依赖项,

pip install -r requirements.txt
python -m spacy download en_core_web_sm

启动 CogVLM

python web_demo.py --from_pretrained cogvlm-chat --version chat --english --bf16

未完待续!

你可能感兴趣的:(LINUX,cogvlm)