无需插件,OmniGen 凭文本指令读懂图像,多样生成随心掌控

一、介绍

OmniGen 是一个统一的图像生成模型,可用于执行各种任务,包括但不限于文本到图像生成、主题驱动生成、身份保留生成、图像编辑和图像条件生成。OmniGen 不需要额外的插件或操作,它可以根据文本提示自动识别输入图像中的特征(例如,所需的对象、人体姿势、深度映射)

可以通过 OmniGen 灵活地控制图像生成:

引用表达式生成:你可以输入多个图像,并使用简单的通用语言来引用这些图像中的对象。OmniGen 可以自动识别每个图像中的必要对象,并根据它们生成新图像。无需进行其他操作,例如图像裁剪或人脸检测:

二、部署

项目部署流程如下

1.安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:

  • 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
  • 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
  • 遵循安装提示并初始化

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

  • 运行 source ~/.bashrc 命令激活 conda 环境
  • 再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3 这样的输出就成功了。
2.创建虚拟环境

输入下面的命令:

conda create -n omnigen python=3.10.13
conda activate omnigen
3.安装 pytorch
pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118
4.克隆OmniGen
git clone https://github.com/VectorSpaceLab/OmniGen.git
cd OmniGen
5.然后安装项目依赖
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

项目依赖安装完成之后就可以启动项目了,如果使用Gradio页面。需要先进行安装,运行下面命令:

pip install gradio spaces -i https://pypi.tuna.tsinghua.edu.cn/simple
python app.py

在安装的过程中,会一并下载项目中的模型,如果你的设备不能魔法上网,那么可以修改环境变量:

export HF_ENDPOINT=https://hf-mirror.com

不出意外的话,安装完成后会跳出访问链接:

无需插件,OmniGen 凭文本指令读懂图像,多样生成随心掌控_第1张图片

然后在浏览器访问即可:

无需插件,OmniGen 凭文本指令读懂图像,多样生成随心掌控_第2张图片

然后就可以愉快的玩耍OmniGen了

你可能感兴趣的:(模型构建,python,开发语言,AI模型,图像生成,文字转图像,人工智能,OmniGen)