一个基于 ChatGPT 的视频神器,开源了!

公众号关注 “GitHubDaily”

设为 “星标”,每天带你逛 GitHub!

一个基于 ChatGPT 的视频神器,开源了!_第1张图片

自今年开始,AIGC 行业爆火,直接带动了不少产业的发展,这其中自然也包括电商直播、新媒体营销等等。

虽说现在可以利用不少工具,快速基于文案生成视频。但是,目前大部分应用还都是闭源的,可扩展性差,产品技术封闭,不太适合技术生态的构建与发展。

有鉴于此,我们的星球嘉宾,重新打造了一套完整的视频自动生成与剪辑工具:Open Chat Video Editor

一个基于 ChatGPT 的视频神器,开源了!_第2张图片

该工具项目代码,目前已正式开源至 GitHub:

https://github.com/SCUTlihaoyu/open-chat-video-editor

作为一款新鲜出炉的短视频生成和编辑工具,它可以帮你完成以下工作:

  • 1)一键生成可用的短视频,包括:配音、背景音乐、字幕等。

  • 2)算法和数据均基于开源项目,方便技术交流和学习

  • 3)支持多种输入数据,方便对各种各样的数据,一键转短视频,目前支持:

    • 短句转短视频(Text2Video): 根据一句话介绍,生成文案和视频;

    • 网页链接转短视频(Url2Video): 自动提取网页内容,生成文案和视频;

    • 长视频转短视频(Long Video to Short Video): 对输入的长视频进行分析和摘要,并生成短视频。

  • 4)涵盖生成模型多模态检索模型等多种主流算法和模型,如: ChatGPT、Stable Diffusion、CLIP 等。

项目示例

下面给大家看下几个项目示例。

短句转短视频(Text2Video)

你只需输入一句话短文,该工具便能帮你自动补充文案,并生成短视频。

视频风格可根据你的个人喜好,选择现实风或卡通风。

一个基于 ChatGPT 的视频神器,开源了!_第3张图片

图片中生成的图像,可以让 Stable Diffusion 直接生成,非常方便。

2、网页转短视频(Url2Video)

你只需要提供一个网址,该工具便会自动抓取网站内容,然后基于网站上面的内容,批量生成字幕文案和视频。

你可以通过这个功能为网站提供更为丰富的产品交互,或为企业产品生成视频演示。

一个基于 ChatGPT 的视频神器,开源了!_第4张图片

对于像百科这种一些偏文档介绍和科普型产品,通过该工具生成的视频质量会非常高。

可作用网站文档速读、一分钟科普介绍等场景。

下面跟大家讲下怎么用。

安装 & 使用

项目是基于 Python 构建,整个安装过程也比较简单,直接使用 pip 即可在命令行中快速安装。

1)安装 Pytorch

该项目可以使用 GPU 或 CPU 来运行,为了更好的操作体验,这里我们直接采用 GPU 的安装方式。

 
   
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

2)安装其他依赖环境

 
   
pip install -r requirements.txt

3)安装 CLIP

CLIP 是 OpenAI 在 GitHub 开源的一个神经网络,可用于对比「语言-图像」预训练,预测给定图像最相关的文本片段。

你可以用自然语言让它根据图像,自动寻找文本片段,无需直接针对任务进行优化,类似于 GPT-2 和 3 的零样本功能。

在此项目中,我们可以通过 CLIP 来实现跨模态检索。

运行下面这条命令,即可快速安装。

 
   
pip install git+https://github.com/openai/CLIP.git

4)安装 FAISS

 
   
conda install -c pytorch faiss-cpu

代码执行

需要你需要使用 ChatGPT 来辅助生成文案,你需要在项目的 configs 文件夹中,提前配置好 OpenAI 的 API Key 和 organization ID。

比如,你想使用项目的文本生成视频(图像基于本地检索)功能,则可以进入项目的 configs/text2video/image_by_retrieval_text_by_chatgpt_zh.yaml 路径,进行配置。

一个基于 ChatGPT 的视频神器,开源了!_第5张图片

2)下载数据索引和 meta 信息 data.tar,并解压到 data/index 目录下。

Meta 信息:https://pan.quark.cn/s/19fa46ceb2cb

3)执行脚本

 
   
# Text to video
python  app/app.py --func Text2VideoEditor  --cfg ${cfg_file}
# URL to video
python  app/app.py --func URL2VideoEditor  --cfg ${cfg_file}

自此,整个项目便能正常运行。

写在最后

常言道,一图胜千言,而一个视频,则可以按帧切分成数万张图片,其中所包含的信息量更为庞大。

自 4G 时代以来,短视频开始普及,进入千家万户,各类短视频平台如雨后春笋般层出不穷。

一个短短几分钟的视频,便能让人们感受世界各地不同地方的风俗人情,领略人间百态,拓展自己视野。

随着当下 AIGC 技术的飞速进步,各个行业的 AI 应用也将越来越多,凡是接触到互联网的行业,其传统方式都将被颠覆。基于不同场景所构建的 AI 应用,也将会面临新的技术挑战。

就视频剪辑而言,身边便有不少朋友,开始采用 AI 来逐步替代传统人工,这其中包括电商直播、新媒体营销、在线培训、知识科普等多个领域。

让 AI 实现复杂枯燥的剪辑流程,将一切自动化,给剪辑师腾出更多精力,用于挖掘更为丰富视频呈现场景,打造更好的内容,为用户提供绝佳的观看体验,这就是当下 AI 要做的事情。

我之前在星球也分享过,随着各类 AI 工具的成熟,一个人顶一整支团队,将成为现实。

善用工具的人,将在新时代的竞争中,将比普通人具有更大的优势。

如果你想了解更多实用的 AI 技术与应用,以及 ChatGPT 新进展,可以点击下方链接,加入我们社群进一步交流探讨。

每个进群的人,都会收到我们赠送的一枚 ChatGPT 账号。

社群入口:ChatGPT 社群,正式上线!

不想错过文章推送?可以给 GitHubDaily 公众号加个星标。

一个基于 ChatGPT 的视频神器,开源了!_第6张图片

你可能感兴趣的:(chatgpt,音视频,人工智能)