公众号关注 “GitHubDaily”
设为 “星标”,每天带你逛 GitHub!
自今年开始,AIGC 行业爆火,直接带动了不少产业的发展,这其中自然也包括电商直播、新媒体营销等等。
虽说现在可以利用不少工具,快速基于文案生成视频。但是,目前大部分应用还都是闭源的,可扩展性差,产品技术封闭,不太适合技术生态的构建与发展。
有鉴于此,我们的星球嘉宾,重新打造了一套完整的视频自动生成与剪辑工具:Open Chat Video Editor。
该工具项目代码,目前已正式开源至 GitHub:
https://github.com/SCUTlihaoyu/open-chat-video-editor
作为一款新鲜出炉的短视频生成和编辑工具,它可以帮你完成以下工作:
1)一键生成可用的短视频,包括:配音、背景音乐、字幕等。
2)算法和数据均基于开源项目,方便技术交流和学习
3)支持多种输入数据,方便对各种各样的数据,一键转短视频,目前支持:
短句转短视频(Text2Video): 根据一句话介绍,生成文案和视频;
网页链接转短视频(Url2Video): 自动提取网页内容,生成文案和视频;
长视频转短视频(Long Video to Short Video): 对输入的长视频进行分析和摘要,并生成短视频。
4)涵盖生成模型和多模态检索模型等多种主流算法和模型,如: ChatGPT、Stable Diffusion、CLIP 等。
下面给大家看下几个项目示例。
短句转短视频(Text2Video)
你只需输入一句话短文,该工具便能帮你自动补充文案,并生成短视频。
视频风格可根据你的个人喜好,选择现实风或卡通风。
图片中生成的图像,可以让 Stable Diffusion 直接生成,非常方便。
2、网页转短视频(Url2Video)
你只需要提供一个网址,该工具便会自动抓取网站内容,然后基于网站上面的内容,批量生成字幕文案和视频。
你可以通过这个功能为网站提供更为丰富的产品交互,或为企业产品生成视频演示。
对于像百科这种一些偏文档介绍和科普型产品,通过该工具生成的视频质量会非常高。
可作用网站文档速读、一分钟科普介绍等场景。
下面跟大家讲下怎么用。
项目是基于 Python 构建,整个安装过程也比较简单,直接使用 pip 即可在命令行中快速安装。
1)安装 Pytorch
该项目可以使用 GPU 或 CPU 来运行,为了更好的操作体验,这里我们直接采用 GPU 的安装方式。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
2)安装其他依赖环境
pip install -r requirements.txt
3)安装 CLIP
CLIP 是 OpenAI 在 GitHub 开源的一个神经网络,可用于对比「语言-图像」预训练,预测给定图像最相关的文本片段。
你可以用自然语言让它根据图像,自动寻找文本片段,无需直接针对任务进行优化,类似于 GPT-2 和 3 的零样本功能。
在此项目中,我们可以通过 CLIP 来实现跨模态检索。
运行下面这条命令,即可快速安装。
pip install git+https://github.com/openai/CLIP.git
4)安装 FAISS
conda install -c pytorch faiss-cpu
需要你需要使用 ChatGPT 来辅助生成文案,你需要在项目的 configs 文件夹中,提前配置好 OpenAI 的 API Key 和 organization ID。
比如,你想使用项目的文本生成视频(图像基于本地检索)功能,则可以进入项目的 configs/text2video/image_by_retrieval_text_by_chatgpt_zh.yaml
路径,进行配置。
2)下载数据索引和 meta 信息 data.tar,并解压到 data/index 目录下。
Meta 信息:https://pan.quark.cn/s/19fa46ceb2cb
3)执行脚本
# Text to video
python app/app.py --func Text2VideoEditor --cfg ${cfg_file}
# URL to video
python app/app.py --func URL2VideoEditor --cfg ${cfg_file}
自此,整个项目便能正常运行。
常言道,一图胜千言,而一个视频,则可以按帧切分成数万张图片,其中所包含的信息量更为庞大。
自 4G 时代以来,短视频开始普及,进入千家万户,各类短视频平台如雨后春笋般层出不穷。
一个短短几分钟的视频,便能让人们感受世界各地不同地方的风俗人情,领略人间百态,拓展自己视野。
随着当下 AIGC 技术的飞速进步,各个行业的 AI 应用也将越来越多,凡是接触到互联网的行业,其传统方式都将被颠覆。基于不同场景所构建的 AI 应用,也将会面临新的技术挑战。
就视频剪辑而言,身边便有不少朋友,开始采用 AI 来逐步替代传统人工,这其中包括电商直播、新媒体营销、在线培训、知识科普等多个领域。
让 AI 实现复杂枯燥的剪辑流程,将一切自动化,给剪辑师腾出更多精力,用于挖掘更为丰富视频呈现场景,打造更好的内容,为用户提供绝佳的观看体验,这就是当下 AI 要做的事情。
我之前在星球也分享过,随着各类 AI 工具的成熟,一个人顶一整支团队,将成为现实。
善用工具的人,将在新时代的竞争中,将比普通人具有更大的优势。
如果你想了解更多实用的 AI 技术与应用,以及 ChatGPT 新进展,可以点击下方链接,加入我们社群进一步交流探讨。
每个进群的人,都会收到我们赠送的一枚 ChatGPT 账号。
社群入口:ChatGPT 社群,正式上线!
不想错过文章推送?可以给 GitHubDaily 公众号加个星标。