利用Python视频处理分镜——FFmpeg、OpenCV

一、视频处理的简单命令

视频处理的思路是先将视频分解成一帧一帧的图像，对每一帧进行处理，处理好后再将帧合并为视频。会用到的模块包括OpenCV、FFmpeg等。

• OpenCV：强大的计算机视觉库，可以进行图片和视频处理

• FFmpeg：视频处理软件，在官网下载安装包安装，代码要在命令行输入。

利用FFmpeg的命令：

ffmpeg -i ./Python2021/video/cut1.mp4 -r 24 -f image2 ./Python2021/pic2/image%d.jpg

可以将一个MP4格式的视频分解为24帧/秒的图像，保存在本地文件夹中。

利用OpenCV同样可以达到该目的：

import os
import cv2
import subprocess

os.chdir(r"C:\Users\95378\Python2021")
v_path="ghz.mp4"
image_save="./pic"    # 这里保存图像的文件夹需要在本地手动新建

cap=cv2.VideoCapture(v_path)    # 读取本地视频
frame_count=cap.get(cv2.CAP_PROP_FRAME_COUNT)     # 帧数

for i in range(int(frame_count)):
    _,frame=cap.read()       # 按帧读取视频，frame为每一帧的图像
    frame=cv2.cvtColor(frame,cv2.cv2.COLOR_BGR2GRAY)  # 图像转换为OpenCV格式
    cv2.imwrite("./pic/image{}.jpg".format(i),frame)    #写入本地文件夹

FFmpeg还可以对视频进行裁剪。下面的命令是将视频的第0到60秒裁剪出来，保存到本地。需要注意的是要写清楚文件的位置（绝对路径或相对路径）。 

ffmpeg -ss 0 -t 60 -i C:\Users\95378\Python2021\video\hj.mp4 -codec copy C:\Users\95378\Python2021\video\cut2.mp4

二、 视频分镜——哈希算法

对于视频分镜的基本思路是比较每一帧镜头画面的相似度。如果画面的相似度高，说明属于同一个镜头，如果相似度很低，就说明到了下一个镜头。

比较镜头相似度的方法，老师提供了均值哈希和比较RGB三色通道直方图两种。以下是均值哈希算法：

import cv2
import numpy as np
import matplotlib.pyplot as plt
import os
print(os.getcwd()) 

# 均值哈希算法
def aHash(img):
    # 缩放为8*8
    plt.imshow(img)
    plt.axis('off')
    plt.show()
    img = cv2.resize(img,(8,8))   
    plt.imshow(img)
    plt.axis('off')
    plt.show()
    
    #转换为灰度图
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #cv2中图片颜色加载顺序为BGR，正常为RGB，所以图像颜色显示会不准确
    #s为像素和初值为0，hash_str为hash初值为''
    s = 0
    hash_str = ''
    
    #遍历累加求像素和
    for i in range(8):
        for j in range(8):
            s = s + gray[i,j]
            
    #求平均灰度
    avg = s/64
    # 灰度大于平均值为1，相反为0，生成图片的hash值
    for i in range(8):
        for j in range(8):
            if gray[i,j]>avg:
                hash_str = hash_str+'1'
            else:
                hash_str = hash_str+'0'
    return hash_str


# hash值对比
def cmpHash(hash1, hash2):
    n = 0
    print(hash1)
    print(hash2)
    
    # hash长度不同则返回-1,代表传参出错
    if len(hash1)!=len(hash2):
        return -1
    # 遍历判断
    for i in range(len(hash1)):
        # 不相等则n计数+1，n最终为相似度
        if hash1[i] != hash2[i]:
            n = n + 1
    return n

# 通过hash值比较相似性
for i in range(549):
    img1 = cv2.imread('./pic/image{}.jpg'.format(i))
    img2 = cv2.imread('./pic/image{}.jpg'.format(i+1))
    hash1 = aHash(img1)
    hash2 = aHash(img2)
    n = cmpHash(hash1, hash2)
    if (n>20):
        print('均值哈希算法相似度：', n/64)
        cv2.imwrite("./shot/image{}.jpg".format(i+1),img2)

哈希算法得到的结果： 

 可以看到基本实现了需求，但是分镜有一定的重复。

三、 视频分镜——RGB三色通道方法

RGB三色通道方法的原理是，将视频分离为RGB三个通道，画出图像的直方图，然后计算直方图的重合度。

import cv2
import numpy as np
import matplotlib.pyplot as plt
import os
print(os.getcwd()) 

# 通过比较RGB每个通道的直方图计算相似度
def classify_hist_with_split(image1, image2, size=(256, 256)):
    # 将图像resize后，分离为RGB三个通道，再计算每个通道的相似值
    image1 = cv2.resize(image1, size)
    image2 = cv2.resize(image2, size)
    plt.imshow(image1)
    plt.show()
    plt.axis('off')
    
    plt.imshow(image2)
    plt.show()
    plt.axis('off')   # 把两张图分别显示出来
    
    sub_image1 = cv2.split(image1)
    sub_image2 = cv2.split(image2)   # 把单通道取出来
    print(type(sub_image1))
    sub_data = 0
    
    for im1, im2 in zip(sub_image1, sub_image2):   # 打包可迭代的参数
        sub_data += calculate(im1, im2)
    sub_data = sub_data / 3
    return sub_data

# 计算单通道的直方图的相似值
def calculate(image1, image2):
    hist1 = cv2.calcHist([image1], [0], None, [256], [0.0, 255.0])  # 通道0，1，2 对应B,G,R
    hist2 = cv2.calcHist([image2], [0], None, [256], [0.0, 255.0])
    plt.plot(hist1, color="r")   # 画出直方图
    plt.plot(hist2, color="g")
    plt.show()
    # 计算直方图的重合度
    degree = 0
    for i in range(len(hist1)):
        if hist1[i] != hist2[i]:
            degree = degree + (1 - abs(hist1[i] - hist2[i]) / max(hist1[i], hist2[i]))
        else:
            degree = degree + 1    #统计相似
    degree = degree / len(hist1)
    return degree

# 通过直方图相似性比较分镜并检验参数
for i in range(1442):
    img1 = cv2.imread('./pic2/image{}.jpg'.format(i))
    img2 = cv2.imread('./pic2/image{}.jpg'.format(i+1))
    n = calculate(img1, img2)  # 完全一样是1，完全不一样是0
    if (n<0.6):
        print('三直方图算法相似度：', n)
        cv2.imwrite("./shot2/image{}.jpg".format(i+1),img2)

这里的直方图重合度，1是完全相同，0是完全不同。但具体较为准确的分镜参数需要尝试。以下是用不同的参数尝试分镜的运行结果：

	镜头数	参数	分镜结果
视频一	23	0.5	10
	23	0.6	23
	23	0.7	27
视频二	25	0.5	13
	25	0.6	20
	25	0.7	32

 根据实验结果可知，参数为n<0.6，分镜结果较为准确。