在网络发展到今天，知识的传递变得简单，各种网络学校也层出不穷，但是基础的模式还是不变，一个好的老师，一套好的片子，一段时间的教学。
微软的三分屏课件
Microsoft Producer是很早一批制作三分屏课件的工具，不过这个软件应该在windows 2003年代就停止更新了。虽然网络类似工具不少，但是逐帧核对时间点，也是个很费时的事情，PowerPoint的播放计时功能也很难获取时间节点。
课件制作思路
1、拍摄讲者视频，制作video1
2、ScreenFlow录制屏幕PPT，制作video2
3、通过ffmpeg每秒截取video2的视频关键帧
4、通过图片相似度对比，清理多余文件，计算翻页时间点。
ffmpeg截取关键帧
Mac用户直接下载编译好的ffmpeg，放入 /usr/local/bin文件夹下即可使用
ffmpeg -i slide.mp4 -f image2 -vf fps=fps=1 out%d.png
相似图片算法
用计算直方图实现识别相似图片。把图片分隔成16个小块，然后分别比较，最后综合比较结果，从而提高比较的准确率。另外一些算法参考相似图片搜索的原理
from PIL import Image
import os
def calculate(image1,image2):
g = image1.histogram()
s = image2.histogram()
assert len(g) == len(s),"error"
data = []
for index in range(0,len(g)):
if g[index] != s[index]:
data.append(1 - abs(g[index] - s[index])/max(g[index],s[index]) )
else:
data.append(1)
return sum(data)/len(g)
def split_imgae(image,part_size):
pw,ph = part_size
w,h = image.size
sub_image_list = []
assert w % pw == h % ph == 0,"error"
for i in range(0,w,pw):
for j in range(0,h,ph):
sub_image = image.crop((i,j,i+pw,j+ph)).copy()
sub_image_list.append(sub_image)
return sub_image_list
def classfiy_histogram_with_split(image1,image2,size = (256,256),part_size=(64,64)):
image1 = image1.resize(size).convert("RGB")
sub_image1 = split_imgae(image1,part_size)
image2 = image2.resize(size).convert("RGB")
sub_image2 = split_imgae(image2,part_size)
sub_data = 0;
for im1,im2 in zip(sub_image1,sub_image2):
sub_data += calculate(im1, im2)
x = size[0]/part_size[0]
y = size[1]/part_size[1]
pre = round((sub_data/(x*y) ),3 )
return pre
清理多余文件
把所有相似度超过70%的图片直接删除，只保留唯一图片即可。但是，根据视频质量的差异，可能有的图片相似度要用到90%。
os.system('ffmpeg -i slide.mp4 -f image2 -vf fps=fps=1 out%d.png')
im1 = Image.open("out1.png")
for i in range(5000):
try:
im2 = Image.open("out%s.png" % str(i+2))
diff = classfiy_histogram_with_split(im1, im2)
print (diff)
if diff > 0.7:
os.remove("out%s.png" % str(i+2))
else:
im1 = Image.open("out%s.png" % str(i+2))
except:
pass
至此，基本可以省去大部分人工核对时间节点的问题，而且也能更好的处理PPT翻页的问题。但是这样做还有几点需要注意：
1、拍摄要求：ppt禁止翻页动画，否则会影响图片识别精度。
2、视频讲解过程不能停顿，后期如果剪辑会破坏时间线