计算机视觉入门——图像基础

基本的数字图像处理：采样与插值、色彩转换、直方图、滤波（线性与非线性）、边缘检测、形态操作、角点检测、图像金字塔等。 

1.采样与插值：

        采样：二维采样定理：对于原始模拟图像的傅里叶频谱，若水平方向的截止频率为u，垂直方向的截止频率为v，为了能够恢复出图像要求水平采样率大于等于2u，垂直方向采样率大于等于2v，因此水平采样间隔小于等于1/2u，垂直采样间隔小于等于1/2v

        插值：最近邻内插(零阶插值)、双线性内插、Bicubic插值

2.图像增强：

• 基本灰度变换：

        图像反转：突出大面积暗色(浅色)区域的浅色(暗色)细节 s = L-1-r

        对数变换：压缩动态范围过大的频谱 s = clog(1+r)

        幂律变换：偏暗(泛白)图像的灰度扩大(压缩) s = cr  --> 伽马矫正

        分段线性变换:对任意灰度区间进行扩展或压缩 ---> 对比度扩展

• 直方图变换：        

       直方图表示数字图像中每一灰度级与其出现频数间的统计关系(在概念上与模拟图像的概率密度函数相当)，直方图能给出图像像素的大致描述，比如灰度范围、灰度级分度、图像的平均亮度等。

       直方图均衡（直方图均匀化）：使得图像的像素趋于占有全部可用的灰度级并分布均匀，这样的图像具有高对比度、灰度细节丰富且动态范围大的特点。

       直方图规定化：将图像原来的直方图通过变换形成某个特定的直方图。原始图像和希望的灰度概率密度函数均衡后两者应相等，因此可求出反变换函数，对每个像素执行映射。

3.平滑与滤波：aka mask, kernel, template, window

     平滑线性滤波器：邻域平均、加权平均

统计排序非线性滤波器：中值滤波器、最大值滤波器、最小值滤波器

频率域低通滤波：2D-DFT

多幅图像取平均：抑制随机噪声

4.锐化与微分：突出图像中的细节，边缘检测  面->线->点

一阶微分：梯度法(直接(x+1,y+1)求导)、Roberts cross-gradient算子(2x2交叉)、Sobel算子(3x3间隔)

二阶微分：拉普拉斯算子(上下左右-4中心)

5.数学形态学处理：

• 基本集合运算：集合、元素、子集；并集、交集、全集、补集、差集；映射；位移
• 二值图像的逻辑运算：非、与、或、非与、异或
• 基本形态运算：

腐蚀(收缩)- 用B来腐蚀A得到的集合是B完全包括在集合A中时B的参考点的位置的集合 -->去除无关细节

膨胀(扩张)- 用B来膨胀A所得到的集合B*与集合A至少有一个元素重叠的所有位移的集合 -->增大或加粗二值图像中的对象

(腐蚀和膨胀关于集合求补和映射是彼此的对偶)

• 复合形态运算：

 开启：先腐蚀再膨胀 --> 平滑轮廓、断开狭窄的部分、去除狭窄的突起、边缘毛刺和孤立斑点

 闭合：先膨胀再腐蚀 --> 平滑轮廓、融合细窄的缺口和细长的沟壑，填补裂缝和破洞，保持主要结构不变

6.角点检测(特征点检测)：

• 定义：角点通常被定义为两条边的交点
• 角点检测算法的基本思想：使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后窗口中的像素灰度变化程度，如果存在任意方向上的滑动都有着较大的灰度变化，那么可以认为该窗口中存在角点。
• 角点的类型： 

        一阶导数的局部最大所对应的像素

        两条/两条以上边缘的焦点

        图像中梯度值和梯度方向变化速率都很高的点

        角点处一阶导数最大、二阶导数为零，指示物体边缘变化不连续的方向

• 角点检测算法：基于二值图像的角点检测、基于轮廓曲线的角点检测、基于灰度图像的角度检测（Kitchen-Rosenfeld角点检测算法，Harris角点检测算法，KLT角点检测算法及SUSAN角点检测算法。基于模板的方法主要考虑像素领域点灰度的变化）

7.图像金字塔：是图像中多尺度表达的一种，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。

• 高斯金字塔：主要用来下采样

        对图像的向下取样操作，即缩小图像。

        1）对图像进行高斯内核卷积，进行高斯模糊；

        2） 将所有偶数行和列去除。

        对图像的向上取样，即放大图像

        1）将图像在每个方向扩大为原来的两倍，新增的行和列以0填充

        2） 使用先前同样的内核(乘以4)与放大后的图像卷积，获得 “新增像素”的近似值

• 拉普拉斯金字塔：用来从金字塔底层图像重建上层未采样图样，预测残差、还原图像，通常搭配高斯金字塔一起使用。通过源图像减去先缩小后再放大的图像的一系列图像构成的，保留的是残差，为图像还原做准备。

import cv2
import numpy as np
import matplotlib.pyplot as plt

########## basic grayscale transformation #############
def grayscale(im):
    linear = 2*im
    linear[linear>255] = 255
    cv2.imshow('linear transform',linear)

    im = im / 255
    gamma = 0.4
    power = np.power(im,gamma)
    cv2.imshow('power transformation',power)

########### basic HSV transformation ############
def HSVtrans(im):
    im_hsv = cv2.cvtColor(im, cv2.COLOR_BGR2HSV)
    
    turn_green = im_hsv.copy()
    turn_green[:,:,0] = (turn_green[:,:,0] + 30) % 180
    turn_green = cv2.cvtColor(turn_green, cv2.COLOR_HSV2BGR)
    cv2.imshow('change hue', turn_green)

    turn_gray = im_hsv.copy()
    turn_gray[:,:,1] = 1/2 * turn_gray[:,:,1]
    turn_gray = cv2.cvtColor(turn_gray, cv2.COLOR_HSV2BGR)
    cv2.imshow('change saturation', turn_gray)

    turn_dark = im_hsv.copy()
    turn_dark[:,:,2] = 1/2 * turn_dark[:,:,2]
    turn_dark = cv2.cvtColor(turn_dark, cv2.COLOR_HSV2BGR)
    cv2.imshow('change value', turn_dark)


############# histogram ##############
def calchist(im):
    h,w = im.shape[:2]
    im2 = im.reshape(h*w,-1)[:,0]
    histogram, _, _ = plt.hist(im2,256,facecolor='black')
    plt.axis([0, 255, 0, np.max(histogram)])
    plt.show()

def histreg(im):
    im = im[:,:,0] #Select Red Channel
    Imin,Imax = cv2.minMaxLoc(im)[:2]
    Omin,Omax = 0,255
    a = (Omax-Omin)/(Imax-Imin)
    b = Omin - a*Imin
    out = a*im + b
    out = out.astype(np.uint8)
    plt.figure(1)
    calchist(im)
    plt.figure(2)
    calchist(out)

########## mean filter #################
def mean_fil(im, x, y, k_size):
    average = 0 
    for m in range(-int(k_size/2), int(k_size/2)):
        for n in range(-int(k_size/2), int(k_size/2)):
            average += im[x+m][y+n]/(k_size*k_size)
    return average

########## median filter #################
def median_fil(im, x, y, k_size):
    median = []
    for m in range(-int(k_size/2), int(k_size/2)+1):
        for n in range(-int(k_size/2), int(k_size/2)+1):
            median.append(im[x+m][y+n])
    median.sort()
    return median[int(k_size*k_size/2)]

############ laplace filter ###############
def laplace(im,c):
    filter = np.array([
        [1,1,1],
        [1,-8,1],
        [1,1,1],
    ])

    h,w = im.shape[:2]
    imout = im.copy()
    for m in range(1,h-1):
        for n in range(1,w-1):
            grad = np.sum(filter*im[m-1:m+2, n-1:n+2])
            imout[m,n] = im[m,n] + c*grad
    return imout[1:h-1,1:w-1]

im = cv2.imread('lena.jpg')
if im is None:
    print('Fail to open the image.')
    exit()


## basic image processing ##
grayscale(im)          
histreg(im)            
HSVtrans(im)           


############### mean filter & median filter ##############
imcopy1 = im.copy()
ksize1 = 3  #kernel size
for i in range(int(ksize1/2), im.shape[0]-int(ksize1/2)):
    for j in range(int(ksize1/2), im.shape[1]-int(ksize1/2)):
        imcopy1[i,j] = mean_fil(im,i,j,ksize1)
cv2.imshow('mean filter',imcopy1)

imcopy2 = im.copy()
ksize2 = 3  #kernel size
for k in range(3):
    for i in range(int(ksize2/2), im.shape[0]-int(ksize2/2)):
        for j in range(int(ksize2/2), im.shape[1]-int(ksize2/2)):
            imcopy2[i,j,k] = median_fil(im[:,:,k],i,j,ksize2)
cv2.imshow('median filter',imcopy2)


################ laplace filter ###################
cv2.imshow('laplace filter', laplace(im,0.1))


################ morphological transformation #################
open = cv2.morphologyEx(im,cv2.MORPH_OPEN,np.ones((5,5),np.uint8))
cv2.imshow('opening operation', open)


################ corner detection ################
imcopy3 = im.copy()
imgray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
corner = cv2.cornerHarris(imgray, 2, 3, 0.04)

imcopy3[corner>0.01*np.max(corner)] = [0,0,255]
cv2.imshow('corner detection', imcopy3)


############## image pyramid ###############
imup = cv2.pyrUp(im)
imdown = cv2.pyrDown(im)
imdd = cv2.pyrDown(imdown)
cv2.imshow('image upsampling', imup)
cv2.imshow('image downsampling', imdown)
cv2.imshow('image down sampling again', imdd)
cv2.waitKey()

cv2.destroyAllWindows()

参考文章：《数字图像处理》

blog.csdn.net/lph188/article/details/84538103

blog.csdn.net/zhu_hongji/article/details/81235643

blog.csdn.net/zhu_hongji/article/details/81536820

blog.csdn.net/m0_38007695/article/details/82718107

blog.csdn.net/lph188/article/details/84538103

www.cnblogs.com/-wenli/p/11951946.html