多光谱遥感分类（一）：数据集制作
目录
多光谱遥感分类（一）：数据集制作；本文。
多光谱遥感分类（二）：VGG微调
多光谱遥感分类（三）：CNN提取特征+RF分类
多光谱遥感分类（四）：使用GLCM+RF
多光谱遥感分类（五）：代码优化+自定义模型
也可参考：遥感分类的一种采样方法 。
描述
代码源于很久以前练手的一个Demo，时间长了许多魔改版的都不见了，目前只剩下此简陋版本。读者如有相关需求，可根据只言片语断章取义。由于代码混乱基础，不再上传GitHub。
所用数据为多光谱遥感影像（.tif，由arcgis导出RGB彩色图像），抠图所得点文件（.shp）（由抠图面文件使用arcgis随机生成点生成，至少有一个字段，即标签）。
工具篇
根据点shp文件（样本点集合），对栅格图像的3、2、1波段切图，并保存在相应标签下的文件夹，注意shp、tif的投影坐标一致
from osgeo import gdal
import numpy as np
import shapefile
import cv2
import os
size=64
bands=3
dataset = gdal.Open(r"E:\数据2\test_tif_peizhun_subset_proj_.tif")
rer=shapefile.Reader(r'E:\shps\test.shp')
def __createDir(path):
if not os.path.exists(path):
try:
os.makedirs(path)
except:
print("创建文件夹失败")
exit(1)
def __getACell(geo,pos):
try:
xoffset = int((pos[0] - geo[0]) / geo[1])
yoffset = int((pos[1] - geo[3]) / geo[5])
print("pixels: x= %d,y= %d" % (xoffset, yoffset))
output = []
for i in [3,2,1]:
band = dataset.GetRasterBand(i)
if (int(xoffset - size / 2) < 0 or int(yoffset - size / 2) < 0
or int(xoffset - size / 2) + size > dataset.RasterXSize
or int(yoffset - size / 2) + size > dataset.RasterYSize):
return None
t = band.ReadAsArray(int(xoffset - size / 2), int(yoffset - size / 2), size, size)
output.append(t)
img = np.moveaxis(np.array(output, dtype=np.uint8), 0, 2)
except:
return None
return img
def getShpDataForNum():
labels=[i[0] for i in rer.records()]
for i in set(labels):
__createDir(os.path.join("data/org/"+str(i)))
for i in range(rer.numRecords):#rer.numRecords
print("deal %d: " % (i+1))
sr=rer.shape(i)
img=__getACell(dataset.GetGeoTransform(), sr.points[0])
if(img is None):
print("the area of points %d is out range." %(i))
continue
label=labels[i]
cv2.imwrite("data/org/%s/%s.%d.jpg" % (label, label, i), img)
print("data/org/%s/%s.%d.jpg" % (label, label, i))
print("deal finish,to numpy array.")
getShpDataForNum()
如下，将上述所得文件拆分为测试集和训练集。
import os
import shutil
import random
def createDir(path):
if not os.path.exists(path):
try:
os.makedirs(path)
except:
print("创建文件夹失败")
exit(1)
createDir("data/train/")
createDir("data/test/")
dir='data/org/'
for dir_item in os.listdir(dir):
createDir("data/train/" + dir_item)
createDir("data/test/"+dir_item)
org_data=os.listdir(dir+dir_item+"/")
random.shuffle(org_data)
num=int(len(org_data)*0.25)
print(dir + dir_item + " start.")
for d in org_data[:-num]:
shutil.copyfile(dir + dir_item + "/" + d, "data/train/" + dir_item + "/" + d)
for d in org_data[-num:]:
shutil.copyfile(dir+dir_item+"/"+d,"data/test/"+dir_item+"/"+d)
print(dir+dir_item+" finished")
以下显示制定文件夹下的子文件夹中的文件数目直方图。
import os
import seaborn as sns
import matplotlib.pyplot as plt
def show(path,title):
d=os.listdir(path)
d_len=[len(os.listdir(os.path.join(path,i))) for i in d]
# print(d,d_len)
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
sns.barplot(d,d_len,)
plt.xlabel("样本类型")
plt.ylabel("数量")
plt.title(title)
for i in range(len(d_len)):
plt.text(i,d_len[i]+2,"%d" % d_len[i],ha="center",va="bottom")
plt.show()
show(r"data/1_train","训练集源数据采样集")
由于其他原因，数据更改。如下为使用shp样本点对应的像素坐标所采图集。此时分为train pos.txt和test pos.txt诸如此类。
from osgeo import gdal
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import os
import cv2,shutil
class Tiff:
def createDir(self, path):
if not os.path.exists(path):
try:
os.makedirs(path)
except:
print("创建文件夹失败")
exit(1)
def __init__(self, pos_src,other_feather,contact_src,size=128,bands=[3,2,1],tif_src=r"D:/lishihang/jiangxia_simple/ZY3_GS_jiangxia1.tif"):
self.dataset = gdal.Open(tif_src) # tif数据
self.size = size # 采样窗口大小
self.bands=bands
self.contact_pos_feather(pos_src, other_feather,contact_src)
self.fea =pd.read_csv(contact_src, header=None)
# shutil.rmtree("data/temp.txt")
def get_cell(self, pos_x, pos_y):
try:
output = []
for i in self.bands:
band = self.dataset.GetRasterBand(i)
t = band.ReadAsArray(int(pos_x - self.size / 2), int(pos_y - self.size / 2), self.size, self.size)
output.append(t)
img2 = np.moveaxis(np.array(output, dtype=np.uint8), 0, 2)
# print(img2.shape)
# self.showImg(img2)
except:
return None
return img2
def get_cells(self,target_src):
fea_len=len(self.fea)
self.createDir(target_src)
for label in set(self.fea.iloc[:,-2]):
self.createDir("%s/%s" % (target_src,label))
print("fea length: %d" % fea_len)
for i in range(fea_len):
temp=self.fea.iloc[i,:].values
img = self.get_cell(temp[1], temp[0])
if img is None:
continue
cv2.imwrite("%s/%s/%s.%d.jpg" % (target_src,temp[-2], temp[-2], i), img)
if(i%1000==0):
print("%d/%d hava finsh save." % (i,fea_len))
def contact_pos_feather(self,pos_src, other_feather,target):
if os.path.exists(target):
print("文件已存在")
return
pos = pd.read_csv(pos_src, header=None, sep=' ')
feather = pd.read_csv(other_feather, header=None, sep='\t')
# fea = pd.concat([pos, feather], axis=1).sample(frac=1).reset_index(drop=True)
fea = pd.concat([pos, feather], axis=1)
print("pos Length=%d,feather Length=%d,fea Length=%d" % (len(pos), len(feather), len(fea)))
# print(type(fea))
del feather
del pos
fea = pd.DataFrame(fea)
fea.to_csv(target, index=None, header=None)
if __name__ == '__main__':
tiff=Tiff(r"D:/tr_sample_1.txt",r"D:/train1.txt",r"tr_1.txt")
# tiff=Tiff(r"D:/te_sample_1.txt",r"D:/test1.txt",r"te_1.txt")
# tiff.get_cells("data/1_test")