python,sklearn,svm,遥感数据分类,代码实例
@python,sklearn,svm,遥感数据分类,代码实例
python_sklearn_svm遥感数据分类代码实例
（1）svm原理简述
作者：huhu_xq
支持向量机（Support Vector Machine，即SVM）是包括分类（Classification）、回归(Regression)和异常检测(Outlier Detection)等一系列监督学习算法的总称。对于分类，SVM最初用于解决二分类问题，多分类问题可通过构建多个SVM分类器解决。SVM具有两大特点：1.寻求最优分类边界，即求解出能够正确划分训练数据集并且几何间隔最大的分离超平面，这是SVM的基本思想；2.基于核函数的扩维变换，即通过核函数的特征变换对线性不可分的原始数据集进行升维变换，使其线性可分。因此SVM最核心的过程是核函数和参数选择。
（2）svm实现环境解析设置中文输出代码兼容格式及引用的库函数,用于精度评估的库函数，以及svm参数寻优等。
下面展示一些 内联代码片。
-*- coding: utf-8 -*-
#用于精度评价
from sklearn.metrics import cohen_kappa_score
from sklearn.metrics import accuracy_score
from sklearn.metrics import confusion_matrix
#numpy引用
import numpy as np
#记录运行时间
import datetime
#文件路径操作
import os
#svm and best parameter select using grid search method
from sklearn import svm
from sklearn.model_selection import GridSearchCV
#scale the data to 0-1 用于数据归一化
from sklearn import preprocessing
（3）svm函数参数寻优
SVM参数寻优的实现，有两种常用方法，一种是网格搜索法（本文中的），另一种是使用libsvm工具通过交叉验证实现（后面再写，有兴趣的可以留言）。
def grid_find(train_data_x,train_data_y):
# 10 is often helpful. Using a basis of 2, a finer.tuning can be achieved but at a much higher cost.
# logspace(a,b,N),base默认=10，把10的a次方到10的b次方区间分成N份。
C_range = np.logspace(-5, 9, 8, base=2)
# 如：C_range = 1/64,1/8,1/2,2,8,32,128,512
gamma_range = np.logspace(-15, 3, 10, base=2)
# 选择linear线性核函数和rbf核函数
parameters = {'kernel': ('linear', 'rbf'), 'C': C_range, 'gamma': gamma_range}
svr = svm.SVC()
# n_jobs表示并行运算量，可加快程序运行结果。
# 此处选择5折交叉验证，10折交叉验证也是常用的。
clf = GridSearchCV(svr, parameters, cv=5, n_jobs=4)
# 进行模型训练
clf.fit(train_data_x, train_data_y)
print('最优c,g参数为:{0}'.format(clf.best_params_))
# 返回最优模型结果
svm_model = clf.best_estimator_
return svm_model
更多关于网格搜索法：
（4）数据读取函数编写（读取txt格式的训练与测试文件）首先是读取txt格式的训练数据和测试数据的函数。
数据截图如下，其中，前6列数据代表通过遥感影像感兴趣区（roi）提取出的6个波段的灰度值，最后一列代表数据类别的标签。
代码如下，仅需输入文件路径即可：
def open_txt_film(filepath):
# open the film
if os.path.exists(filepath):
with open(filepath, mode='r') as f:
train_data_str = np.loadtxt(f, delimiter=' ')
print('训练（以及测试）数据的行列数为{}'.format(train_data_str.shape))
return train_data_str
else:
print('输入txt文件路径错误，请重新输入文件路径')
（5）svm模型预测函数编写
输入模型与测试数据，输出精度评估（包括混淆矩阵，制图精度等等）。
def model_process(svm_model, test_data_x, test_data_y):
p_lable = svm_model.predict(test_data_x)
# 精确度为 生产者精度 召回率为 用户精度
print('总体精度为 : {}'.format(accuracy_score(test_data_y, p_lable)))
print('混淆矩阵为 :\n {}'.format(confusion_matrix(test_data_y, p_lable)))
print('kappa系数为 :\n {}'.format(cohen_kappa_score(test_data_y, p_lable)))
matric = confusion_matrix(test_data_y, p_lable)
# output the accuracy of each category。由于类别标签是从1开始的，因此明确数据中最大值，即可知道有多少类
for category in range(np.max(test_data_y)):
# add 0.0 to keep the float type of output
precise = (matric[category, category] + 0.0) / np.sum(matric[category, :])
recall = (matric[category, category] + 0.0) / np.sum(matric[:, category])
f1_score = 2 * (precise * recall) / (recall + precise)
print(
'类别{}的生产者、制图(recall)精度为{:.4} 用户（precision）精度为{:.4} F1 score 为{:.4} '.format(category + 1, precise, recall, f1_score))
（6）主函数编写
主函数主要负责：读取数据，预处理数据，以及参数寻优、模型训练和模型预测。
针对不同的数据集，每次使用，仅仅需要修改训练与测试数据的路径即可。
def main():
# read the train data from txt film
train_file_path = r'E:\CSDN\data1\train.txt'
train_data = open_txt_film(train_file_path)
# read the predict data from txt film
test_file_path = r'E:\CSDN\data1\test.txt'
test_data = open_txt_film(test_file_path)
# data normalization for svm training and testing dataset
scaler = preprocessing.MinMaxScaler().fit(train_data[:, :-1])
train_data[:, :-1] = scaler.transform(train_data[:, :-1])
# keep the same scale of the train data
test_data[:, :-1] = scaler.transform(test_data[:, :-1])
# conversion the type of data,and the label's dimension to 1-d
train_data_y = train_data[:, -1:].astype('int')
train_data_y = train_data_y.reshape(len(train_data_y))
train_data_x = train_data[:, :-1]
# 取出测试数据灰度值和标签值，并将2维标签转为1维
test_data_x = test_data[:, :-1]
test_data_y = test_data[:, -1:].astype('int')
test_data_y = test_data_y.reshape(len(test_data_y))
model = grid_find(train_data_x,train_data_y)
# 模型预测
model_process(model, test_data_x, test_data_y)
（7）调用主函数
这里新增了几行代码用于记录程序运行时间。
if __name__ == "__main__":
# remember the beginning time of the program
start_time = datetime.datetime.now()
print("start...%s" % start_time)
main()
# record the running time of program with the unit of minutes
end_time = datetime.datetime.now()
last_time = (end_time - start_time).seconds / 60
print("The program is last %s" % last_time + " minutes")
# print("The program is last {} seconds".format(last_time))
（8）训练数据与测试数据实例下载地址
数据在作者的github仓库下，共两个文件（train.txt 和 test.txt) 。
[下载链接]: (https://github.com/sunzhihu123/sunzhihu123.github.io)
仓库下点击下载即可，如图：
==本文优点：仅有两个输入，一个是训练数据的路径，一个是测试数据的路径，轻松上手；并且以遥感图像数据为例。另外github将会整体上传源码哦~
作者：huhu_xq
