Python学习记录 机器学习

机器学习

什么是机器学习

机器学习属于人工智能的一个类目，计算机会通过对一些数据进行学习提取出特点，然后对另一些数据进行预测

人工智能、机器学习、深度学习的联系和区别

深度学习是实现机器学习的方法
机器学习是实现人能智能的方式
人工智能是机器模拟人类思考的方式

机器学习算法和传统基于规则的区别

基于规则的算法使用显性来解决问题
规则可以背人工进行明确

机器学习是从数据中学习找到规律
规则是由机器自己找到的

基于规则的方法：程序怎么写机器就怎么做
机器学习是机器后天学习的能力，数据是机器学习的关键

机器学习是否完全不需要人工干预

机器学习在具体选取的模型训练等还是需要人为进行参与调试等

机器学习常见术语

机器学习的目的

从样本内的数据推测样本外的数据，通过对样本内特征的总结来推测整体的特征

机器学习的四元素

数据（Data）任务（Task）性能度量（Quality Metric）模型（Model）
以具体类型划分有非结构化和结构化，以数据表达形式来分有原始数据和加工数据，以数据统计形状划分有样本内数据和样本外数据
非结构化数据：比如图片啊，声音啊
结构化数据：机器学习主要用的就是结构化数据

非结构化数据可以转为结构化数据吗？

可以转换，比如使用imread可以将图片用RGB像素表示出来并排序，让计算机可以接受这些数据

在计算机系统中，通常经验E式以数据D的形式存在，而机器学习就是给定不同任务T从数据中产生模型M，模型M的好坏就用性能度量P来评估

机器训练过程的分类

分类看数据是否带标记

监督学习（带标记）

标记作为预期的效果，不断的修正机器的预测结果
在监督学习中，数据 = （特征，标签）
而其主要的任务是分类和回归
常见的算法有：分类算法、回归算法、逻辑回归等

根据标签的特点来分类

分为回归问题和分类问题

回归问题

标签是联系的，比如天气情况和房价

分类问题

标签是没有联系的，比如垃圾邮件的检测、客户流失的预测

无监督学习（不带标记）

机器从无标记的数据中探索并推断出潜在的联系
分为聚类和降维
具体案例还未学习

聚类算法

事先不知道数据的分类，智能通过分析样本在特征空间的分布
基于密度或者统计学的概率模型，把不同的数据分开，把相似的数据聚为一类

降维算法

将数据的维度降低

半监督学习（部分带标记）

介于监督学习和无监督学习之间
详细的见https://blog.csdn.net/qq_48314528/article/details/120840519

监督学习和无监督学习使用场景

监督学习的使用场景

1、目标明确
2、需要带标签的使用场景
3、效果容易评估

无监督学习的使用场景

1、目标不明确
2、不需要带标签的数据
3、效果很难评估

机器学习的流程

首先要对数据进行分类，分出训练集和测试集
训练集通过建模器进行训练得到模型
将测试集对训练集对模型进行预测得到一个结果
通过分析这个结果的准确率对模型进行调整，重新进行训练
到最后达到设定的阈值训练结束

样本的选取注意事项

欠拟合

样本过于简单导致训练误差泛化，导致误差大

过拟合

样本特征过于明显，导致泛化能力弱，导致对未知数据的预测能力变差
解决方法：
减少特征数量或者正则化

好的拟合