机器学习实战(01)-人工智能概要

1 发展历程

20世纪50年代:人工智能概念诞生

• 1956年,“人工智能”这个术语由麦卡锡在达特茅斯会议上首次提出
• 主要研究逻辑和推理,以及如何在机器上模拟人类智能

20世纪60年代:知识表达期

• 开始研究知识表达,使用谓词逻辑来表达知识
• 开发可以解题的专家系统,例如Dendral专家系统

20世纪70年代:知识库期

• 研究汇集知识到知识库,并开发程序利用知识库做推理
• 出现视觉、语音、运动控制等领域的专家系统

20世纪80年代:专家系统盛行期

• 专家系统成为人工智能的主流应用,应用于医疗、工程等领域
• 持续完善知识表达与推理系统

20世纪90年代:统计学习和深度学习兴起

• 机器学习成为主流,神经网络和深度学习理论进展显著
• 1997年,深蓝击败国际象棋世界冠军卡斯帕罗夫

21世纪:深度学习和人工智能应用爆发期

• 深度学习技术不断成熟,语音、图像、自然语言处理取得进展
• AlphaGo击败围棋世界冠军,人工智能应用进入爆发期

人工智能发展至今,已经由最初的专注推理转为数据驱动的统计学习与深度学习,并取得了巨大的进步,未来发展潜力巨大。

好的,人工智能主要可以分为以下几个分支:

2 人工智能的主要分支

2.1 机器学习(Machine Learning)

机器学习是人工智能的核心分支之一,它主要是通过算法和统计模型来实现机器对数据特征的自动学习,并对新的输入数据进行预测或决策。常见的机器学习算法有监督学习、无监督学习、半监督学习、强化学习等。

2.2 计算机视觉(Computer Vision)

计算机视觉通过相机、图像传感器和图像处理算法,来模拟人眼对物体进行识别和跟踪的功能。它可以应用于面部识别、医学影像分析、自动驾驶等领域。

2.3 自然语言处理(NLP)

自然语言处理让机器解析、理解人类的语言。它的应用有机器翻译、语音识别、信息检索等,是智能助手、chatbot的关键技术。

2.4 机器人(Robotics)

机器人技术研究如何模拟人类的行为能力,分为运算能力、感知能力、决策能力、执行能力等。它广泛应用于工业、服务、家居、军事等领域。

2.5 知识表示与推理(KR&R)

知识表示与推理关注如何用计算机来表示世界知识,并模拟人类经验进行推理。它可用于专家系统、知识管理、智能助手等应用。

以上是人工智能的主要研究方向,它们相辅相成,共同推动着人工智能技术的发展。不同方向都有自己的独特侧重点和应用领域。

3 机器学习是什么

使机器通过算法和统计模型对数据进行学习，并对新的数据做出预测或决策。

简单来说,机器学习就是让计算机自己通过数据去“学习”,而不需要人工进行明确的编程。机器学习的基本思想是构建一个可以从数据中 generalization(归纳总结)知识的系统。

机器学习主要可以分为以下三类:

1. 监督学习(Supervised Learning):给机器提供大量带有正确答案(标签)的数据,使其通过这些样本数据去学习一个预测模型,然后对新数据做出预测。例如分类和回归。

2. 无监督学习(Unsupervised Learning):不提供正确答案,让机器自己通过探索数据的内在结构来进行学习。例如聚类和降维。

3. 强化学习(Reinforcement Learning):通过让机器与环境进行交互,提供反馈的方式让机器学习最优解。例如机器人。

机器学习算法包括支持向量机、神经网络、贝叶斯算法、集成学习等。它广泛应用于图像识别、自然语言处理、预测分析等领域。随着算法和算力的进步,机器学习正在推动人工智能的发展。

4 机器学习的工作流程

1.获取数据
2.数据基本处理
3.特征工程
4.机器学习(模型训练)
5.模型评估
结果达到要求，上线服务

没有达到要求，重新上面步骤

4.1 获取数据

在数据集中一般：

• 一行数据我们称为一个样本
• 一列数据我们成为一个特征
• 有些数据有目标值 (标签值)，有些数据没有目标值(如上表中，电影类型就是这个数据集的目标值

数据类型构成

数据类型一：特征值+目标值 (目标值是连续的和离散的)

数据类型二：只有特征值，没有目标值

数据分割

机器学习一般的数据集会划分为两个部分:

• 训练数据

  用于训练，构建模型

• 测试数据

  在模型检验时使用，用于评估模型是否有效

划分比例：

• 训练集: 70% 80% 75%
• 测试集: 30% 20% 25%

4.2 数据基本处理

即对故据进行缺失值、去除异常值等处理。

4.3 特征工程(Feature Engineering)

使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。

意义：会直接影响机器学习的效果。

意义

吴恩达说：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

内容

特征提取：将任意数据 (如文本或图像) 转换为可用于机器学习的数字特征
特征预处理：通过一些转换函数，将特征数据转换成更加适合算法模型的特征数据过程

特征降维：在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程。