学习笔记-0-SVM and ANN

详细内容请关注微信公众号：运筹优化与数据科学

ID: pomelo_tree_opt

---

方老师的课，Shu-Cherng Fang, North Carolina State University

Supervised Machine Learning: 

• Support Vector Machines (SVM)

• Neural Networks (NN)

---

System analytics vs. Data analytics

• Data analytics更强调是从data到information / knowledge的过程

• System analytics也有data analytics的过程，但是更侧重decision-making.

  System analytics 是给系统工程，管理系统等专业的，要有“系统”的概念，尤其是偏“工程”相关的专业，工业工程、系统工程等。

---

AI的三个基本步骤

data mining --> machine learning --> analytics

Computers examine data to extract embedded information (data mining) to form useful knowledge (machine learning) for right decision making (analytics)

---

AI的三个基本分类

• (1) 有监督的学习，主要是分类和预测，主流的有支持向量机和人工神经网络

• (2) 无监督的学习，主要是聚类和特征工程，相关的内容有similarity learning and spare solutions. Feature的东西，feature往往是越少越好，用较少的特征来描述问题

• (3) 强化学习，reinforcement learning, 首先强调的是动态环境，dynamic environment, 因为环境在变，所以相比之下data的属性没有那么强，更强调动态过程，“且战且走”，相关的内容有动态规划、马尔可夫决策过程、强化学习。

---

Machine learning vs. optimization

Machine learning的问题往往要么是最小化损失函数，要么是最大化一些回报函数

Many machine learning problems are formulated as

• minimization of some loss function that measures discrepancy between the predictions of the model being trained and the actual problem instances, 

• maximation of some reward function that affirms an expected decision.

两者的一个重要区别是

• Optimization是在seen examples上做文章，做generalization, 是希望“当前做到最好”

• Machine learning更关心的是在unseen samples上的表现，做泛化时往往“留有余地”，因为目标是“以后做到最好的可能性最大”

---

Research并不神圣，其实就是要知道事情的来龙去脉，要知道它可以怎么做，做出来可以是什么样子。读paper时理解不了，往往并不是作者比我们聪明，或者说我们自己的知识太差，而是我们不知道应该怎么看待它，怎么去欣赏或辨析，怎么去appreciate.

Data science更多的是engineering的事情，要强调动手去实现、去练习。大部分都是engineering solution, 而不是mathematical solution.

动手就需要工具，Matlab, Python, Java, Cplex, Gurobi, etc. 工学院的研究生，“谋生的工具”，“吃饭的家伙”