学习笔记：热身课 | 入行 AI，选个脚踏实地的岗位

学习笔记：热身课 | 入行 AI，选个脚踏实地的岗位

目录

• 引子
• 做算法
  • 日常工作
  • 必备能力
    • 快速、大量英文论文阅读能力
    • 学术实践能力
• 做工程
  • 日常工作
  • 本质是程序员
  • 程序员的基本素质：编码能力+基础算法
  • “机器学习”需要学到什么程度
    • 算法
    • 数据
    • 模型验证
• 做数据（数据标注）
  • 数据标注重要性
  • 人工标注必要性
  • 人工智能的“勤行”
    • 什么叫“标注”
    • 数据标注的日常工作
    • 数据标注的难点
    • 数据标注的潜力
    • 数据标注的职业发展
• 认清形势，脚踏实地
• 小公司的AI之路

0.引子

AI技术人员分为算法、工程、数据三种角色。

1.做算法

1.1日常工作

读论文&实现之。

1.2必备能力

1.2.1快速、大量英文论文阅读能力

1.2.2学术实践能力

读懂论文、回溯学习、数学能力、学术论述与产品、业务结合的能力

2.做工程

2.1日常工作

他们使用别人开发的框架和工具，运行已有算法，训练业务数据，获得工作模型。其间可能需要一些处理数据、选取特征或者调节参数的手段，不过一般都有据可循，并不需要自己去发明一个XXXX。
简言之，用已知有效的方法来解决实际问题

2.2本质是程序员

2.3程序员的基本素质：编码能力+基础算法

2.4“机器学习”需要学到什么程度

2.4.1算法

【1】简单使用：了解某个算法基本原理，应用领域，功能和局限。

【2】模型调优：对所采用算法和对应模型的数学公式有所了解。

【3】运行效率优化：对模型本身的数学推导过程和模型最优化方法有所掌握，对于各种最优化方法的特点、资源占用及消耗情况有所了解。

2.4.2数据

【1】特征选取：从业务角度区分输入数据包含的特征，并认识到这些特征对结果的贡献。

【2】向量空间模型（VSM）构建：了解如何将自然语言、图片等人类日常使用的信息转化成算法可以运算的数据。

【3】数据清洗和处理：对直接的业务数据进行筛选并转换为模型可处理形式。

2.4.3模型验证

为了解答这些问题，就需要掌握度量模型质量的方法。为此，需要做到：

i） 了解 bias，overfitting 等基本概念，及针对这些情况的基本改进方法。

ii） 了解各种模型度量指标（e.g. Accuracy, Precision,Recall, F1Score……）的计算方法和含义，及其对模型质量的影响。

iii) 能够构建训练集、测试集，并进行交叉验证。

iv) 能够运用多种不同的验证方法（e.g. 2-Fold cross-validation,K-Fold cross-validation, Leave-One-Out cross-validation……）来适应不同的数据集。

3.做数据

3.1数据标注重要性

现阶段而言，数据远比算法重要。

3.2人工标注必要性

对人类真正有用的模型，还是需要人工标注的训练数据。

人工标注数据仍然是 AI 落地的必要和主流。

3.3人工智能的“勤行”

3.3.1什么叫“标注”

标注就是将原始数据内全部或者部分内容，按照业务需求打上定义好的标签。

3.3.2数据标注的日常工作

数据标注的日常工作就是给各种各样的数据（文本、图像、视频、音频等）打上标签。

3.3.3数据标注的难点

它的难点在于数据的整体一致性，以及与业务的集合。

3.3.4数据标注的潜力

数据对模型的影响远胜于算法。

算法工程师不是刚需，而数据标注这个人工智能领域的“勤行”，人工智能蓝领，一定是刚需！

3.3.5数据标注的职业发展

建议的数据标注职业提升路径：经验+业务+管理。

大致步骤为：

通过实践积累数据标注的工作经验
深入理解业务需求并将其体现到数据的标注结果中
管理标注团队达到高效的标注结果与业务变更 align

4.认清形势，脚踏实地

认清市场当前的需求，了解不同层次人才定位，并结合自己实际寻找一条可行之路的人太少。

好高骛远只会虚掷光阴，脚踏实地才能实现理想。

5.小公司的AI之路

小公司用 AI，先定好 KPI 再招人。