计算机网络原理与实践ppt,从理论到实战,微软人工智能系统课程分享(附PPT)
今天分享一门来自微软的最新课程，中文名称为人工智能系统，主要讲解支持人工智能的计算机系统设计，对应的英文课程名称为System for AI。
近年来人工智能特别是深度学习技术得到了飞速发展，这背后离不开计算机硬件和软件系统的不断进步。在可见的未来，人工智能技术的发展仍将依赖于计算机系统和人工智能相结合的共同创新模式。需要注意的是，计算机系统现在正以更大的规模和更高的复杂性来赋能于人工智能，这背后不仅需要更多的系统上的创新，更需要系统性的思维和方法论。与此同时，人工智能也反过来为设计复杂系统提供支持。
人工智能系统课程设立目的
本课程主要为本科生高年级和研究生设计，帮助学生：完整的了解支持深度学习的计算机系统架构，并通过实际的问题，来学习深度学习完整生命周期下的系统设计。
介绍前沿的系统和人工智能相结合的研究工作，包括AI for Systems and Systems for AI，以帮助高年级的本科生和研究生更好的寻找和定义有意义的研究问题
从系统研究的角度出发设计实验课程。通过操作和应用主流和最新的框架、平台和工具来鼓励学生动手实现和优化系统模块，以提高解决实际问题的能力，而不仅仅是了解工具使用。
先修课程: C/C++/Python, 计算机体系结构，算法导论
人工智能系统课程的设计与特点
课程主要包括以下三大模块：第一部分，是人工智能的基础知识和人工智能系统的全栈概述；以及深度学习系统的系统性设计和方法学。
第二部分，为高级课程，包括最前沿的系统和人工智能交叉的研究领域。
第三部分，是与之配套的实验课程，包括最主流的框架、平台和工具，以及一系列的实验项目。
第一部分的内容将集中在基础知识，而其他两部分的内容将随着学术界和工业界的技术进步而动态调整。后两部分的内容将以模块化的形式组织，以利于调整或与其他CS的课程(比如编译原理等)相结合，作为高级讲义或者实习项目。
课程资料便捷下载
为了让大家更快速便捷地开始学习，我们提前打包好了课程PPT，通过以下方式获取
Python时代与机器学习
从Python到机器学习，从机器学习到深度学习，从深度学习到自然语言处理
137篇原创内容
公众号
▲打开名片，关注后回复「AI2021」
人工智能系统课程大纲
课程部分
基础课程课程编号讲义名称备注
1课程介绍课程概述和系统/AI基础
2人工智能系统概述人工智能系统发展历史，神经网络基础，人工智能系统基础
3深度神经网络计算框架基础反向传播和自动求导，张量，有向无环图，执行图
论文和系统：PyTorch, TensorFlow
4矩阵运算与计算机体系结构矩阵运算，CPU/SIMD, GPGPU, ASIC/TPU
论文和系统：Blas, TPU
5分布式训练算法数据并行，模型并行，分布式SGD
论文和系统：PipeDream
6分布式训练系统MPI, parameter servers, all-reduce, RDMA
论文和系统: Horovod
7异构计算集群调度与资源管理系统集群上运行DNN任务：容器，资源分配，调度
论文和系统：Kubeflow, OpenPAI, Gandiva, HiveD
8深度学习推导系统效率，延迟，吞吐量，部署
论文和系统：TensorRT, TensorflowLite, ONNX
高阶课程课程编号讲义名称备注
9计算图的编译与优化IR，子图模式匹配，矩阵乘和内存优化
论文和系统：XLA, MLIR, TVM, NNFusion
10神经网络的压缩与稀疏化优化模型压缩，稀疏化，剪枝
11自动机器学习系统超参调优，神经网络结构搜索(NAS)
论文和系统：Hyperband, SMAC, ENAX, AutoKeras, NNI
12强化学习系统RL理论，RL系统
论文和系统：AC3, RLlib, AlphaZero
13安全与隐私联邦学习，安全，隐私
论文和系统：DeepFake
14利用人工智能来优化计算机系统问题AI用于传统系统问题，AI用于系统算法
论文和系统：Learned Indexes, Learned query path
实验部分
基础实验实验编号实验名称备注
实验 1框架及工具入门示例
实验 2定制一个新的张量运算
实验 3CUDA实现和优化
实验 4AllReduce的实现或优化
实验 5配置Container来进行云上训练或推理准备
高阶实验实验 6学习使用调度管理系统
实验 7分布式训练任务练习
实验 8自动机器学习系统练习
实验 9强化学习系统练习
课程资料便捷下载
为了让大家更快速便捷地开始学习，我们提前打包好了课程PPT，通过以下方式获取
NewBeeNLP
永远有料，永远有趣
139篇原创内容
公众号
▲打开名片，关注后回复「AI2021」