开发知识点-人工智能-深度学习Tensorflow2.0
Tensorflow
-
-
-
-
- 常用的参数有：
-
- 快捷配置
- 做得多环境 环境问题
-
- 一、 简单 概述
- 二、Tensorflow2版本简介与心得
- 三、深度学习框架安装 Tensorflow2版本安装方法
- 四 、 TF 基础操作
-
-
- So tensor flow = 矩阵 在 这个 大框架 流动
-
-
- 五 深度学习要解决的问题
- 六 深度学习应用领域
-
- #1
- 下载地址 https://www.anaconda.com and https://mirrors.tuna.tsinghua.edu.cn/
-
- 人工智能 应用
-
-
- # 人工智能 历史
-
- # 认清 ML && DL#
-
- # 选择方法 训练模型#
- #数学基础 #
- # AI ^ 深度学习ML ^ 机器学习DL 关联#
- 深度学习(Deep Learning)基础
-
-
- python 接口
-
-
Windows x86-64 executable installer
python-3.8.0-amd64.exe
建议 使用virtualenv实现多个版本Python共存
使用镜像源很简单，用-i指定就行了：
sudo pip install -i https://pypi.douban.com/simple/ saltTesting
卸载 pip uninstall django
常用的参数有：
-p：指定一个版本python环境；通常当你的系统中安装了多个python版本时会用到；默认情况下virtualenv会优先选取它的宿主python环境，即它安装在那个python版本下就会默认选择哪个版本作为默认python隔离环境。
--no-site-packages：不使用系统环境的python安装包，即隔离包中不能使用真实python环境的安装包；当前版本这个选项是默认的。
--system-site-packages：与上面相反，使隔离环境能访问系统环境的python安装包
--distribute：copy一个python环境的分支，默认会安装setup、pip、wheel等基础模块
virtualenv test,使用该命令在指定的路径下创建Python环境，默认与系统环境一致。
如果想要进入该虚拟环境则要进入test/Scripts/文件夹下，运行activate.bat,在Linux下在bin目录下，运行命令为source xx/xx/activate退出命令为deactivate.bat
指定其他Python环境virtualenv -p C:\Python27\python2.exe py2
快捷配置
基于virtualenv的虚拟环境管理工具
pip install virtualenvwrapper-win
安装完成后配置环境变量
把python的安装目录和scripts文件夹加到环境变量的path
做得多环境 环境问题
python -m pip install --upgrade pip
pip install tf （ py2.py3 版本共存 ）
python3 -m pip install jupyter
python3 -m pip install np
来自TF am I 这本书
执行计算 OP 算子/节点 operation eg:add mul
运算节点 GPU分布式 计算分发
0-d 3 5
1-d (100,)
2-d 256x256x3 w h c
Anaconda
Jupyter Notebook --ip=127.0.0.1
import numpy as np
import tensorflow as tf
TF Learn tf.contrib.learn 同 scikit-learn 的 fit函数
TF Slim tf.contrib.slim 轻量级浓缩高级接口版本 定义/训练/评估复杂的网络结构模型
简单参考
- keras 、
- Tensorlayer
- Theano Python 库,用来定义、优化和模拟数学表达式计算,用于高效的解决多维数组的计算问题
- Computational Network Toolkit (CNTK) 是微软出品的开源深度学习工具包。
https://www.bilibili.com/video/BV1VA41137H2?p=1
一、 简单 概述
算法 实现
项目 怎么构建 模型
深度学习 ----神经网络 架构
重点 核心
机器视觉 卷积神经网络
自然语言处理 递归神经网络
真实数据集
展开 建模 分析
二、Tensorflow2版本简介与心得
数学基础 和 开发 能力 不是很强 可以利用 框架
框架 提供了 各种API 可调用
我们要做 设计 网络模型
跟 求解 相关 （反向传播 求梯度） 交给框架
框架选取
更新程度15年 出 Google的
论文 算法 开源很实用
可以学习 多个框架 取长补短
二次开发 熟悉底层 好复现
session 初始化 执行结果
简化 建模过程
三、深度学习框架安装 Tensorflow2版本安装方法
https://www.anaconda.com/products/individual-b
安装 Anaconda 直接安装
- 如果出现问题 就用这两种方法 试一试
一、
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
pip config unset global.index-url
镜像消除
阿里云 http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
二、
pip install tensorflow==x.x.0
pip install tensorflow-gpu
pip.exe install tensorflow -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
https://tensorflow.google.cn/install/source_windows
https://support.microsoft.com/zh-cn/help/2977003/the-latest-supported-visual-c-downloads
cudart64 报错
https://www.dll-files.com/download/527365cb86fd76a9a7b7e9c75b4842d3/cudart64_110.dll.html?c=VTJuUXgvTENydDYzektxWENSbTZXUT09
https://pypi.org/project/tensorflow-gpu/
四 、 TF 基础操作
函数 api 使用方法
边用边查
创建 矩阵类型 x
tf.加法减法乘法除法
直接 执行出 结果 动态图 形式
构建 一个 19 36 矩阵
张量 ----- 矩阵 -------Tensor
（机器学习 所有的数据 都是 矩阵 ）
对矩阵 做 操作 数学公式 变换
So tensor flow = 矩阵 在 这个 大框架 流动
值
向量
矩阵
三维数据 eg H W C 三维 颜色
多维数据 视频 多个 图像 融合在一起
… 等等
可以跟 numpy做 交互
得到数组
numpy 创建 计算
交互 转换 2.0 特性
案例
数据 处理流程
建模
----基于 技术栈 （框架） 会用就行
基于 算法 （PPT，资料） 网络模型 建模 流程
五 深度学习要解决的问题
神经网络 之前 熟悉一下 人工智能 这个 圈子
AI
计算机视觉 自然语言处理 数据挖掘 ML机器学习（DL深度学习）
DL深度学习 神经网络
特征提取 方法 √ 算法×
不是 拼 算法
数据层面 —》食材 特征
拿到数据 --> 数据处理 —> 人为 分析 特征 提取data 选择 和 组合
数据变换 更有价值输入 ------------机器学习 偏人工 （各种任务 实现了 数学公式 ）
网络 选择 合适特征 组合 分解 融合
---------深度学习
支持向量机 逻辑回归 随机森林 调参数 —》 逼近上限 不是 决定上限
文本 图像 ？ 特征选择？？？？
X --》 传统 回归 当中 找特征??? 权重参数
特征 对 结果影响 更难
神经网络 黑盒子
原始数据 进去 后 这种 变换操作
自动特征提取 ---->计算机 能 识别 的 特征
自己学习
六 深度学习应用领域
讲 神经网络 之前 看 应用场景
无人驾驶
小学 奥数 追击问题
检测识别
计算机视觉
自然语言处理 用的 比较多
传统 数据挖掘 任务 用的 不多
视觉 输出卷 模型
语言 文本 模型
识别 人脸关键点 + 视觉 变换
计算量大 移动端 支持不友好 速度问题
逻辑回归 随机森林 参数 撑死 几十个
神经网络 可以 成百万 上千万
可以 自己 取合适的 特征
优化算法 调参 也比较慢
医学 检测癌细胞
基因组合 变异
人脸 像素点 计算
变脸 = 变点
超分辨率 重构
上色
神经网络 变形体 特别多
深度学习 崛起 历史
2009 年
计算机视觉
手里面 没有数据
全美 数据集合
收集标记 图像
人脸 68个 点 人脸的 准确位置
图像分类 库
imagenet 图像分类 比赛
2012年 ALEX
深度学习 神经网络 完成
第二名 集成算法
各大会议 论文
比赛
文章
公司 项目
数据生成
数值数据 文本 数据
图像
人脸标注
翻转 镜面 平移
数据量
#1
简介
TensorFlow
一个基于数据流编程（dataflow programming）的符号数学系统，
被广泛应用于各类机器学习（machine learning）算法的编程实现，
其前身是谷歌的神经网络算法库DistBelief。
Tensorflow拥有多层级结构，
可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，
被广泛应用于谷歌内部的产品开发和各领域的科学研究 。
TensorFlow由谷歌人工智能团队谷歌大脑（Google Brain）开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口
（Application Programming Interface, API） [2] 。
自2015年11月9日起，
TensorFlow依据阿帕奇授权协议（Apache 2.0 open source license）开放源代码 。
TensorFlow即可以支持CPU，也可以支持CPU+GPU。
前者的环境需求简单，后者需要额外的支持。
TensorFlow是基于VC++2015开发的，
所以需要下载安装VisualC++ Redistributable for Visual Studio 2015 来获取MSVCP140.DLL的支持。
下载并安装anaconda
下载并安装Python编译器，以3.7X为例。
如果要安装GPU版本（有N卡，即NVIDIA显卡），需要以下额外环境：
0）有支持CUDA计算能力3.0或更高版本的NVIDIAGPU卡。
1）下载安装CUDA Toolkit 8.0，并确保其路径添加到PATH环境变量里；
2）下载安装cuDNN v6或v6.1，并确保其路径添加到PATH环境变量里；
3）CUDA8.0相关的NVIDIA驱动。
1.检查Anaconda是否成功安装：conda --version
2.检测目前安装了哪些环境：conda info --envs
3.检查目前有哪些版本的python可以安装：
conda search --full-name python
4.安装不同版本的python：
conda create --name tensorflow python=3.7
– 错误问题解决
下载地址 https://www.anaconda.com and https://mirrors.tuna.tsinghua.edu.cn/
https://www.anaconda.com/products/individual
人工智能 应用
# 人工智能 历史
# 认清 ML && DL#
# 选择方法 训练模型#
- 正则化
- 回归
- 神经网络
- 聚类
- 决策树
- 深度学习
- 贝叶斯网络
- 维度下降
- 判断 数据集样本 ----->选择方法 ---->训练模型
#数学基础 #
# AI ^ 深度学习ML ^ 机器学习DL 关联#
深度学习(Deep Learning)基础
线性模型
DNN深度神经网络
Caffe，全称Convolutional Architecture for Fast Feature Embedding
兼具表达性、速度和思维模块化的深度学习框架
theano
MXNet 是亚马逊（Amazon）选择的深度学习库
PyTorch是使用GPU和CPU优化的深度学习张量库 reasearch
caffe2 product
Deeplearning4j —java
Keras是一个由Python编写的开源人工神经网络库
python 接口
