1.1 程序设计基本方法
计算机发展历史上最重要的预测法则 摩尔定律：单位面积集成电路上可容纳晶体管数量约2年翻倍 cpu/gpu、内存、硬盘、电子产品价格等都遵循此定律
50年来计算机是唯一一个指数发展的领域
源代码、目标代码（机器代码）
编译、解释
静态语言、脚本语言
静态语言编译器一次性生成目标代码，优化更冲份，程序运行速度更快
脚本语言 执行程序时需要源代码，维护更灵活
程序的基本设计方法IPO
I：input 文件输入、网络输入、控制台输入、交互界面输入、内部参数输入
P：process 处理
O:output 控制台输出、图形输出、文件输出、网络输出、操作系统内部输出
6个步骤：
－分析问题：分析问题的计算部分，想清楚
－划分边界：划分问题的功能边界，规划IPO
－设计算法：设计问题的求解算法，关注算法
－编程
－调试测试
－升级维护
3个精简步骤：确定IPO、编程、调试运行
计算思维（编程体现了一种抽象交互关系、自动化执行的思维模式）、逻辑思维、实证思维
1.2 Python开发环境配置
python 蟒蛇
psf 拥有者，开放、开源精神
Guido van Rossum创立
2002年 2.x
2008年 3.x
python3不兼容python2
交互式、文件式
linux自带python2和python3，无需安装，不过没有pip，要安装apt install python3-pip
1.3 实例1：温度转换
实例1：温度转换
需求：摄氏度与华氏度相互转换
|
1
2
3
4
5
6
7
8
9
10
|
#TempConvert.py
TempStr = input( "请输入带有符号的温度值: " )
if TempStr[-1] in [ 'F' , 'f' ]:
C = ( eval (TempStr[0:-1]) - 32) /1 .8
print( "转换后的温度是{:.2f}C" . format (C))
elif TempStr[-1] in [ 'C' , 'c' ]:
F = 1.8* eval (TempStr[0:-1]) + 32
print( "转换后的温度是{:.2f}F" . format (F))
else :
print( "输入格式错误" )
|
1.4 Python程序语法元素分析
程序的格式框架：
代码高亮 是辅助
缩进是语法要求 一般4个空格或者1个tab 表达代码间包含和层次关系的唯一手段
注释：单行注释 # 多行注释 ”’ ”’
命名：给变量关联标识符的过程
命名大小写敏感、首字符不能是数字、不与保留字相同
保留字：被编程语言内部定义并保留使用的标识符 也大小写敏感 33个
数据类型
字符串
用‘’或“”
正向递增序号、反向递减序号 正向0开始编号
索引： 可以使用[M]索引其中单个字符
切片：可以使用[M:N]返回其中一段子串,从第M到第N-1个字符
数字类型：整数、浮点数
列表：表示0到多个数据组成的有序序列，采用,分隔各元素，使用in判断一个元素是否在列表中
= 赋值主语句
分支语句if elif else构成
eval 评估函数 去除参数最外侧引号并执行余下语句的函数
垂直输出hello world
for i in “Hello World”:
print(i)
输出
x = input()
print(eval(x)**0,eval(x)**1,eval(x)**2,eval(x)**3,eval(x)**4,eval(x)**5)
2. Python基本图形绘制
2.1 深入理解Python语言
计算机演进过程：
1946-1981 计算机系统结构时代 计算能力问题 1981年个人pc诞生
1981-2008 网络和视窗时代 交互问题 2008 Android诞生 标志pc转向移动
2008-2016 复杂信息系统时代 数据问题 2016年alpha go打败人类
2017- 人工智能时代 人类的问题
新计算时代 过度到人工智能时代的中间时代
编程语言的初心
不完全统计600多中语言 常用的也就那么20来种
python已经在tiobe排行超过C++跃居第三
Python语言是通用语言、脚本语言、开源语言、跨平台语言、多模型语言
–强制可读性
–较少的底层语法元素
–多种编程方式
–支持中文字符
–C代码量的10% 语法简洁 *10
–13万第三方库 生态高产 *10
–快速增长的计算生态 每年2万
–避免重复造轮子
–开放共享
–跨操作系统平台
人生苦短 我学Python
–C/C++：C归C Python归Python
–Java：针对特定开发和岗位需求
–HTML/CSS/JS:不可替代的前端技术，全栈能力
-R/GO/Matlab等：特定领域
Python是最高产的程序设计语言
–掌握抽象并求解计算问题综合能力的语言
-了解产业界解决复杂计算问题方法的语言
-享受利用编程将创新变为实现乐趣的语言
工具决定思维：关注工具变革的力量！
python具有最庞大的生态库，是唯一的超级语言，前进步伐不可阻挡
2.2 实例2：Python蟒蛇绘制
2.3 模块1： turtle库的使用
turtle库基本介绍
import 保留字 引入turtle绘图库 海龟绘图体系
turtle库是turtle绘图体系的Python实现 1969年诞生，主要用于程序设计入门 Python的标准库之一 入门级的图形绘制函数库
Python计算生态=标准库+第三方库
库library，包package，模块module ,统称模块
有一只海龟，其实在窗体正中心，在画布上游走，走过的轨迹绘制的图形，海龟由程序控制，可以变换颜色宽度
turtle绘图窗体布局
turtle的一个画布空间 最小单位是像素
屏幕坐标系：屏幕左上角为0 0
turtle.setup(width,height,startx,starty)后两个可选 默认屏幕中央 并不是必须的 用来设置窗体大小和窗体左上角与屏幕左上角的相对位置
turtle空间坐标系：
绝对坐标 海龟在屏幕中央 记为（0，0）坐标原点 turtle.goto(x,y)
海龟坐标 以海归的视角turtle.fd(d),turtle.bk(d),turtle.circle(r,angle) 左侧r为止为中心行走angle角度的弧线
turtle角度坐标体系
绝对角度 改变海龟前进方向 turtle.seth(angle)
海龟角度 turtle.left(angle),turtle.right(angle)
RGB色彩体系 0-255整数或 0-1 的小数
默认采用小数制，可切换为整数制 turtle.colormode(mode) mode为1.0或255
2.4 turtle语法元素分析
库引用
扩充Python程序功能的方式 使用import保留字完成，采用.()的编码风格
from turtle import* 缺点 函数重名 适用于短的程序
from turtle import函数名
可以as保留字起别名 import turtle as t –推荐使用
画笔控制函数
画笔操作后一直有效，一般成对出现
-turtle.penup() 别名turtle.pu() 抬起画笔，海龟在飞行
-turtle.pendown() 别名turtle.pd() 落下画笔，海龟在爬行
画笔设置后一直有效，直到下次设置
-turtle.pensize(width) 别名turtle.width(width) 画笔宽度，海龟腰围
-turtle.pencolor(color) color为颜色字符串或rgb值 画笔颜色，海龟在涂装
-颜色字符串 turtle.pencolor(“purple”)
-rgb小数 turtle.pencolor(0.63，0.13，0.94)
-rgb元组值 turtle.pencolor((0.63，0.13，0.94))
运动控制函数
控制海龟行进：走直线&走曲线
-turtle.forward(d) 别名 turtle.fd(d) 向前行进，海龟走直线 d可以为负数
-turtle.circle(r,extent=none) 根据半径r绘制extent角度的弧线 r默认圆心在海龟左侧r距离的位置 -extent绘制角度，默认是360度
方向控制函数
turtle.setheading() 别名turtle.seth() 控制海龟面对方向：绝对角度 海龟角度
turtle.left() turtle.right()
循环语句
for in 保留字
range() 产生循环计算序列 range(N) range(M,N) 0到N-1 M到N-1
turtle.done() 运行结束 不退出 需要手工退出 去掉就自动退出了
3. 基本数据类型
3.1 数字类型及其操作
整数类型：可正可负 取值无限 pow(x,y) x的y次方
4种进制表示：10进制、二进制0b或0B开头 0b010、8进制0o或0O、16进制0x或0X
浮点型 10的308次方 精度达到：10的-16次方小数 即53位二进制 与数学中实数一致
不确定尾数 （浮点数运算）不是bug 53位二进制表示浮点数的小数部分 约10的-16次方 计算机中的二进制和十进制不完全对等
二进制表示小数，可以无限接近，但不完全相同
0.1+0.2 结果接近0.3
0.1+0.2 == 0.3 false 用round(x,d)处理不确定尾数 不确定位数一般发生在10的-16次方左右
科学计数法 e或E作为幂的符号，10为基数 e 4.3e-3
复数类型 z.real z.imag 获得实部和虚部
数值运算操作符
x+y x-y x*y x/y x//y +x -y x%y x**y ps:x/y 是浮点数 别的语言中不是这样
二元操作符有对应的增强赋值操作符
x op =y x+=y x-=y x*=y x/=y x//=y x%=y x**=y
类型间可以混合运算 结果生成为“最宽”的类型 隐式转换 整数->浮点数->复数 如123+4.0=127.0
数值运算函数
abs(x) 绝对值
divmod(x,y) 商余 divmod(10,3) 结果是二元数(3,1)
pow(x,y[,z]) 幂余
round(x[,d]) 四舍五入
max(x1,x2,..)
min(x1,x2,..)
int(x) 显示类型转换， 变为整数，舍弃小数
float(x) 转浮点数
complex(x) 转复数
3.2 实例3：天天向上的力量
问题分析：持续的价值 一年365天每天进步1%，累计进步多少？相反，每天退步1%，累计剩下多少？如果三天打渔二天晒网呢？
每天进步或退步0.1%
如果是0.5% 1%呢
如果是工作日的力量？工作日进步1%，休息日退步1%
工作日的努力要达到多少才能和每天努力1%一样？
3.3 字符串类型及操作
四种字符串表示方法：
由一对单引号或双引号表示单行字符串
由一对三引号或三双引号表示多行字符串
三单引号表示字符串，程序啥都不执行，相当于注释，python实际没有真正提供多行注释
[M:N:K]根据步长对字符串切片 M和N均可以缺失，表示至开头或至结尾
[::-1]倒序
转义符\ \b 回退 \n 换行 \r 回车光标移动到行首
字符串操作符
x+y 连接两个字符串
n*x或x*n 复制n次字符串x
x in s
字符串处理函数
len(x) 字符串长度 中英文长度都是1
str(x) 强制类型转换为字符串 和eval相反操作
hex(x) 整数x转变为8进制形式
oct(x) 整数x转变为16进制形式
chr(x) 将unicode编码返回其字符形式
ord(x) 上面的反操作
unicode编码 统一字符编码 从0到1114111(0x10FFFF) Python字符串每个字符都是unicode编码
字符串处理方法
8个字符串处理方法
.lower() .upper() 大小写转换
.split(sep=None) 字符串分割，返回一个列表 例：”a,b,c”.split(‘,’)结果是[‘a’, ‘b’, ‘c’]
.count(sub) 字符串sub在其中出现次数
.replace(old,new) 字符串替换
.center(width[,fillchar]) 字符串格式处理，字符串居中 例： ‘python’.center(30,’=’) 结果’============python============’
.strip(chars) 去除字符换两边字符 如：’= python= ‘.strip(‘ =np’)结果’ytho’
.join(iter) 填充字符 如：’,’.join(‘12345′)结果’1,2,3,4,5’
字符串类型的格式化
格式化是对字符串进行格式化表达的方式
.format方法 用法：<模板字符串>.format(<逗号分隔的参数>)
槽 相当于占位信息符，只在字符串中有用
分为2组
前三个参数是一组 默认填充空格左对齐
如： “{:=^20}”.format(“python”) 结果： ‘=======python=======’
如： “{0:,.2f}”.format(12345.6789) 结果 ‘12,345.68’
如：”{0:b} {0:c} {0:d} {0:o} {0:x} {0:X}”.format(425) 结果’110101001 Ʃ 425 651 1a9 1A9′
如： “{0:e} {0:E}{0:f} {0:%}”.format(3.14) 结果 ‘3.140000e+00 3.140000E+003.140000 314.000000%’
3.4 模块2：time库的使用
time库是Python中处理时间的标准库
时间获取
time() 获取当前时间戳，即计算机系统内部时间值，浮点数 1970年1月1日0点0分开始到当前系统以秒为单位的浮点数 如：1537763974.4934046
ctime() 获取当前时间，返回字符串，人类易读 如：’Mon Sep 24 12:41:59 2018′
gmtime() 获取当前时间，struct_time格式，计算机易处理的格式
如：time.struct_time(tm_year=2018, tm_mon=9, tm_mday=24, tm_hour=4, tm_min=42, tm_sec=52, tm_wday=0, tm_yday=267, tm_isdst=0)
时间格式化
strftime()
格式化字符串
striptime()
程序计时
perf_counter()
sleep()
3.5 实例4：文本进度条
问题分析：采用字符串方式打印可以动态变化的文本进度条 能在一行中逐渐变化
刷新的本质：用后打印的字符覆盖之前的字符
print() 默认加换行 print( ，end=””)不换行 \r退格到行首
idle不是主要的运行环境 所以\r功能在idle屏蔽了 用shell执
文本进度条 简单的开始
文本进度条 单行动态刷新
文本进度条 实例完整效果
4.程序的控制结构
4.1 分支结构
单分支结构
if <条件>:
<程序1>
二分支结构
if <条件1>:
<程序1>
else：
<程序2>
紧凑形式：适用于简单表达式的二分支结构
<表达式1> if <条件> else <表达式2>
如：
guess = eval(input())
print(“猜{}了”.format(“对”if guess == 99 else ”错”))
多分支结构
if <条件1>:
<程序2>
elif <条件2>:
<程序3
…
else:
<程序n>
条件判断> >= < <= == !=
条件组合x and y x or y not x
异常处理
try:
程序1
except [NameError]:
程序2
try:
程序1
except:
程序2
else:
程序3
finally:
程序4
4.2 实例5：身体质量指数BMI
问题分析：BMI是身体肥胖程度的刻画（BODY MASS INDEX） BMI=体重(kg)/身高的平方(m)，接收用户信息判断身体肥胖程度
4.3 循环结构
for 遍历循环
for <循环变量> in <遍历结构>：
<语句块>
记数循环
for I in range(5):
print(i）
for I in range(m:n:k):
print(i）
字符串遍历循环
for c in s:
<语句块>
for c in “Python123”:
print(c)
列表遍历循环ls是列表
for item in ls:
<语句块>
for item in [123,”py”,456]:
print(item,end=’,’)
文件遍历循环 fi是文件标识符
for line in fi:
<语句块>
while 无限循环
while <条件>:
<语句>
循环控制保留字break continue
循环扩展：两种循环后面都可以加else分支 else为没有被break退出是执行的，作为正常运行的奖励
4.4 模块3：random库使用
random库是使用随机数的python标准库
计算机没法产生真正的随机数，但是可以使用梅森旋转算法产生伪随机数
使用 import random
random库包括2类函数，常用共8个
基本随机数函数：seed(),random()
括展随机数函数：randint(),getrandbits(),uniform(),randrange(),choice(),shuffle()
随机数种子
seed(a=None) 初始化给定的随机数种子，默认为系统当前时间，例：random.seed(10) #产生种子10对应的序列 0.5714025946899135 0.4288890546751146 ..
random() 生成一个[0.0,1.0)之间的随机小数，例：random.random()
为什么要使用随机数种子呢，因为可以使用相同的随机数种子复现程序的执行情况
randint(a,b) 生成一个[a,b]之间的整数，例：random.randint(10,100)
randrange(m,n[,k]) 生成一个[m,n)之间以k为步长的随机整数,例：random.random(10,100,10)
getrandbits(k) 生成一个k比特长的随机整数
uniform(a,b) 生成一个[a,b]之间的随机小数
choice(seq) 从序列中随机选择一个元素，例：random.choice([1,2,3,4,5,6])
shuffle(seq) 将序列中元素随机排序，返回打乱后的序列，例：s=[1,2,3,4];random.shuffle(s);print(s)
4.4 实例6：圆周率计算
蒙特卡罗方法 工程方法
数学思维
计算思维
time库perf_counter来关注程序性能
据统计，程序80%的时间消耗在不到10%的代码上 有点儿类似28法则
关注循环
5.函数和代码复用
5.1 函数的定义与使用
函数定义
函数是一段具有特定功能可复用的语句
df <函数名>(参数):
<函数体>
return <返回值>
其中参数可以是0个到多个，是占位符
函数不经过调用是不会执行的
函数就是IPO的实现
函数也是一段完整代码的封装
函数的参数传递
可选参数传递：可以为参数指定默认值，变为可选参数，可选参数要放在非可选参数之后
可变参数传递：不确定参数有多少个
参数传递的两个方式
默认是按照位置，可以按照名称方式传递
函数的返回值
return可以返回0个或多个结果
函数可以有返回值也可以没有
可以有return 也可以没有
返回多个值的时候是返回元组类型 用() 元素用逗号分隔
局部变量与全局变量
函数外边的是全局变量，里面是局部变量
局部变量是函数内部的占位符，可能与全局变量重名单不相同
函数运行结束后局部变量被释放
规则1：局部变量与全局变量是不同变量
可以使用global保留字在函数内部使用全局变量
规则2：局部变量如果是组合数据类型且未被创建，等同于全局变量 组合数据类型实际是指针的原因
lambda函数
lambda函数返回函数名作为结果
lambda函数是一种匿名函数，没有名字的函数
lambda函数用于定义一种简单的能够在一行内表示的函数
是一种函数的紧凑表达形式
<函数名> = lambda <参数>：<表达式>
f = lambda x,y : x + y
f(10,15)
谨慎使用lambda函数
用于特定的方法的参数
一般就算是1行代码，也建议用def方式定义
5.2 实例7：七段数码管绘制
问题分析：用turtle绘制数码管样式的时间
5.3 代码复用与函数递归
代码复用
代码抽象化：使用函数等方法对代码赋予更高级别的定义
函数和对象是代码复用的2中主要形式
函数是在代码层面建立了初步抽象
对象有属性和方法，是更高级别的抽象
封装
模块化设计
分而治之：
通过函数或对象封装将程序划分为模块与模块间的表达
主程序、子程序与子程序之间的关系
一般将子程序看作模块，主程序看作模块与模块间的关系
是一种分而治之、分层抽象、体系化的设计思想
紧耦合：两个部分之间交流很多，无法独立存在
松耦合：两个部分之间交流很少，可以独立存在，有各自清晰简单的接口
模块化设计基本思路和原则：模块内部紧耦合，模块之间松耦合
函数递归：函数定义中调用自身的方式
两个关键特征
链条：计算过程存在递归链条
基例：存在一个或者多个不需要再次递归的基例 递归的最末段
类似数学归纳法，先证明第一个取值命题成立，然后第n个取值命题成立，第n+1取值命题也成立，那么命题成立
递归可以理解为数学归纳法思维在编程中的体现
函数递归的调用
函数+分支语句 ：基例和链条分别编写代码
3个小栗子
5.4 模块4：Pyinstaller库的使用
是第三方库 需要安装
pip工具
shell中使用使用 pyinstaller –F <文件名.py>
5.5 实例8：科赫雪花小包裹
分形几何
6. 组合数据类型
6.1 集合类型及操作
集合是多个元素的无序组合，每个元素唯一，不存在相同元素
集合元素不可更改，不能是可变数据类型，比如列表类型就不能作为元素，整数浮点数复数字符串元组类型等都是不可变数据类型
用{}表示，元素间用逗号分隔
建立集合用{}或者set()
例如：B = set(“pypy123”) 结果{‘1’,’2’,’3’,’p’,’y’}
建立空集合必须用set()
6个集合操作符
S | T 并
S – T 差
S & T 交
S ^ T 补
S <= T、S < T 包含与子集关系
S >= T、S > T
增强操作符
S |= T
S –= T
S &= T
S ^= T
10个集合处理方法
S.add(x) 如果x不在S中，将x元素加入S集合
S.discard(x) 移除S中元素x，如果x不在集合S中，不报错
S.remove(x) 移除S中元素x，如果x不在S中，产生KeyError异常
S.clear() 移除S中所有元素
S.pop() 随机返回S的一个元素，更新S，若S为空产生KeyError异常
S.copy() 返回集合S的一个副本
len(S) 返回个数
x in S 判断S中是否有元素x
x not in S 同上相反
set(x) 将其他类型变量x转变为集合类型
集合类型应用场景
包含关系的比较
数据去重
6.2 序列类型及操作
序列是有先后顺序的一组元素
序列是一维元素向量，元素类型可以不同，类似C语言中的一维数组
元素间由序号引导，通过下标访问序列的特定元素
序列是一个基类类型
一般不直接用序列类型而是使用其衍生类型，比如字符串、元组、列表
序列处理函数与方法
元组类型
元组是一种序列类型，一旦创建就不能被修改
使用()或者tuple()创建,元素间用逗号分隔
可以使用或不适用小括号,比如函数返回多个返回值就是使用没有括号的元组类型,python内部认为是一个值，是一个元组
元组类型继承了序列的所有通用操作
元组类型因为一旦定义不能修改，所以没有特殊操作
列表类型及操作
列表是序列类型的扩展，十分常用
列表是一种序列类型，创建后可以随意修改，长度无限制，元素类型可不同
列表本质是指针，如果通过赋值语句给另外一个变量，那么实际并没有创建一个新列表，可以类似linux的硬链接,[]或者函数list()才是真正创建一个列表，赋值仅仅传递引用
一些例子
一些例子
序列类型应用场景
包含元组列表
元组用于元素不改变的场景，更多用于固定场景 比如函数返回值
列表则更加灵活，是常用的序列类型
最主要作用：表示一组有序数据并进而操作它们
元素遍历 for item in lt
数据保护 利用元组不可修改的特性
6.3 实例9：基本统计值计算
问题分析：给出一组数据，给出概要理解，比如 求和、平均值、方差、中位数…
总个数：len()
求和：for … in
平均值：上2个除
方差：各数据与平均值的平方的和的平均数
中位数：排序，取中间的或者中间2个数平均数
6.4 字典类型及操作
字典类型的定义
映射 是一种键(索引)和值(数据)的对应
用{}或者dict()创建字典，键值对用:表示 {key:value,key2:value2…}
type()可以检测变量的类型
{}可以用来声明空字典，这就是集合类型中定义空集合不能用{}的原因
一些例子
6.5 模块5：jieba库的使用
优秀的中文分词第三方库
由于中文是连续书写的 需要通过特定手段获得单个词语
jieba库提供3种分词模式，最简单只需要掌握一个函数
通过中文词库方式识别确定汉字之间关联概率 概率大的组成词组，形成分词效果
除了分词，用户也可以添加自定义的词组
三种模式
精确模式：把文本精确的切分开，不存在冗余单词 最常用的分词模式
全模式：把文本中所有可能的词语都扫描出来，存在冗余
搜索引擎模式：更加智能，在精确模式的基础上，对长词再次切分，存在冗余，在某些特定场景下使用
6.6 实例10：文本词频统计
问题分析：一篇文章，出现了哪些词？哪些词最多？
中英文各一个程序：分别是哈姆雷特和三国演义
7. 文件和数据格式化
7.1 文件的使用
文件的类型
文本文件、二进制文件 只是展示方式，本质上都是二进制数据
文本文件：由单一特定编码组成的文件，如utf-8编码 由于存在编码，文本文件也被看为一个长字符串
二级制文件：数据间没有统一字符编码，01组成，比如png avi等文件
文件的打开和关闭
打开->操作->关闭 文件存储状态和占用状态转换
文件的打开
<变量名> = open(<文件名>,<打开模式>)
文件句柄
文件路径和名称，使用相对路径或者绝对路径，同一个路径的话就直接文件名，斜杠\是转移字符使用反斜杠/替换,或者\\
打开模式
<变量名>.close 关闭文件
当程序退出的时候，python也会自动关闭文件
文件内容的读取
遍历全文本
文件的逐行处理
文件写入
例子：
7.2 实例11：自动轨迹绘制
问题分析：根据脚本来绘制图形 不是写代码而是写数据绘制轨迹
自动化思维
将数据和功能分离开来
数据驱动
接口化设计
可以扩展
扩展接口设计，增加更多控制接口
扩展功能设计，增加弧形等更多功能
扩展应用需求，发展自动轨迹绘制到动画绘制
7.3 一维数据的格式化
一维数据：由对等关系的有序或无序数据构成，采用线性方式组织，对应列表、集合、数组等概念
二维数据：由多个一维数据组成，是一维数据的组合形式
多维数据：是一维或二维数据在新唯独上扩展形成，比如中国大学排行榜加入时间维度
高维数据：仅利用最基本的二元关系展示数据间的复杂结构，比如字典类型中的key-value形式
操作周期
一维数据的表示
如果数据间有序，使用列表类型
如果数据间无序，使用集合类型
一维数据的存储
一维数据的处理
类似于一个驱动
7.4 二维数据的格式化和处理
二维列表
两层for循环遍历二维列表
csv:comma-separated values 逗号分隔 国际通用 一般.csv为扩展名
每行一个一维数据，无空行
一般的软件都能生成csv格式文件
如果每个元素缺失，逗号要保留
表头可以作为数据存储，也可以令行存储
如果数据中包含逗号，不同的软件有不同的约定，比如转义符或者其他方式
按行存或者按列存都行，一般索引习惯 ls[row][col] 先行后列，按行存
二维数据的处理
读入处理
7.5 模块6：wordcloud库的使用
词云展示的第三方库
wordcloud库把词云当作一个WordCloud对象
wordcloud.WordCloud()代表一个文本对应的词云
可以根据文本中词语出现的频率等参数绘制词云
绘制词云的形状、尺寸、颜色都可以设定
w = wordcloud.WordCloud()
以WordCloud对象为基础
配置参数、加载文本、输出文件
常规方法
w.generate(txt) 向WordCloud对象w中加载文本txt 如：w.generate(“Python and WordCloud”)
w.to_file(filename) 将词云输出为图像文件，.png或.jpg格式 如：w.to_file(“output.png”)
绘制词云的步骤：
setp1：配置对象参数
setp2：加载词云文本
step3：输出词云文件
生成默认400*200的图片
wordcloud干啥了：
a.分隔：以空格为分隔单词
b.统计：单词出现次数并过滤
c.字体：根据统计配置字号
d.布局：颜色环境尺寸
对象参数
width 默认400
height 默认200
min_font_size 最小字号 默认4号
max_font_size 最大字号 根据高度自动调节
font_step 默认1，字体步进间隔
font_path 字体路径，默认None，如：w=wordcloud.WordCloud(font_path=”msyh.ttc”)
max_words 指定词云显示的最大单词数量，默认200 比如词云显示的不那么有力，可以修改这个
stop_words 指定排除单词 如：w=wordcloud.WordCloud(stop_words={“Python”})
background_color 指定背景色 默认黑色
默认显示的矩形效果，使用mask参数可以改变
中文的话需要先用jieba库分词，中文不是空格分隔的
7.6 实例12：政府工作报告词云
常规矩形词云
不规则词云
8. 程序设计方法学
8.1 实例13：体育竞技分析
自顶向下（设计） 分而治之
将一个总问题表达为若干个小问题组成的形式
使用相同的方法进一步分解小问题
解决复杂问题的有效设计方法
自底向上（执行） 模块化集成
逐步组建复杂系统的有效测试方法
分单元测试，逐步组装
8.2 Python程序设计思维
计算思维与程序设计
第三种人类思维特征
逻辑思维：以推理和演绎为特征，以数学为代表，A->B,B->C,A->C
实证思维：以实验和验证为特征，以物理为代表，引力波<-实验
计算思维：以设计和构造为特征，计算机为代表，汉诺塔递归
有非常明显的特征：抽象和自动化，抽象问题的计算过程并利用计算自动化求解(并不是抽象因果关系仅仅是抽象过程）
1+2+..+100 高斯 vs 累计
圆周率 高数求和 vs 蒙特卡洛方法
汉诺塔问题 逻辑推理的2的n次方-1 vs 递归
计算思维基于计算机强大的算力和海量的数据
抽象计算过程，关注设计和构造，而非因果
以计算机程序设计为主要实现手段
编程是将计算思维变为现实的手段
计算生态与Python语言
从开源运动说起…
-1983年，Richard Stallman启动GNU项目
-1989年，GNU通用许可协议诞生，自由软件时代到来 大教堂模式
-1991年，Linus Torvalds发布了Linux内核 集市模式(成为主流)
-1998年，网景浏览器开源，产生了Mozilla，开源生态逐步建立
计算生态以开源项目为组织形式，充分利用“共识原则”和“社会他人”组织人员，在竞争发展、相互依存和迅速更迭中完成信息技术的更新换代，形成了技术的自我演进路径。
开源思想深入演化和发展，形成了计算生态
计算生态是没有顶层设计、以功能为单位、具备三个特点：竞争发展、相互依存和迅速更迭
python
-以开源项目为代表的大量第三方库 Python语言提供 > 13万个第三方库 并以两万+每年的速度发展
-库的建设经过野蛮生长和自然选择 同一个功能，Python语言提供2个以上第三方库
-库之间相互关联使用，依存发展 Python库间广泛联系，逐级封装
-社区庞大，新技术更迭迅速 Alpha Go深度学习算法采用Python语言开源
API ！= 生态
创新：跟随创新、集成创新、原始创新
-计算生态加速科技类应用创新的重要支撑
-发展科技产品商业价值的重要模式
-国家科技体系安全和稳固的基础
刀耕火种 –> 站在巨人的肩膀上
-编程的起点不是算法而是系统
-变成如同搭积木，利用计算生态为主要模式
-编程的目标是快速解决问题
优质的计算生态 python123 由老师、产业人员共同筛选的优质生态https://python123.io/index/monthly_packages/201808
用户体验与软件产品
实现功能 –> 关注体验
用户体验指用户对产品建立的主管感受和认识
关心功能实现，更要关心用户体验，才能做出好产品
编程只是手段，不是目的，程序最终为人类服务
提高用户体验的方法
方法1：进度展示
-如果程序需要计算时间，可能产生等待，请增加进度展示
-如果程序需要若干步骤，需要提示用户，请增加进度展示
-如果程序可能存在大量次数的循环，请增加进度展示
方法2：异常处理
-当获得用户输入时候，对合规性需要检查，需要异常处理
-当读写文件时，对结果进行判断，需要异常处理
-当进行输入输出时，对运算结果进行判断，需要异常处理
其他方法：
-打印输出：特定位置，输出程序运行的过程信息verbose
-日志文件：对程序异常以及用户的使用进行定期记录
-帮助信息：给用户多种方式提供帮助
软件程序 到 软件产品，其核心关键就是用户体验
基本的程序设计模式
IPO
模块化设计
自顶向下设计
配置化设计 （自动轨迹绘制实例）
-引擎+配置：程序执行和配置分离，将可选参数配置化
-将程序开放变为配置文件编写，扩展功能而不修改程序
-关键在于接口设计，清晰明了，灵活扩展，这是一种更高级别的设计思路
应用开发的四个步骤：
1.产品定义 对应用需求充分理解和明确定义
-产品定义，而不仅是功能定义，要考虑商业模式
2.系统架构 以系统方式思考产品的技术实现
-系统架构，关注数据流、模块化、体系架构
3.设计与实现 结合架构完成关键设计及系统实现
-结合可扩展性、灵活性、是否适应未来需求变化等进行设计优化
4.用户体验 从用户角度思考应用效果
-用户至上，体验优先，以用户为中心构造软件产品
8.3 Python第三方库安装
看见更大的Python世界
13万个第三方库 全区社区 https://pypi.org
PYPI
-Python Package Index
-PSF维护的展示全球Python计算生态的主站
-学会检索并利用PyPI，找到合适的第三方开发程序
3种安装方法：
-方法1（主要方法）：使用pip命令
-方法2：集成安装方法
-方法3：文件安装方法
pip安装方法（最主要的方法）
pip -h 可以查看帮助
pip install <第三方库名> 安装
pip install –U <第三方库名> 升级
pip uninstall <第三方库名> 卸载
pip download <第三方库名> 下载单并不安装
pip show <第三方库名> 列出某个第三方库的详细信息
pip search 关键词 搜索第三方库
pip list 列出已安装的第三方库
集成安装方法
结合安装工具，批量安装，不过这样的安装工具不多，推荐一个叫anaconda
文件安装方法
为什么有些第三方库用pip可以下载，单无法安装？
-某些第三方库下载后，需要编译再安装
-如果操作系统没有编译环境，则能下载单不能安装
-可以找编译后的版本来安装吗 http://www.lfd.uci.edu/~gohlke/pythonlibs UCI页面 加州大学教授维护的 win系统的直接编译后的版本
pip install 文件
8.4 模块7：os库的使用
os库提供通用的、基本的操作系统交互功能
是python标准库，由几百个函数，包括常用路径操作、进程管理、环境参数等几类
-路径操作：os.path子库，处理文件路径及信息
-进程管理：启动系统中其他程序
-环境参数：获得系统软硬件信息等参数
路径操作
os.path子库以path为入口，用于操作和处理文件路径
import os.path
import os.path as op
os库进程管理
os.system(command) 调用其他程序
os库之环境参数
获取或改变系统环境信息
8.5 实例14：第三方库安装脚本
第三方库自动安装脚本
9 Python计算生态概览
9.1 从数据处理到人工智能
从数据处理到人工智能的完整链条：数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能
Python库之数据分析
Numpy：表达N维数组的最基础库
-Python接口使用，C语言实现，计算速度优异
-Python数据分析及科学计算的基础库，支撑Pandas等
-提供直接的矩阵运算、广播函数、线性代数等功能
Pandas：Python数据分析高层次应用库
-提供了简单易用的数据结构和数据分析工具
-理解数据类型与索引的关系，操作索引即操作数据
-Python库最主要的数据分析功能库，基于Numpy开发
提供两个数据结构：
Series = 索引 + 一维数据
DataFrame = 行列索引 + 二维数据
Scipy：数学、科学和工程计算功能库
-提供了一批数学算法及工程数据运算功能
-类似Matlab，可用于傅里叶变换、信号处理等应用
–Python最主要的科学计算功能库，基于Numpy开发
Python库之数据可视化
Matplotlib:高质量的二维数据可视化功能库，有大量子库
-提供了超过100种数据可视化展示效果
-通过matplotlib.pyplot子库调用各可视化效果
-Python最主要的数据可视化功能库，基于Numpy开发
Seaborn：统计类数据可视化功能库
-提供了一批高层次的统计类数据可视化展示效果
-主要展示数据间分布、分类和线性关系等内容
-基于Matplotlib开发，支持Numpy和Pandas
Mayavi：三维科学计算可视化功能库
-提供了一批简单易用的3D科学计算数据可视化展示效果
-目前是Mayavi2，三维可视化最主要的第三方库
-支持Numpy、TVTK、Traits、Envisage等第三方库
Python库之文本处理
PyPDF2：用来处理pdf文件的工具集
-提供了一批处理PDF文件的计算功能
-支持获取信息、分隔/整合文件、加密解密等
-完全Python语言实现，不需要额外依赖，功能稳定
NLTK：自然语言文本处理第三方库
–提供了一批简单易用的自然语言文本处理功能
-支持语言文本分类、标记、语法句法、语义分析等
-最优秀的Python自然语言处理库
Python-docx：创建或更新word文档的第三方库
-提供创建或更新.doc .docx等文件的计算功能
-增加并配置段落、图片、表格、文字等，功能全面
Python库之机器学习
Scikit-learn:机器学习方法工具集
-提供一批统一化的机器学习方法功能接口
-提供聚类、分类、回归、强化学习等计算功能
-机器学习最基本且最优秀的Python第三方库
TensorFlow：AlphaGo背后的机器学习计算框架
-谷歌公司推动的开源机器学习框架
-将数据流图作为基础，图节点代表运算，边代表张量
-应用机器学习方法的一种方式，支撑谷歌人工智能应用
MXNet：基于神经网络的深度学习计算框架
-提供可扩展的神经网络及深度学习计算功能
-可用于自动驾驶、机器翻译、语音识别等众多领域
-Python最重要的深度学习计算框架
9.2 实例15：霍兰德人格分析雷达图
问题分析：
啥是雷达图
霍兰德认为：人格兴趣和职业之间有内在的对应关系
人格分类：研究型、艺术型、社会型、企业型、传统型、现实型
职业：工程师、实验员、艺术家、推销员、记事员、社会工作者
需求：雷达图方式验证霍兰德人格分析
输入：各职业人群结合兴趣的调研数据
输出：雷达图
展示多维数据以及绘制雷达图的能力
目标+沉浸+熟练
-编程的目标感：寻找感兴趣的目标，寻(wa)觅(jue)之
-编程的沉浸感：寻找可实现的方法，思(zuo)考(mo)之
-编程的熟练度：练习、练习、再练习，熟练之
编程不是最主要的，编程的感觉才是最重要的
9.3 从Web解析到网络空间
Python库之网络爬虫
Requests:最友好的网络爬虫库
-提供了简单易用的类HTTP协议网络爬虫功能
-支持连接池、SSL、Cookies、HTTP(S)代理等
-Python最主要的页面级网络爬虫功能库
Scrapy：优秀的网络爬虫框架
-提供了构建网络爬虫系统的框架功能，半成品
-支持批量和定时页面爬取、提供数据处理流程等
-Python最主要且最专业的网络爬虫框架
pyspider:强大的Web页面爬取系统
-提供了完整的网页爬取系统构建功能
-支持数据库后端、消息队列、优先级、分布式架构等
-Python重要的网络爬虫第三方库
Python库之Web信息提取
Beautiful Soup：HTML和XML的解析库
-提供了解析HTML和XML等Web信息的功能
-又名beautifulsoup4或bs4，可以加载多种解析引擎
-常与网络爬虫库搭配使用，如Scrapy、requests等
Re：正则表达式解析和处理功能库
-提供了定义和解析正则表达式的一批通用功能
-可用于各类场景，包括定点的Web信息提取
-Python最主要的标准库，无需安装
Python-Goose：提取文章类型Web页面的功能库
-提供了对Web页面中文章信息/视频等元数据的提取功能
-针对特定类型Web页面，应用覆盖面较广
相对于bs4库，抽象层次更加高，更加方便
Python库之Web网站开发
Django：最流行的Web应用框架
-提供了构建Web系统的基本应用框架
-MTV模式：模型(model)、模式(Template)、视图(Views)
-Python最重要的Web应用框架，略微复杂的应用框架，比较适合专业的网站构建
Pyramid：规模适中的Web应用框架
-提供了简单方便构建Web系统的应用框架
-不大不小，规模适中，适合快速构建并适度扩展类应用
-Python产品级Web应用框架，起步简单可扩展性好
Flask：Web应用开发微框架
-提供了最简单构建Web系统的应用框架
-特点是：简单、规模小、快速
-Django > Pyramid > Flask好
Python库之网络应用开发
WeRoBot：微信公众号开发框架
-提供了解析微信服务器消息及反馈消息的功能
-建立微信机器人的重要手段
aip：百度AI开放平台接口
-提供了访问百度AI服务的Python接口
-语音、人脸、OCR、NLP、知识图谱、图像搜索等领域
-Python百度AI应用的最主要方式
MyQR：二维码生成第三方库
-提供了生成二维码的系列功能
-基本二维码、艺术二维码和动态二维码
9.4 从人机交互到艺术设计
Python库之图形用户界面
PyQT5:QT开放框架的Python接口
-提供了创建QT5程序的Python API接口
-Qt是非常成熟的跨平台桌面应用开发系统，完备GUI
-推荐的Python GUI开发第三方库
wxPython：跨平台GUI开发框架
-提供了专用于Python的跨平台GUI开发框架
-Python最主要的图形用户界面
PyGObject：使用GTK+开发GUI的功能库
-提供了整合GTK+、WebKitGTK+等库的功能
-GTK+：跨平台的一种GUI框架
-实例：Anaconda采用该库构建GUI
Python库之游戏开发
PyGame：简单的游戏开发功能库
-提供了基于SDL的简单游戏开发功能及实现引擎
-理解游戏对外部输入的相应机制及角色构建和交互机制
-Python游戏入门最主要的第三方库
Panda3D：开源、跨平台的3D渲染和游戏开发库
-一个3D游戏引擎，提供Python和C++两种接口，Python接口更加全面也是该库推荐使用的语言
-支持很多先进特性：法线贴图、光泽贴图、卡通渲染等
-由迪士尼和卡内基梅隆大学共同开发
cocos2d：构建2D游戏和图形界面交互应用的框架
-提供了基于OpenGL的游戏开发图形渲染功能
-支持GPU加速，采用树形结构分层管理游戏对象类型
-适用于2D专业级游戏开发
Python库之虚拟现实
VR Zero：在树莓派上开发VR应用的Python库
-提供大量与vr开发相关的功能
-针对树莓派的vr开发库，支持设备小型化，配置简单化
-非常适合初学者实践vr开发及应用
pyovr：Oculus Rift的Python接口
-针对Oculus VR设备的python开发库
-基于成熟的VR设备，提供全套文档，工业级应用设备
-Python+虚拟现实领域探索的一种思路
Vizard：基于Python的通用VR开发引擎
-专业的企业级虚拟现实开发引擎
-提供详细的文档
-支持多种主流的VR硬件设备，具有一定的通用性
Python库之图形艺术
Quads：迭代的艺术
-对图片进行四分迭代，形成像素风
-可以生成动态或者静态图片
-简单易用，具有很高展示度
ascii_art:ASCII艺术库
-将普通图片转为ASCII艺术风格
-输出可以是纯文本或彩色文本
-可采用图片格式输出
turtle库
9.5 实例16：玫瑰花绘制
问题分析：
在中国大学mooc平台可以免费学习本课程，课程非常适合小白。
感谢笔记作者：九命猫幺
博客出处：http://www.cnblogs.com/yongestcat/