【搬运自用】Python目录及初识Python - 100天从新手到大师Day01(GitHub)

原作者:骆昊
https://github.com/jackfrued/Python-100-Days
更多内容欢迎查看并订阅专栏’Python从新手到大师’

第一部分目录

Day01~15 - Python语言基础

Day01 - 初识Python

  • Python简介 - Python的历史 / Python的优缺点 / Python的应用领域
  • 搭建编程环境 - Windows环境 / Linux环境 / MacOS环境
  • 从终端运行Python程序 - Hello, world / print函数 / 运行程序
  • 使用IDLE - 交互式环境(REPL) / 编写多行代码 / 运行程序 / 退出IDLE
  • 注释 - 注释的作用 / 单行注释 / 多行注释

Day02 - 语言元素

  • 程序和进制 - 指令和程序 / 冯诺依曼机 / 二进制和十进制 / 八进制和十六进制
  • 变量和类型 - 变量的命名 / 变量的使用 / input函数 / 检查变量类型 / 类型转换
  • 数字和字符串 - 整数 / 浮点数 / 复数 / 字符串 / 字符串基本操作 / 字符编码
  • 运算符 - 数学运算符 / 赋值运算符 / 比较运算符 / 逻辑运算符 / 身份运算符 / 运算符的优先级
  • 应用案例 - 华氏温度转换成摄氏温度 / 输入圆的半径计算周长和面积 / 输入年份判断是否是闰年

Day03 - 分支结构

  • 分支结构的应用场景 - 条件 / 缩进 / 代码块 / 流程图
  • if语句 - 简单的if / if-else结构 / if-elif-else结构 / 嵌套的if
  • 应用案例 - 用户身份验证 / 英制单位与公制单位互换 / 掷骰子决定做什么 / 百分制成绩转等级制 / 分段函数求值 / 输入三条边的长度如果能构成三角形就计算周长和面积

Day04 - 循环结构

  • 循环结构的应用场景 - 条件 / 缩进 / 代码块 / 流程图
  • while循环 - 基本结构 / break语句 / continue语句
  • for循环 - 基本结构 / range类型 / 循环中的分支结构 / 嵌套的循环 / 提前结束程序
  • 应用案例 - 1~100求和 / 判断素数 / 猜数字游戏 / 打印九九表 / 打印三角形图案 / 猴子吃桃 / 百钱百鸡

Day05 - 构造程序逻辑

  • 经典案例:水仙花数 / 百钱百鸡 / Craps赌博游戏
  • 练习题目:斐波那契数列 / 完美数 / 素数

Day06 - 函数和模块的使用

  • 函数的作用 - 代码的坏味道 / 用函数封装功能模块
  • 定义函数 - def关键字 / 函数名 / 参数列表 / return语句 / 调用自定义函数
  • 调用函数 - Python内置函数 / 导入模块和函数
  • 函数的参数 - 默认参数 / 可变参数 / 关键字参数 / 命名关键字参数
  • 函数的返回值 - 没有返回值 / 返回单个值 / 返回多个值
  • 作用域问题 - 局部作用域 / 嵌套作用域 / 全局作用域 / 内置作用域 / 和作用域相关的关键字
  • 用模块管理函数 - 模块的概念 / 用自定义模块管理函数 / 命名冲突的时候会怎样(同一个模块和不同的模块)

Day07 - 字符串和常用数据结构

  • 字符串的使用 - 计算长度 / 下标运算 / 切片 / 常用方法
  • 列表基本用法 - 定义列表 / 用下表访问元素 / 下标越界 / 添加元素 / 删除元素 / 修改元素 / 切片 / 循环遍历
  • 列表常用操作 - 连接 / 复制(复制元素和复制数组) / 长度 / 排序 / 倒转 / 查找
  • 生成列表 - 使用range创建数字列表 / 生成表达式 / 生成器
  • 元组的使用 - 定义元组 / 使用元组中的值 / 修改元组变量 / 元组和列表转换
  • 集合基本用法 - 集合和列表的区别 / 创建集合 / 添加元素 / 删除元素 / 清空
  • 集合常用操作 - 交集 / 并集 / 差集 / 对称差 / 子集 / 超集
  • 字典的基本用法 - 字典的特点 / 创建字典 / 添加元素 / 删除元素 / 取值 / 清空
  • 字典常用操作 - keys方法 / values方法 / items方法 / setdefault方法
  • 基础练习 - 跑马灯效果 / 列表找最大元素 / 统计考试成绩的平均分 / Fibonacci数列 / 杨辉三角
  • 综合案例 - 双色球选号 / 井字棋

Day08 - 面向对象编程基础

  • 类和对象 - 什么是类 / 什么是对象 / 面向对象其他相关概念
  • 定义类 - 基本结构 / 属性和方法 / 构造器 / 析构器 / __str__方法
  • 使用对象 - 创建对象 / 给对象发消息
  • 面向对象的四大支柱 - 抽象 / 封装 / 继承 / 多态
  • 基础练习 - 定义学生类 / 定义时钟类 / 定义图形类 / 定义汽车类

Day09 - 面向对象进阶

  • 属性 - 类属性 / 实例属性 / 属性访问器 / 属性修改器 / 属性删除器 / 使用__slots__
  • 类中的方法 - 实例方法 / 类方法 / 静态方法
  • 运算符重载 - __add__ / __sub__ / __or__ /__getitem__ / __setitem__ / __len__ / __repr__ / __gt__ / __lt__ / __le__ / __ge__ / __eq__ / __ne__ / __contains__
  • 类(的对象)之间的关系 - 关联 / 继承 / 依赖
  • 继承和多态 - 什么是继承 / 继承的语法 / 调用父类方法 / 方法重写 / 类型判定 / 多重继承 / 菱形继承(钻石继承)和C3算法
  • 综合案例 - 工资结算系统 / 图书自动折扣系统 / 自定义分数类

Day10 - 图形用户界面和游戏开发

  • 使用tkinter开发GUI程序
  • 使用pygame三方库开发游戏应用
  • “大球吃小球”游戏

Day11 - 文件和异常

  • 读文件 - 读取整个文件 / 逐行读取 / 文件路径
  • 写文件 - 覆盖写入 / 追加写入 / 文本文件 / 二进制文件
  • 异常处理 - 异常机制的重要性 / try-except代码块 / else代码块 / finally代码块 / 内置异常类型 / 异常栈 / raise语句
  • 数据持久化 - CSV文件概述 / csv模块的应用 / JSON数据格式 / json模块的应用

Day12 - 字符串和正则表达式

  • 字符串高级操作 - 转义字符 / 原始字符串 / 多行字符串 / innot in运算符 / is_xxx方法 / joinsplit方法 / strip相关方法 / pyperclip模块 / 不变字符串和可变字符串 / StringIO的使用
  • 正则表达式入门 - 正则表达式的作用 / 元字符 / 转义 / 量词 / 分组 / 零宽断言 /贪婪匹配与惰性匹配懒惰 / 使用re模块实现正则表达式操作(匹配、搜索、替换、捕获)
  • 使用正则表达式 - re模块 / compile函数 / groupgroups方法 / match方法 / search方法 / findallfinditer方法 / subsubn方法 / split方法
  • 应用案例 - 使用正则表达式验证输入的字符串

Day13 - 进程和线程

  • 进程和线程的概念 - 什么是进程 / 什么是线程 / 多线程的应用场景
  • 使用进程 - fork函数 / multiprocessing模块 / 进程池 / 进程间通信
  • 使用线程 - threading模块 / Thread类 / RLock类 / Condition类 / 线程池

Day14 - 网络编程入门和网络应用开发

  • 计算机网络基础 - 计算机网络发展史 / “TCP-IP”模型 / IP地址 / 端口 / 协议 / 其他相关概念
  • 网络应用模式 - “客户端-服务器”模式 / “浏览器-服务器”模式
  • 基于HTTP协议访问网络资源 - 网络API概述 / 访问URL / requests三方库 / 解析JSON格式数据
  • Python网络编程 - 套接字的概念 / socket模块 / socket函数 / 创建TCP服务器 / 创建TCP客户端 / 创建UDP服务器 / 创建UDP客户端
  • 电子邮件 - SMTP协议 / POP3协议 / IMAP协议 / smtplib模块 / poplib模块 / imaplib模块
  • 短信服务 - 调用短信服务网关

Day15 - 图像和文档处理

  • 用Pillow处理图片 - 图片读写 / 图片合成 / 几何变换 / 色彩转换 / 滤镜效果
  • 读写Word文档 - 文本内容的处理 / 段落 / 页眉和页脚 / 样式的处理
  • 读写Excel文件 - xlrd / xlwt / openpyxl

初识Python

Python简介

Python的历史

  1. 1989年圣诞节:Guido von Rossum开始写Python语言的编译器。
  2. 1991年2月:第一个Python编译器(同时也是解释器)诞生,它是用C语言实现的(后面),可以调用C语言的库函数。在最早的版本中,Python已经提供了对“类”,“函数”,“异常处理”等构造块的支持,还有对列表、字典等核心数据类型,同时支持以模块为基础来构造应用程序。
  3. 1994年1月:Python 1.0正式发布。
  4. 2000年10月16日:Python 2.0发布,增加了完整的垃圾回收,提供了对Unicode的支持。与此同时,Python的整个开发过程更加透明,社区对开发进度的影响逐渐扩大,生态圈开始慢慢形成。
  5. 2008年12月3日:Python 3.0发布,它并不完全兼容之前的Python代码,不过因为目前还有不少公司在项目和运维中使用Python 2.x版本,所以Python 3.x的很多新特性后来也被移植到Python 2.6/2.7版本中。

目前我使用的Python 3.7.x的版本是在2018年发布的,Python的版本号分为三段,形如A.B.C。其中A表示大版本号,一般当整体重写,或出现不向后兼容的改变时,增加A;B表示功能更新,出现新功能时增加B;C表示小的改动(例如:修复了某个Bug),只要有修改就增加C。如果对Python的历史感兴趣,可以阅读名为《Python简史》的网络文章。

Python的优缺点

Python的优点很多,简单的可以总结为以下几点。

  1. 简单明了,学习曲线低,比很多编程语言都容易上手。
  2. 开放源代码,拥有强大的社区和生态圈,尤其是在数据分析和机器学习领域。
  3. 解释型语言,天生具有平台可移植性,代码可以工作于不同的操作系统。
  4. 对两种主流的编程范式(面向对象编程和函数式编程)都提供了支持。
  5. 代码规范程度高,可读性强,适合有代码洁癖和强迫症的人群。

Python的缺点主要集中在以下几点。

  1. 执行效率稍低,对执行效率要求高的部分可以由其他语言(如:C、C++)编写。
  2. 代码无法加密,但是现在很多公司都不销售卖软件而是销售服务,这个问题会被弱化。
  3. 在开发时可以选择的框架太多(如Web框架就有100多个),有选择的地方就有错误。

Python的应用领域

目前Python在Web应用后端开发、云基础设施建设、DevOps、网络数据采集(爬虫)、自动化测试、数据分析、机器学习等领域都有着广泛的应用。

安装Python解释器

想要开始Python编程之旅,首先得在自己使用的计算机上安装Python解释器环境,下面将以安装官方的Python解释器为例,讲解如何在不同的操作系统上安装Python环境。官方的Python解释器是用C语言实现的,也是使用最为广泛的Python解释器,通常称之为CPython。除此之外,Python解释器还有Java语言实现的Jython、C#语言实现的IronPython以及PyPy、Brython、Pyston等版本,有兴趣的读者可以自行了解。

Windows环境

可以在Python官方网站下载到Python的Windows安装程序(exe文件),需要注意的是如果在Windows 7环境下安装Python 3.x,需要先安装Service Pack 1补丁包(可以通过一些工具软件自动安装系统补丁的功能来安装),安装过程建议勾选“Add Python 3.x to PATH”(将Python 3.x添加到PATH环境变量)并选择自定义安装,在设置“Optional Features”界面最好将“pip”、“tcl/tk”、“Python test suite”等项全部勾选上。强烈建议选择自定义的安装路径并保证路径中没有中文。安装完成会看到“Setup was successful”的提示。如果稍后运行Python程序时,出现因为缺失一些动态链接库文件而导致Python解释器无法工作的问题,可以按照下面的方法加以解决。

如果系统显示api-ms-win-crt*.dll文件缺失,可以参照《api-ms-win-crt*.dll缺失原因分析和解决方法》一文讲解的方法进行处理或者直接在微软官网下载Visual C++ Redistributable for Visual Studio 2015文件进行修复;如果是因为更新Windows的DirectX之后导致某些动态链接库文件缺失问题,可以下载一个DirectX修复工具进行修复。

Linux环境

Linux环境自带了Python 2.x版本,但是如果要更新到3.x的版本,可以在Python的官方网站下载Python的源代码并通过源代码构建安装的方式进行安装,具体的步骤如下所示(以CentOS为例)。

  1. 安装依赖库(因为没有这些依赖库可能在源代码构件安装时因为缺失底层依赖库而失败)。
yum -y install wget gcc zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel
  1. 下载Python源代码并解压缩到指定目录。
wget https://www.python.org/ftp/python/3.7.6/Python-3.7.6.tar.xz
xz -d Python-3.7.6.tar.xz
tar -xvf Python-3.7.6.tar
  1. 切换至Python源代码目录并执行下面的命令进行配置和安装。
cd Python-3.7.6
./configure --prefix=/usr/local/python37 --enable-optimizations
make && make install
  1. 修改用户主目录下名为.bash_profile的文件,配置PATH环境变量并使其生效。
cd ~
vim .bash_profile
# ... 此处省略上面的代码 ...

export PATH=$PATH:/usr/local/python37/bin

# ... 此处省略下面的代码 ...
  1. 激活环境变量。
source .bash_profile

macOS环境

macOS也自带了Python 2.x版本,可以通过Python的官方网站提供的安装文件(pkg文件)安装Python 3.x的版本。默认安装完成后,可以通过在终端执行python命令来启动2.x版本的Python解释器,启动3.x版本的Python解释器需要执行python3命令。

运行Python程序

确认Python的版本

可以Windows的命令行提示符中键入下面的命令。

python --version

在Linux或macOS系统的终端中键入下面的命令。

python3 --version

当然也可以先输入pythonpython3进入交互式环境,再执行以下的代码检查Python的版本。

import sys

print(sys.version_info)
print(sys.version)

编写Python源代码

可以用文本编辑工具(推荐使用Sublime、Visual Studio Code等高级文本编辑工具)编写Python源代码并用py作为后缀名保存该文件,代码内容如下所示。

print('hello, world!')

运行程序

切换到源代码所在的目录并执行下面的命令,看看屏幕上是否输出了"hello, world!"。

python hello.py

python3 hello.py

代码中的注释

注释是编程语言的一个重要组成部分,用于在源代码中解释代码的作用从而增强程序的可读性和可维护性,当然也可以将源代码中不需要参与运行的代码段通过注释来去掉,这一点在调试程序的时候经常用到。注释在随源代码进入预处理器或编译时会被移除,不会在目标代码中保留也不会影响程序的执行结果。

  1. 单行注释 - 以#和空格开头的部分
  2. 多行注释 - 三个引号开头,三个引号结尾
"""
第一个Python程序 - hello, world!
向伟大的Dennis M. Ritchie先生致敬

Version: 0.1
Author: 骆昊
"""
print('hello, world!')
# print("你好, 世界!")

Python开发工具

IDLE - 自带的集成开发工具

IDLE是安装Python环境时自带的集成开发工具,如下图所示。但是由于IDLE的用户体验并不是那么好所以很少在实际开发中被采用。

【搬运自用】Python目录及初识Python - 100天从新手到大师Day01(GitHub)_第1张图片

IPython - 更好的交互式编程工具

IPython是一种基于Python的交互式解释器。相较于原生的Python交互式环境,IPython提供了更为强大的编辑和交互功能。可以通过Python的包管理工具pip安装IPython,具体的操作如下所示。

pip install ipython

pip3 install ipython

安装成功后,可以通过下面的ipython命令启动IPython,如下图所示。

【搬运自用】Python目录及初识Python - 100天从新手到大师Day01(GitHub)_第2张图片

Sublime Text - 高级文本编辑器

【搬运自用】Python目录及初识Python - 100天从新手到大师Day01(GitHub)_第3张图片

  • 首先可以通过官方网站下载安装程序安装Sublime Text 3或Sublime Text 2。

  • 安装包管理工具。

    1. 通过快捷键Ctrl+`或者在View菜单中选择Show Console打开控制台,输入下面的代码。
    • Sublime 3
    import  urllib.request,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();urllib.request.install_opener(urllib.request.build_opener(urllib.request.ProxyHandler()));open(os.path.join(ipp,pf),'wb').write(urllib.request.urlopen('http://sublime.wbond.net/'+pf.replace(' ','%20')).read())
    
    • Sublime 2
    import  urllib2,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();os.makedirs(ipp)ifnotos.path.exists(ipp)elseNone;urllib2.install_opener(urllib2.build_opener(urllib2.ProxyHandler()));open(os.path.join(ipp,pf),'wb').write(urllib2.urlopen('http://sublime.wbond.net/'+pf.replace(' ','%20')).read());print('Please restart Sublime Text to finish installation')
    
    1. 在浏览器中输入 https://sublime.wbond.net/Package%20Control.sublime-package 下载包管理工具的安装包,并找到安装Sublime目录下名为"Installed Packages"的目录,把刚才下载的文件放到这个文件加下,然后重启Sublime Text就搞定了。
  • 安装插件。通过Preference菜单的Package Control或快捷键Ctrl+Shift+P打开命令面板,在面板中输入Install Package就可以找到安装插件的工具,然后再查找需要的插件。我们推荐大家安装以下几个插件:

    • SublimeCodeIntel - 代码自动补全工具插件。
    • Emmet - 前端开发代码模板插件。
    • Git - 版本控制工具插件。
    • Python PEP8 Autoformat - PEP8规范自动格式化插件。
    • ConvertToUTF8 - 将本地编码转换为UTF-8。

说明:事实上Visual Studio Code可能是更好的选择,它不用花钱并提供了更为完整和强大的功能,有兴趣的读者可以自行研究。

PyCharm - Python开发神器

PyCharm的安装、配置和使用在《玩转PyCharm》进行了介绍,有兴趣的读者可以选择阅读。

【搬运自用】Python目录及初识Python - 100天从新手到大师Day01(GitHub)_第4张图片

练习

  1. 在Python交互式环境中输入下面的代码并查看结果,请尝试将看到的内容翻译成中文。

    import this
    

    说明:输入上面的代码,在Python的交互式环境中可以看到Tim Peter撰写的“Python之禅”,里面讲述的道理不仅仅适用于Python,也适用于其他编程语言。

  2. 学习使用turtle在屏幕上绘制图形。

    说明:turtle是Python内置的一个非常有趣的模块,特别适合对计算机程序设计进行初体验的小伙伴,它最早是Logo语言的一部分,Logo语言是Wally Feurzig和Seymour Papert在1966发明的编程语言。

    import turtle
    
    turtle.pensize(4)
    turtle.pencolor('red')
    
    turtle.forward(100)
    turtle.right(90)
    turtle.forward(100)
    turtle.right(90)
    turtle.forward(100)
    turtle.right(90)
    turtle.forward(100)
    
    turtle.mainloop()
    

    提示:本章提供的代码中还有画国旗和画小猪佩奇的代码,有兴趣的读者请自行研究。

后续目录

Day16~Day20 - Python语言进阶

  • 常用数据结构
  • 函数的高级用法 - “一等公民” / 高阶函数 / Lambda函数 / 作用域和闭包 / 装饰器
  • 面向对象高级知识 - “三大支柱” / 类与类之间的关系 / 垃圾回收 / 魔术属性和方法 / 混入 / 元类 / 面向对象设计原则 / GoF设计模式
  • 迭代器和生成器 - 相关魔术方法 / 创建生成器的两种方式 /
  • 并发和异步编程 - 多线程 / 多进程 / 异步IO / asyncawait

Day21~30 - Web前端入门

  • 用HTML标签承载页面内容
  • 用CSS渲染页面
  • 用JavaScript处理交互式行为
  • jQuery入门和提高
  • Vue.js入门
  • Element的使用
  • Bootstrap的使用

Day31~35 - 玩转Linux操作系统

  • 操作系统发展史和Linux概述
  • Linux基础命令
  • Linux中的实用程序
  • Linux的文件系统
  • Vim编辑器的应用
  • 环境变量和Shell编程
  • 软件的安装和服务的配置
  • 网络访问和管理
  • 其他相关内容

Day36~40 - 数据库基础和进阶

  • 关系型数据库概述
  • MySQL的安装和使用
  • SQL的使用
  • DDL - 数据定义语言 - create / drop / alter
  • DML - 数据操作语言 - insert / delete / update
  • DQL - 数据查询语言 - select
  • DCL - 数据控制语言 - grant / revoke
  • MySQL新特性
  • 窗口函数的应用
  • JSON数据类型
  • 相关知识
  • 数据完整性和一致性
  • 视图、函数、过程、触发器
  • 事务和锁
  • 执行计划和索引
  • 范式理论和反范式设计
  • 在Python中操作MySQL

Day41~55 - 实战Django

Day41 - Django快速上手

  • Web应用工作机制
  • HTTP请求和响应
  • Django框架概述
  • 5分钟快速上手

Day42 - 深入模型

  • 关系型数据库配置
  • 使用ORM完成对模型的CRUD操作
  • 管理后台的使用
  • Django模型最佳实践
  • 模型定义参考

Day43 - 静态资源和Ajax请求

  • 加载静态资源
  • Ajax概述
  • 用Ajax实现投票功能

Day44 - Cookie和Session

  • 实现用户跟踪
  • cookie和session的关系
  • Django框架对session的支持
  • 视图函数中的cookie读写操作

Day45 - 报表和日志

  • 通过HttpResponse修改响应头
  • 使用StreamingHttpResponse处理大文件
  • 使用xlwt生成Excel报表
  • 使用reportlab生成PDF报表
  • 使用ECharts生成前端图表

Day46 - 日志和调试工具栏

  • 配置日志
  • 配置Django-Debug-Toolbar
  • 优化ORM代码

Day47 - 中间件的应用

  • 什么是中间件
  • Django框架内置的中间件
  • 自定义中间件及其应用场景

Day48 - 前后端分离开发入门

  • 返回JSON格式的数据
  • 用Vue.js渲染页面

Day49 - RESTful架构和DRF入门

Day50 - RESTful架构和DRF进阶

Day51 - 使用缓存

  • 网站优化第一定律

  • 在Django项目中使用Redis提供缓存服务

  • 在视图函数中读写缓存

  • 使用装饰器实现页面缓存

  • 为数据接口提供缓存服务

Day52 - 接入三方平台

  • 文件上传表单控件和图片文件预览
  • 服务器端如何处理上传的文件

Day53 - 异步任务和定时任务

  • 网站优化第二定律
  • 配置消息队列服务
  • 在项目中使用Celery实现任务异步化
  • 在项目中使用Celery实现定时任务

Day54 - 单元测试

Day55 - 项目上线

  • Python中的单元测试
  • Django框架对单元测试的支持
  • 使用版本控制系统
  • 配置和使用uWSGI
  • 动静分离和Nginx配置
  • 配置HTTPS
  • 配置域名解析

Day56~60 - 用FastAPI开发数据接口

  • FastAPI五分钟上手
  • 请求和响应
  • 接入关系型数据库
  • 依赖注入
  • 中间件
  • 异步化
  • 虚拟化部署(Docker)
  • 项目实战:车辆违章查询项目

Day61~65 - 爬虫开发

Day61 - 网络数据采集概述

  • 网络爬虫的概念及其应用领域
  • 网络爬虫的合法性探讨
  • 开发网络爬虫的相关工具
  • 一个爬虫程序的构成

Day62 - 数据抓取和解析

  • 使用requests三方库实现数据抓取
  • 页面解析的三种方式
    • 正则表达式解析
    • XPath解析
    • CSS选择器解析

Day63 - Python中的并发编程

  • 多线程
  • 多进程
  • 异步I/O

Day64 - 使用Selenium抓取网页动态内容

Day65 - 爬虫框架Scrapy简介

Day66~80 - 数据分析

Day66 - 数据分析概述

Day67 - 环境准备

Day68 - NumPy的应用-1

Day69 - NumPy的应用-2

Day70 - Pandas的应用-1

Day71 - Pandas的应用-2

Day72 - Pandas的应用-3

Day73 - Pandas的应用-4

Day74 - Pandas的应用-5

Day75 - 数据可视化-1

Day76 - 数据可视化-2

Day77 - 概率统计基础

Day78 - 方差分析和参数估计

Day79 - 相关和回归

Day80 - 数据分析方法论

Day81~90 - 机器学习和深度学习

Day81 - 机器学习基础

Day82 - k最近邻分类

Day83 - 决策树

Day84 - 贝叶斯分类

Day85 - 支持向量机

Day86 - K-均值聚类

Day87 - 回归分析

Day88 - 深度学习入门

Day89 - PyTorch概述

Day90 - PyTorch实战

Day91~100 - 团队项目开发

第91天:团队项目开发的问题和解决方案

  1. 软件过程模型

    • 经典过程模型(瀑布模型)

      • 可行性分析(研究做还是不做),输出《可行性分析报告》。
      • 需求分析(研究做什么),输出《需求规格说明书》和产品界面原型图。
      • 概要设计和详细设计,输出概念模型图(ER图)、物理模型图、类图、时序图等。
      • 编码 / 测试。
      • 上线 / 维护。

      瀑布模型最大的缺点是无法拥抱需求变化,整套流程结束后才能看到产品,团队士气低落。

    • 敏捷开发(Scrum)- 产品所有者、Scrum Master、研发人员 - Sprint

      • 产品的Backlog(用户故事、产品原型)。
      • 计划会议(评估和预算)。
      • 日常开发(站立会议、番茄工作法、结对编程、测试先行、代码重构……)。
      • 修复bug(问题描述、重现步骤、测试人员、被指派人)。
      • 发布版本。
      • 评审会议(Showcase,用户需要参与)。
      • 回顾会议(对当前迭代周期做一个总结)。

      补充:敏捷软件开发宣言

      • 个体和互动 高于 流程和工具
      • 工作的软件 高于 详尽的文档
      • 客户合作 高于 合同谈判
      • 响应变化 高于 遵循计划

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CxI6EAoX-1660231060536)(./res/agile-scrum-sprint-cycle.png)]

      角色:产品所有者(决定做什么,能对需求拍板的人)、团队负责人(解决各种问题,专注如何更好的工作,屏蔽外部对开发团队的影响)、开发团队(项目执行人员,具体指开发人员和测试人员)。

      准备工作:商业案例和资金、合同、憧憬、初始产品需求、初始发布计划、入股、组建团队。

      敏捷团队通常人数为8-10人。

      工作量估算:将开发任务量化,包括原型、Logo设计、UI设计、前端开发等,尽量把每个工作分解到最小任务量,最小任务量标准为工作时间不能超过两天,然后估算总体项目时间。把每个任务都贴在看板上面,看板上分三部分:to do(待完成)、in progress(进行中)和done(已完成)。

  2. 项目团队组建

    • 团队的构成和角色

      说明:谢谢付祥英女士帮助我绘制了下面这张精美的公司组织架构图。

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-opey6ka3-1660231060537)(./res/company_architecture.png)]

    • 编程规范和代码审查(flake8pylint

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hi8O5wBF-1660231060538)(./res/pylint.png)]

    • Python中的一些“惯例”(请参考《Python惯例-如何编写Pythonic的代码》)

    • 影响代码可读性的原因:

      • 代码注释太少或者没有注释
      • 代码破坏了语言的最佳实践
      • 反模式编程(意大利面代码、复制-黏贴编程、自负编程、……)
  3. 团队开发工具介绍

    • 版本控制:Git、Mercury
    • 缺陷管理:Gitlab、Redmine
    • 敏捷闭环工具:禅道、JIRA
    • 持续集成:Jenkins、Travis-CI

    请参考《团队项目开发的问题和解决方案》。

项目选题和理解业务
  1. 选题范围设定

    • CMS(用户端):新闻聚合网站、问答/分享社区、影评/书评网站等。

    • MIS(用户端+管理端):KMS、KPI考核系统、HRS、CRM系统、供应链系统、仓储管理系统等。

    • App后台(管理端+数据接口):二手交易类、报刊杂志类、小众电商类、新闻资讯类、旅游类、社交类、阅读类等。

    • 其他类型:自身行业背景和工作经验、业务容易理解和把控。

  2. 需求理解、模块划分和任务分配

    • 需求理解:头脑风暴和竞品分析。
    • 模块划分:画思维导图(XMind),每个模块是一个枝节点,每个具体的功能是一个叶节点(用动词表述),需要确保每个叶节点无法再生出新节点,确定每个叶子节点的重要性、优先级和工作量。
    • 任务分配:由项目负责人根据上面的指标为每个团队成员分配任务。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VpofbN1I-1660231060539)(./res/requirements_by_xmind.png)]

  3. 制定项目进度表(每日更新)

    模块 功能 人员 状态 完成 工时 计划开始 实际开始 计划结束 实际结束 备注
    评论 添加评论 王大锤 正在进行 50% 4 2018/8/7 2018/8/7
    删除评论 王大锤 等待 0% 2 2018/8/7 2018/8/7
    查看评论 白元芳 正在进行 20% 4 2018/8/7 2018/8/7 需要进行代码审查
    评论投票 白元芳 等待 0% 4 2018/8/8 2018/8/8
  4. OOAD和数据库设计

  • UML(统一建模语言)的类图

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z0f7Za9L-1660231060539)(./res/uml-class-diagram.png)]

  • 通过模型创建表(正向工程),例如在Django项目中可以通过下面的命令创建二维表。

    python manage.py makemigrations app
    python manage.py migrate
    
  • 使用PowerDesigner绘制物理模型图。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RzC4Sol6-1660231060540)(./res/power-designer-pdm.png)]

  • 通过数据表创建模型(反向工程),例如在Django项目中可以通过下面的命令生成模型。

    python manage.py inspectdb > app/models.py
    

第92天:Docker容器详解

  1. Docker简介
  2. 安装Docker
  3. 使用Docker创建容器(Nginx、MySQL、Redis、Gitlab、Jenkins)
  4. 构建Docker镜像(Dockerfile的编写和相关指令)
  5. 容器编排(Docker-compose)
  6. 集群管理(Kubernetes)

第93天:MySQL性能优化

第94天:网络API接口设计

第95天:[使用Django开发商业项目](./Day91-100/95.使用Django开发商业项 目.md)

项目开发中的公共问题
  1. 数据库的配置(多数据库、主从复制、数据库路由)
  2. 缓存的配置(分区缓存、键设置、超时设置、主从复制、故障恢复(哨兵))
  3. 日志的配置
  4. 分析和调试(Django-Debug-ToolBar)
  5. 好用的Python模块(日期计算、图像处理、数据加密、三方API)
REST API设计
  1. RESTful架构
    • 理解RESTful架构
    • RESTful API设计指南
    • RESTful API最佳实践
  2. API接口文档的撰写
    • RAP2
    • YAPI
  3. django-REST-framework的应用
项目中的重点难点剖析
  1. 使用缓存缓解数据库压力 - Redis
  2. 使用消息队列做解耦合和削峰 - Celery + RabbitMQ

第96天:软件测试和自动化测试

单元测试
  1. 测试的种类
  2. 编写单元测试(unittestpytestnose2toxddt、……)
  3. 测试覆盖率(coverage
Django项目部署
  1. 部署前的准备工作
    • 关键设置(SECRET_KEY / DEBUG / ALLOWED_HOSTS / 缓存 / 数据库)
    • HTTPS / CSRF_COOKIE_SECUR / SESSION_COOKIE_SECURE
    • 日志相关配置
  2. Linux常用命令回顾
  3. Linux常用服务的安装和配置
  4. uWSGI/Gunicorn和Nginx的使用
    • Gunicorn和uWSGI的比较
      • 对于不需要大量定制化的简单应用程序,Gunicorn是一个不错的选择,uWSGI的学习曲线比Gunicorn要陡峭得多,Gunicorn的默认参数就已经能够适应大多数应用程序。
      • uWSGI支持异构部署。
      • 由于Nginx本身支持uWSGI,在线上一般都将Nginx和uWSGI捆绑在一起部署,而且uWSGI属于功能齐全且高度定制的WSGI中间件。
      • 在性能上,Gunicorn和uWSGI其实表现相当。
  5. 使用虚拟化技术(Docker)部署测试环境和生产环境
性能测试
  1. AB的使用
  2. SQLslap的使用
  3. sysbench的使用
自动化测试
  1. 使用Shell和Python进行自动化测试
  2. 使用Selenium实现自动化测试
    • Selenium IDE
    • Selenium WebDriver
    • Selenium Remote Control
  3. 测试工具Robot Framework介绍

第97天:电商网站技术要点剖析

第98天:项目部署上线和性能调优

  1. MySQL数据库调优
  2. Web服务器性能优化
    • Nginx负载均衡配置
    • Keepalived实现高可用
  3. 代码性能调优
    • 多线程
    • 异步化
  4. 静态资源访问优化
    • 云存储
    • CDN

第99天:面试中的公共问题

第100天:Python面试题实录

"""
用Python的turtle模块绘制国旗
"""
import turtle


def draw_rectangle(x, y, width, height):
    """绘制矩形"""
    turtle.goto(x, y)
    turtle.pencolor('red')
    turtle.fillcolor('red')
    turtle.begin_fill()
    for i in range(2):
        turtle.forward(width)
        turtle.left(90)
        turtle.forward(height)
        turtle.left(90)
    turtle.end_fill()


def draw_star(x, y, radius):
    """绘制五角星"""
    turtle.setpos(x, y)
    pos1 = turtle.pos()
    turtle.circle(-radius, 72)
    pos2 = turtle.pos()
    turtle.circle(-radius, 72)
    pos3 = turtle.pos()
    turtle.circle(-radius, 72)
    pos4 = turtle.pos()
    turtle.circle(-radius, 72)
    pos5 = turtle.pos()
    turtle.color('yellow', 'yellow')
    turtle.begin_fill()
    turtle.goto(pos3)
    turtle.goto(pos1)
    turtle.goto(pos4)
    turtle.goto(pos2)
    turtle.goto(pos5)
    turtle.end_fill()


def main():
    """主程序"""
    turtle.speed(12)
    turtle.penup()
    x, y = -270, -180
    # 画国旗主体
    width, height = 540, 360
    draw_rectangle(x, y, width, height)
    # 画大星星
    pice = 22
    center_x, center_y = x + 5 * pice, y + height - pice * 5
    turtle.goto(center_x, center_y)
    turtle.left(90)
    turtle.forward(pice * 3)
    turtle.right(90)
    draw_star(turtle.xcor(), turtle.ycor(), pice * 3)
    x_poses, y_poses = [10, 12, 12, 10], [2, 4, 7, 9]
    # 画小星星
    for x_pos, y_pos in zip(x_poses, y_poses):
        turtle.goto(x + x_pos * pice, y + height - y_pos * pice)
        turtle.left(turtle.towards(center_x, center_y) - turtle.heading())
        turtle.forward(pice)
        turtle.right(90)
        draw_star(turtle.xcor(), turtle.ycor(), pice)
    # 隐藏海龟
    turtle.ht()
    # 显示绘图窗口
    turtle.mainloop()


if __name__ == '__main__':
    main()
"""
绘制小猪佩奇
"""
from turtle import *


def nose(x,y):
    """画鼻子"""
    penup()
    # 将海龟移动到指定的坐标
    goto(x,y)
    pendown()
    # 设置海龟的方向(0-东、90-北、180-西、270-南)
    setheading(-30)
    begin_fill()
    a = 0.4
    for i in range(120):
        if 0 <= i < 30 or 60 <= i <90:
            a = a + 0.08
            # 向左转3度
            left(3)
            # 向前走
            forward(a)
        else:
            a = a - 0.08
            left(3)
            forward(a)
    end_fill()
    penup()
    setheading(90)
    forward(25)
    setheading(0)
    forward(10)
    pendown()
    # 设置画笔的颜色(红, 绿, 蓝)
    pencolor(255, 155, 192)
    setheading(10)
    begin_fill()
    circle(5)
    color(160, 82, 45)
    end_fill()
    penup()
    setheading(0)
    forward(20)
    pendown()
    pencolor(255, 155, 192)
    setheading(10)
    begin_fill()
    circle(5)
    color(160, 82, 45)
    end_fill()


def head(x, y):
    """画头"""
    color((255, 155, 192), "pink")
    penup()
    goto(x,y)
    setheading(0)
    pendown()
    begin_fill()
    setheading(180)
    circle(300, -30)
    circle(100, -60)
    circle(80, -100)
    circle(150, -20)
    circle(60, -95)
    setheading(161)
    circle(-300, 15)
    penup()
    goto(-100, 100)
    pendown()
    setheading(-30)
    a = 0.4
    for i in range(60):
        if 0<= i < 30 or 60 <= i < 90:
            a = a + 0.08
            lt(3) #向左转3度
            fd(a) #向前走a的步长
        else:
            a = a - 0.08
            lt(3)
            fd(a)
    end_fill()


def ears(x,y):
    """画耳朵"""
    color((255, 155, 192), "pink")
    penup()
    goto(x, y)
    pendown()
    begin_fill()
    setheading(100)
    circle(-50, 50)
    circle(-10, 120)
    circle(-50, 54)
    end_fill()
    penup()
    setheading(90)
    forward(-12)
    setheading(0)
    forward(30)
    pendown()
    begin_fill()
    setheading(100)
    circle(-50, 50)
    circle(-10, 120)
    circle(-50, 56)
    end_fill()


def eyes(x,y):
    """画眼睛"""
    color((255, 155, 192), "white")
    penup()
    setheading(90)
    forward(-20)
    setheading(0)
    forward(-95)
    pendown()
    begin_fill()
    circle(15)
    end_fill()
    color("black")
    penup()
    setheading(90)
    forward(12)
    setheading(0)
    forward(-3)
    pendown()
    begin_fill()
    circle(3)
    end_fill()
    color((255, 155, 192), "white")
    penup()
    seth(90)
    forward(-25)
    seth(0)
    forward(40)
    pendown()
    begin_fill()
    circle(15)
    end_fill()
    color("black")
    penup()
    setheading(90)
    forward(12)
    setheading(0)
    forward(-3)
    pendown()
    begin_fill()
    circle(3)
    end_fill()


def cheek(x,y):
    """画脸颊"""
    color((255, 155, 192))
    penup()
    goto(x,y)
    pendown()
    setheading(0)
    begin_fill()
    circle(30)
    end_fill()


def mouth(x,y):
    """画嘴巴"""
    color(239, 69, 19)
    penup()
    goto(x, y)
    pendown()
    setheading(-80)
    circle(30, 40)
    circle(40, 80)


def setting():
    """设置参数"""
    pensize(4)
    # 隐藏海龟
    hideturtle()
    colormode(255)
    color((255, 155, 192), "pink")
    setup(840, 500)
    speed(10)


def main():
    """主函数"""
    setting() 
    nose(-100, 100)
    head(-69, 167)
    ears(0, 160)
    eyes(0, 140)
    cheek(80, 10)
    mouth(-20, 30)
    done()


if __name__ == '__main__':
    main()

你可能感兴趣的:(Python从新手到大师,(持续更新中),python,github,开发语言)