python06-模块（二)

https://www.cnblogs.com/wupeiqi/articles/5501365.html

模块

导入自定义模块

• 模块的搜索路径：

  • 在python倒入模块，默认是先从当前项目运行的py文件所在文件夹内搜索，如果没有，则去内置模块里搜索，最后去site-package(第三方)模块中搜索
  • 通过倒入sys模块，遍历sys.path可以查看具体的搜索路径
  • 如果sys.path路径列表没有你想要的路径，可以通过 sys.path.append('路径') 添加。

• 导入模块:

  • 如果模块和运行文件在同一层级目录:

  import module
  

  • 如果导入的模块在运行文件层级的文件(lib)里：

  import lib.module # 导入lib文件夹里的module
  import lib.module as rename
  form lib import module # 从lib文件夹里导入module
  from lib import module as rename # 从lib文件夹导入module，取别名为rename
  from lib import *导入全部   
  

  • 导入模块其实就是告诉python解析器去哪里解析py文件，把内容解析加载到内存里
    • 导入一个py文件，解析器解析该文件
    • 导入一个包，解析器解析该包下的init.py文件【python2.7】

• 执行主程序:

  • 执行主程序index.py，默认会将主程序文件所在路径放入sys.path中

内置模块sys和os

• sys模块存放的是与解析器相关的东西

• os模块存放的是与操作系统相关的东西

• os模块:

  • os.getcwd:获取当前工作目录，即当前python脚本工作的目录路径
  • os.chdir("dirname"):改变当前脚本工作目录；相当于shell下cd
  • os.curdir:返回当前目录: ('.')
  • os.pardir:获取当前目录的父目录字符串名：('..')
  • os.makedirs('dir1/dir2'):可生成多层递归目录
  • os.removedirs('dirname1'):若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
  • os.mkdir('dirname'):生成单级目录；相当于shell中mkdir dirname
  • os.rmdir('dirname'):删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
  • os.listdir('dirname') :列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
  • os.remove() :删除一个文件
  • os.rename("oldname","new"):重命名文件/目录
  • os.name:字符串指示当前使用平台。win->'nt'; Linux->'posix'
  • os.stat(path/fileName):获取文件信息，大小等
  • os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
  • os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略

  s1 = 'D:'
  s2 = 'home'
  s3 = 'index.py'
  path = os.path.join(s1, s2, s3)
  print(path) # D:/home/index.py
  

• hashlib模块:

  • 用于加密相关的操作，代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法
  • md5:最常用的加密方式，不可逆

  import hashlib
  hash = hashlib.md5()
  # help(hash.update)
  hash.update(bytes('admin', encoding='utf-8'))
  print(hash.hexdigest())
  print(hash.digest())
  

  • sha1

  hash = hashlib.sha1()
  hash.update(bytes('admin', encoding='utf-8'))
  print(hash.hexdigest())
  

  • sha256

  hash = hashlib.sha256()
  hash.update(bytes('admin', encoding='utf-8'))
  print(hash.hexdigest())
  

  • sha384

  hash = hashlib.sha384()
  hash.update(bytes('admin', encoding='utf-8'))
  print(hash.hexdigest())
  

  • sha512

  hash = hashlib.sha512()
  hash.update(bytes('admin', encoding='utf-8'))
  print(hash.hexdigest())
  

  • 以上加密算法虽然依然非常厉害，但时候存在缺陷，即：通过撞库可以反解。所以，有必要对加密算法中添加自定义key再来做加密(加盐)

  hash = hashlib.md5(bytes('898oaFs09f',encoding="utf-8"))
  hash.update(bytes('admin',encoding="utf-8"))
  print(hash.hexdigest())
  python内置还有一个 hmac 模块，它内部对我们创建 key 和 内容 进行进一步的处理然后再加密
  
  import hmac
  
  h = hmac.new(bytes('898oaFs09f',encoding="utf-8"))
  h.update(bytes('admin',encoding="utf-8"))
  print(h.hexdigest())
  

• 序列化

  • json:用于【字符串】和 【python基本数据类型】 间进行转换
  • pickle:用于【python特有的类型】 和 【python基本数据类型】间进行转换
  • Json模块提供了四个功能：dumps、dump、loads、load
  • pickle模块提供了四个功能：dumps、dump、loads、load

  import pickle
  dic = {'k1': 123, 'k2': 'hello'}
  p = pickle.dumps(dic)
  # pickle.dumps将数据转换为只有python才能够识别的字符串
  with open('xxx.txt', mode='wb') as file:
      pickle.dump(dic, file)
      #  序列化并写入文件
  

  import json
  dic = {'k1': 123, 'k2': 'hello'}
  json_str = json.dumps(dic)
  print(json_str) # {"k2": "hello", "k1": 123}
  # json.dunps()将数据通过特殊的形式转换为所有语言都识别的字符串
  
  with open('xxx.txt', mode='w') as file:
      json.dump(dic, file)
      # 序列化并写入文件
  

网络访问

• 访问网站，返回的数据类型是string
  • 如果返回的类型是html，浏览器根据格式进行渲染
  • 如果返回的是json格式，函数根据json的格式获取数据
  • 如果返回的是xml，则根据xml的格式获取数据
• python访问网络模块:urllib,专门用来发送http请求的模块

f = urllib.request.urlopen('http://www.baidu.com')
data = f.read()
data = f.read().decode('utf-8')

json模块

• json字符串内部一定需要双引号才能解析成功，因为不是所有的语言字符串都可以用单引号表示，但是所有语言表示字符串都用双引号

import json
s = '{"desc":"weather","state":"sun"}'
# s = "{'desc':'weather','state':'sun'}" # 报错
data = json.loads(s)
print(data)

• json也能解析列表，在其他语言里，中括号代表数组，但是不能解析元组，因为元祖的格式只有python自己独有

ls = "[11, 22, 33, 44, 55]"
ls = json.loads(ls)
print(ls) # [11, 22, 33, 44, 55]

ls = ['tony', 'jenny', 'gogo']
ret = json.dumps(ls)
print(ret) # ["tony", "jenny", "gogo"]

dic = {'userName': 'tony', 'gender': 'man', 'age': 23}
ret = json.dumps(dic)
print(ret) # {"age": 23, "userName": "tony", "gender": "man"}

• 元组通过dumps转换后变成[]，因为只有python才有（）这种格式，别的语言都是[]

urllib:

import urllib.request
f = urllib.request.urlopen('http://www.webxml.com.cn//webservices/qqOnlineWebService.asmx/qqCheckOnline?qqCode=424662508')
result = f.read().decode('utf-8')

import urllib.request
req = urllib.request.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
r = urllib.request.urlopen(req)
result = f.read().decode('utf-8')

requests(第三发模块)

• 安装第三方模块有两种方式

  • 软件管理工具安装pip3
    • 在安装pip3之前需要安装setuptools，因为pip3需要依赖于setuptools
    • 但是好的地方是，python3已经自带了pip3了
    • 将pip3添加到环境变量
    • 安装第三方模块:
      • pip3 install requests
  • 源码安装
    • 在网上搜索python requests源码，下载得到压缩包
    • 解压压缩包，点击进入找到setup.py文件
    • 然后执行：
      • python3 setup.py install
    • 安装完成

• urllib以后会有专门讲，现在讲是为了引出json

• requests发送http请求：

  • 作用：爬虫

  response = requests.get('url')
  response.encoding = 'utf-8'
  data = response.text
  print(data) # 底层对urllib进行封装
  

xml模块

• 在json之前，网络通信用的是xml

from xml.etree import ElementTree as ET
# 使用第三方requests发送请求
r = requests.get('http://web.xml.....')
result = r.text
node = ET.XML(result)
if node.text == "Y":
    print('上线')
else:
    print('不在线')

• 列车时刻表
  • node.tag:当前节点的标签名
  • note.attrib:节点属性
  • xml的iter可获得子孙节点
  • xml的find只能找子节点
  • 自己写一个xml文件读取信息：

root = ET.XML(str)

for node in root.iter("FromDetailInfo")
    print(node.find('TranStation').text
    print(node.find('ArriveTime').text
    print(node.tag)
    print(node.attrib)

• xml的另一种解析方式

  • 给一个文件名，自动打开进行解析

  import xml.etree import ElementTree as ET
  tree = ET.parse('fileName.xml')#打开并解析里面的内容
  root = tree.getroot()#得到根节点
  print(root.tag)
  for child in root:
      print(child.tag)
      for i in child:
          print(i.tag, i.text)
  # 修改
  for node in root.iter('year')
      new_year = int(node.text) + 1
      node.text = str(new_year)
      node.set('name','yhh') # 设置属性
      del node.arrtib['attributerName']
  tree.write('fileName') # 回写
  
  #查看节点的方法
  print(dir(root)
  

  • tag:节点名
  • attrib:属性
  • find:查找子节点
  • set:设置节点属性
  • iter:迭代搜索子孙节点
  • get:获取节点属性

from xml.etree import ElementTree as ET
from xml.dom import minidom


def prettify(elem):
    """将节点转换成字符串，并添加缩进。
    """
    rough_string = ET.tostring(elem, 'utf-8')
    reparsed = minidom.parseString(rough_string)
    return reparsed.toprettyxml(indent="\t")

# 创建根节点
root = ET.Element("famliy")


# 创建大儿子
# son1 = ET.Element('son', {'name': '儿1'})
son1 = root.makeelement('son', {'name': '儿1'})
# 创建小儿子
# son2 = ET.Element('son', {"name": '儿2'})
son2 = root.makeelement('son', {"name": '儿2'})

# 在大儿子中创建两个孙子
# grandson1 = ET.Element('grandson', {'name': '儿11'})
grandson1 = son1.makeelement('grandson', {'name': '儿11'})
# grandson2 = ET.Element('grandson', {'name': '儿12'})
grandson2 = son1.makeelement('grandson', {'name': '儿12'})

son1.append(grandson1)
son1.append(grandson2)


# 把儿子添加到根节点中
root.append(son1)
root.append(son1)


raw_str = prettify(root)

f = open("xxxoo.xml",'w',encoding='utf-8')
f.write(raw_str)
f.close()