《Python语言程序设计》第六章笔记

这一章节包含以下几个内容：集合类型及操作、序列类型及操作、字典类型及操作、模块——jieba库的使用和两个实例——基本统计值计算、文本词频统计。

6.1 集合类型及操作

6.1.1 集合类型定义

• 集合数据类型是没有顺序的简单对象的聚集，且集合中元素不重复
• Python集合数据类型包括可变集合对象（set）和不可变集合对象（frozenset）
• 集合的定义{x1,[x2,…,xn]}
• {}表示空的字典，因为字典也用花括号定义，空集为set()
• 集合中元素不可重复，元素类型只能是固定数据类型，例如：整数、浮点数、字符串、元组等，列表、字典和集合类型本身都是可变数据类型，不能作为集合的元素出现。
• 建立集合类型用{ }或set()，建立空集合类型必须用set()

>>> A = {"python", 123, ("python",123)}  #使用{}建立集合
{123, 'python', ('python', 123)} 

>>> B = set("pypy123")         #使用set()建立集合
{'1', 'p', '2', '3', 'y'}

>>> C = {"python", 123, "python",123}
{'python', 123}

6.1.2集合操作符

操作符	描述
S - T或S.difference(T)	返回一个新集合，包括在集合S中但不在集合T中的元素
S -= T或S.difference_update(T)	更新集合S，包括在集合S中但不在集合T中的元素
S & T或S.intersection(T)	返回一个新集合，包括同时在集合S和T中的元素
S =& T或S.intersection_update(T)	更新集合S，包括同时在集合S和T中的元素
S ^ T或s.symmetric_difference(T)	返回一个新集合，包括集合S和T中的元素，但不包括同时在其中的元素
S ^ =T或s.symmetric_difference_update(T)	更新集合S，包括集合S和T中的元素，但不包括同时在其中的元素
S | T或S.union(T)	返回一个新集合，包括S和T中的所有元素
S |= T或S.update(T)	更新集合S，包括S和T中的所有元素
S <= T或S.issubset(T)	如果S与T相同或S是T的子集，返回True，否则返回False，可用S
S >= T或S.issuperset(T)	如果S与T相同或S是T的超集，返回True，否则返回False，可用S>T判断S是否是T的真超集

上述操作符表达了集合类型的4种基本操作，交集（&）、并集（ | ）、差集（ - ）、补集（ ^ ），操作逻辑与数学定义相同

例：集合的运算示例

>>> s1 = {1,2,3}
>>> s2 = {2,3,4}
>>> s1|s2
{1, 2, 3, 4}
>>> s1&s2
{2, 3}
>>> s1.intersection(s2)
{2, 3}

6.1.3 集合处理方法

函数或方法	描述
S.add(x)	如果数据项x不在集合s中
S.clear(x)	移除S中所有数据项
S.copy()	返回集合S的一个拷贝
S.pop()	随机返回集合S中的一个元素，如果S为空，产生KeyError异常
S.discard(x)	如果x在集合S中，移除该元素，如果x不在不报错
S.remove(x)	如果x在集合S中，移除该元素，不在产生KeyError异常
S.isdisjoint(T)	如果集合S与T没有相同元素，返回True
len(S)	返回集合S元素个数
x in S	如果x是S的元素，返回True，否则返回False
x not in S	如果x不是S的元素，返回True，否则返回False
set(x)	将其他类型变量x转变为集合类型

6.1.4集合类型应用场景

包含关系比较

>>> "p" in {"p", "y" , 123}
True
>>> {"p", "y"} >= {"p", "y" , 123}
False

数据去重：集合类型所有元素无重复

>>> ls = ["p", "p", "y", "y", 123] >>> s = set(ls)    # 利用了集合无重复元素的特点
{'p', 'y', 123} >>> lt = list(s)   # 还可以将集合转换为列表
['p', 'y', 123]

6.2 序列类型及操作

6.2.1 序列类型定义

• 序列是具有先后关系的一组元素

序列是一维元素向量，元素类型可以不同
类似数学元素序列： s0, s1, … , sn-1
元素间由序号引导，通过下标访问序列的特定元素
序列是一个基类类型，序列类型可分为字符串类型、元组类型、列表类型

6.2.2 序列处理函数及方法

操作符	描述
x in s	如果x是s的元素，返回True，否则返回False
x not in s	如果x是s的元素，返回True，否则返回False
s + t	连接s和t
s * n 或 n * s	将序列s复制n次
s [ i ]	索引，返回序列的第i个元素
s [ i : j ]	分片，返回包含序列s第i到j个元素的子序列（不包含第j个元素）
s [ i : j : k ]	步骤分片，返回包含序列s第i到第j个元素以j为步数的子序列
len(s)	序列s的元素个数（长度）
min(s)	序列s中的最小元素
max(s)	序列s中的最大元素
s.index(x[,i [ ,j ] ])	序列s中从i开始到j位置中第一次出现元素x的位置
s.count(x)	序列s中出现x的总次数

序列类型操作实例

>>> ls = ["python", 123, ".io"] 
>>> ls[::-1]
['.io', 123, 'python']
>>> s = "python123.io"
>>> s[::-1]
'oi.321nohtyp'

>>> ls = ["python", 123, ".io"] 
>>> len(ls)
3
>>> s = "python123.io"
>>> max(s)
'y'

6.2.3 元组类型及操作

• 元组是序列类型的一种扩展

元组是一种序列类型，一旦创建就不能被修改
使用小括号 () 或 tuple() 创建，元素间用逗号 , 分隔
可以使用或不使用小括号

>>> creature = "cat", "dog", "tiger", "human"
>>> creature 
('cat', 'dog', 'tiger', 'human')
>>> color = (0x001100, "blue", creature)
>>> color
(4352, 'blue', ('cat', 'dog', 'tiger', 'human'))

• 元组继承序列类型的全部通用操作

元组继承了序列类型的全部通用操作
元组因为创建后不能修改，因此没有特殊操作
使用或不使用小括号

>>> creature = "cat", "dog", "tiger", "human"
>>> creature[::-1] 
('human', 'tiger', 'dog', 'cat') 
>>> color = (0x001100, "blue", creature)
>>> color[-1][2]
'tiger'

6.2.4 列表类型及操作

• 列表是序列类型的一种扩展，十分常用

列表是一种序列类型，创建后可以随意被修改
使用方括号 [] 或list() 创建，元素间用逗号 , 分隔
列表中各元素类型可以不同，无长度限制

>>> ls = ["cat", "dog", "tiger", 1024]
>>> ls
['cat', 'dog', 'tiger', 1024] 
>>> lt = ls
>>> lt
['cat', 'dog', 'tiger', 1024]
#方括号 [] 真正创建一个列表，赋值仅传递引用

操作函数	描述
ls[i] = x	替换列表ls第i元素为x
ls[i: j: k] = lt	用列表lt替换ls切片后所对应元素子列表
del ls[i]	删除列表ls中第i元素
del ls[i: j: k]	删除列表ls中第i到第j以k为步长的元素
ls += lt	更新列表ls，将列表lt元素增加到列表ls中
ls *= n	更新列表ls，其元素重复n次

>>> ls = ["cat", "dog", "tiger", 1024]
>>> ls[1:2] = [1, 2, 3, 4]
['cat', 1, 2, 3, 4, 'tiger', 1024]
>>> del ls[::3]
[1, 2, 4, 'tiger']
>>> ls*2
[1, 2, 4, 'tiger', 1, 2, 4, 'tiger']

方法	说明
ls.append(s)	将元素x添加至列表尾部
ls.extend(L)	将列表L中所有的元素添加至列表尾部
ls.insert(index,x)	在列表指定位置index处添加元素x
ls.remove(x)	在列表中删除首次出现的指定元素
ls.pop([index])	删除并返回列表对象指定位置的元素
ls.clear()	删除列表中所有元素，但保留列表对象
ls.index(x)	返回值为x的首个元素的下标
ls.count(x)	返回指定元素x在列表中的出现次数
ls.revrse()	对列表元素进行原地倒序
ls.sort()	对列表元素进行原地排序（升序、降序）
ls.copy()	返回列表对象的浅拷贝

注意：除了ls.copy()以外，其他的都不会产生新的列表，也不会改变列表的ID

>>> ls = ["cat", "dog", "tiger", 1024]
>>> ls.append(1234)
['cat', 'dog', 'tiger', 1024, 1234] 
>>> ls.insert(3, "human")
['cat', 'dog', 'tiger', 'human', 1024, 1234]
>>> ls.reverse()
[1234, 1024, 'human', 'tiger', 'dog', 'cat']

列表推导式
[ 新元素表达式 or 临时变量 in 可迭代对象 if 条件表达式 ]

>>> multiples = [i for i in range(30) if i % 3 is 0]
>>> print(multiples)
[0, 3, 6, 9, 12, 15, 18, 21, 24, 27]

>>>[x*x for x in range(6)  if x % 2 == 0]
[0,4,16]

>>> x = [3,5,3,7]
>>> [x.index(i) for i in x if i == 3]
[0, 0]

6.2.5 序列类型应用场景

• 数据表示：元组 和 列表

元组用于元素不改变的应用场景，更多用于固定搭配场景
列表更加灵活，它是最常用的序列类型
最主要作用：表示一组有序数据，进而操作它们

• 元素遍历
  for item in ls :
  <语句块>
  for item in tp :
  <语句块>
• 数据保护
  如果不希望数据被程序所改变，转换成元组类型

>>> ls = ["cat", "dog", "tiger", 1024]
>>> lt = tuple(ls)
>>> lt
('cat', 'dog', 'tiger', 1024)

6.3 "基本统计值计算"实例讲解

#CalStatisticsV1.py 
def getNum():       #获取用户不定长度的输入 
	nums = []
	iNumStr = input("请输入数字(回车退出): ") 
	while iNumStr != "": 
		nums.append(eval(iNumStr))
		iNumStr = input("请输入数字(回车退出): ") 
return nums

def mean(numbers):  #计算平均值 
	s = 0.0 
	for num in numbers: 
		s = s + num 
	return s / len(numbers)
	
def dev(numbers, mean): #计算方差 
	sdev = 0.0 
	for num in numbers: 
		sdev = sdev + (num - mean)**2 
	return pow(sdev / (len(numbers)-1), 0.5)

def median(numbers):    #计算中位数 
	sorted(numbers) 
	size = len(numbers) 
	if size % 2 == 0: 
		med = (numbers[size//2-1] + numbers[size//2])/2 
	else: 
		med = numbers[size//2] 
	return med

n =  getNum() 
m =  mean(n) 
print("平均值:{},方差:{:.2},中位数:{}.".format(m, dev(n,m),median(n))) 

6.4 字典类型及操作

6.4.1 字典类型定义

• 字典类型是“映射”的体现

键值对：键是数据索引的扩展
字典是键值对的集合，键值对之间无序
采用大括号{}和dict()创建，键值对用冒号: 表示 {<键1>:<值1>, <键2>:<值2>, … , <键n>:<值n>}

• 在字典变量中，通过键获得值

<字典变量> = {<键1>:<值1>, … , <键n>:<值n>}
<值> = <字典变量>[<键>]   <字典变量>[<键>] = <值>
   [ ] 用来向字典变量中索引或增加元素

>>> d = {"中国":"北京", "美国":"华盛顿", "法国":"巴黎"}
>>> d {'中国': '北京', '美国': '华盛顿', '法国': '巴黎'} >>> d["中国"] '北京'
>>> de = {} ; type(de)

6.4.2 字典处理函数及方法

函数或方法	描述
del d[k]	删除字典d中键k对应的数据值
k in d	判断键k是否在字典d中，如果在返回True，否则False
d.keys()	返回字典d中所有的键信息
d.values()	返回字典d中所有的值信息
d.items()	返回字典d中所有的键值对信息
d.get(k, )	键k存在，则返回相应值，不在则返回值 ,为第二个值
d.pop(k, )	键k存在，则取出相应值，不在则返回值
d.popitem()	随机从字典d中取出一个键值对，以元组形式返回
d.clear()	删除所有的键值对
len(d)	返回字典d中元素的个数

>>> d = {"中国":"北京", "美国":"华盛顿", "法国":"巴黎"} 
>>> "中国" in d 
True
>>> d.keys() 
dict_keys(['中国', '美国', '法国'])
>>> d.values() 
dict_values(['北京', '华盛顿', '巴黎'])

>>> d = {"中国":"北京", "美国":"华盛顿", "法国":"巴黎"} 
>>> d.get("中国","伊斯兰堡")
 '北京' 
>>> d.get("巴基斯坦","伊斯兰堡")
 '伊斯兰堡' 
>>> d.popitem() 
('美国', '华盛顿')

6.4.3 字典类型应用场景

• 映射的表达

映射无处不在，键值对无处不在
例如：统计数据出现的次数，数据是键，次数是值
最主要作用：表达键值对数据，进而操作它们

• 元素遍历

for k in d :
<语句块>

6.5 jieba库基本介绍

6.5.1 jieba库概述

• jieba是优秀的中文分词第三方库

中文文本需要通过分词获得单个的词语
jieba是优秀的中文分词第三方库，需要额外安装
jieba库提供三种分词模式，最简单只需掌握一个函数

6.5.2 jieba库的安装

• (cmd命令行) pip install jieba

6.5.3 jieba分词的原理

• Jieba分词依靠中文词库

利用一个中文词库，确定汉字之间的关联概率
汉字间概率大的组成词组，形成分词结果
除了分词，用户还可以添加自定义的词组

6.5.4 jieba分词的三种模式

• 精确模式、全模式、搜索引擎模式

精确模式：把文本精确的切分开，不存在冗余单词
全模式：把文本中所有可能的词语都扫描出来，有冗余
搜索引擎模式：在精确模式基础上，对长词再次切分

6.5.5 jieba库常用函数

函数	描述
jieba.lcut(s)	精确模式，返回一个列表类型的分词结果
jieba.lcut(s, cut_all=True)	全模式，返回一个列表类型的分词结果，存在冗余
jieba.lcut_for_sear ch(s)	搜索引擎模式，返回一个列表类型的分词结果，存在冗余
jieba.add_word(w)	向分词词典增加新词w

>>>jieba.lcut("中国是一个伟大的国家")
['中国', '是', '一个', '伟大', '的', '国家']

>>>jieba.lcut("中国是一个伟大的国家",cut_all=True)
['中国', '国是', '一个', '伟大', '的', '国家']

>>>jieba.lcut_for_search(“中华人民共和国是伟大的")
['中华', '华人', '人民', '共和', '共和国', '中华人民共和国', '是', '伟大', '的']

>>>jieba.add_word("蟒蛇语言")

分词要点：jieba.lcut(s)

"文本词频统计"问题分析

• Hamlet英文词频统计

#CalHamletV1.py
def getText():
    txt = open("hamlet.txt", "r").read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt

hamletTxt = getText()
words  = hamletTxt.split()
counts = {}
for word in words:			
    counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))
>>> the        1138 
	and         965
	to          754
	of          669
	you         550
	 i 			542 
	 a          542 
	my          514
	hamlet      462 
	in          436

• 《三国演义》词频统计

#CalThreeKingdomsV1.py
import jieba
txt = open("threekingdoms.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
   if len(word) == 1:
       continue
   else:
       counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(15):
   word, count = items[i]
   print ("{0:<10}{1:>5}".format(word, count))
>>> 曹操 953 
    孔明 836 
    将军 772 
    却说 656 
    玄德 585 
    关公 510 
    丞相 491 
    二人 469 
    不可 440 
    荆州 425 
    玄德曰 390 
    孔明曰 390 
    不能 384 
    如此 378 
    张飞 358

• 《三国演义》人物出场统计

#CalThreeKingdomsV2.py
import jieba
excludes = {"将军","却说","荆州","二人","不可","不能","如此"}
txt = open("threekingdoms.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
    counts[rword] = counts.get(rword,0) + 1
for word in excludes:
    del counts[word]
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

>>> 曹操 1451 
	孔明 1383 
	刘备 1252 
	关羽 784 
	张飞 358 
	商议 344 
	如何 338 
	主公 331 
	军士 317 
	吕布 300

			————本文整理自《Python语言程序设计》
				嵩天
				北京理工大学