Fluent Python笔记--字典与集合

所谓Python中字典的概念，简单理解就是一个键值对映射的数据模型。在collections库中有abc.Mapping和abc.MutableMapping两个抽象基类，用于定义标准的键值对数据结构接口。一般情况下，可以通过自定义继承dict或者collections.User.Dict来实现自定义的键值对映射数据结构。
Python中的dict内部使用散列表(Hash Table)来优化查找效率。这就要求dict（包括各种自定义实现）内的元素的键（值没有要求）必须是可散列的。
关于可散列：

如果一个对象是可散列的，那么在这个对象的生命周期中，它的散列值是不变的，而且这个对象需要实现 __hash__() 方法。另外可散列对象还要有__qe__()方法， 这样才能跟其他键做比较。如果两个可散列对象是相等的，那么它们的散列值一定是一样的……

一般来讲，不可变数据结构都是可散列的，但这并不绝对，准确来说，只有当数据结构中所有元素都是不可变的时候，不可变元素才是可散列的。

一般来讲用户自定义的类型的对象都是可散列的，散列值就是它们的 id() 函数的返回值，所以所有这些对象在比较的时候都是不相等的。如果一个对象实现了__eq__ ()方法，并且在方法中用到了这个对象的内部状态的话，那么只有当所有这些内部状态都是不可变的情况下，这个对象才是可散列的。

在dict的实际使用当中，经常面对对于不存在键给出一个默认值的情况。

1. setdefault

import sys
import re

WORD_RE = re.compile(r'\w+')

index = {}
with open(sys.argv[1], encoding='utf-8') as fp:
    for line_no, line in enumerate(fp, 1):
        for match in WORD_RE.finditer(line):
            word = match.group()
            column_no = match.start()+1
            location = (line_no, column_no)
            index.setdefault(word, []).append(location) 

# 以字母顺序打印出结果
for word in sorted(index, key=str.upper):
    print(word, index[word])

上面代码段中：

index.setdefault(word, []).append(location) 

其实是和下面代码段等效的：

if word not in index:
    index[key] = []
index[key].append(new_value)

不过后者需要两次键查询，而前者只需要一次。

2. defaultdict
   collections内置的数据结构defaultdict目的就是为了解决不存在键默认值的问题。

import sys
import re
import collections

WORD_RE = re.compile(r'\w+')

index = collections.defaultdict(list) 
with open(sys.argv[1], encoding='utf-8') as fp:
    for line_no, line in enumerate(fp, 1):
        for match in WORD_RE.finditer(line):
            word = match.group()
            column_no = match.start()+1
            location = (line_no, column_no)
            index[word].append(location) 

for word in sorted(index, key=str.upper):
    print(word, index[word])

需要注意的是，defaultdict初始化时的默认值方法，针对的是__getitem__，也就是说在index[word]这种调用形式，而使用index.get(word)返回值依旧是None。

3. __missing__
   当映射找不到键的时候，都会触发__missing__方法。

__missing__方法只会被 __getitem__ 调用（比如在表达式 d[k] 中）。提供__missing__ 方法对 get 或者 __contains__ （ in 运算符会用到这个方法）这些方法的使用没有影响。这也是 defaultdict 中的 default_factory 只对 __getitem__ 有作用的原因。

Python中的集合同样在内部使用了散列来优化查找，不同的是，集合本身不是键值对，而是一个对象的集合。（set无序，frozenset有序）

在dict当中：

1. 键必须是可散列的
   所谓可散列，需要满足下面要求：

(1) 支持 hash() 函数，并且通过 hash() 方法所得到的散列值是不变的。
(2) 支持通过 eq() 方法来检测相等性。
(3) 若 a == b 为真，则 hash(a) == hash(b) 也为真。

2.字典在内存上的开销巨大
散列表本身就是一种用空间换时间的数据结构，当存在大量数据需要处理的时候，可能会对内存造成很大的压力。
如果你手头有几百万个对象，而你的机器有几个 GB 的内存，那么空间的优化工作可以等到真正需要的时候再开始计划，因为优化往往是可维护性的对立面。

3. 键查询很快
   键查询是O（1）级别的。

4. 键的次序取决于添加顺序
   当往 dict 里添加新键而又发生散列冲突的时候，新键可能会被安排存放到另一个位置。请记住，一个良好设计的散列函数发生冲突的概率是极低的。

5. 往字典里添加新键可能会改变已有键的顺序
   无论何时往字典里添加新的键，Python 解释器都可能做出为字典扩容的决定。扩容导致的结果就是要新建一个更大的散列表，并把字典里已有的元素添加到新表里。在此过程中如果发生新的冲突，有可能会改变键的次序。

---

在set和frozenset中：

• 集合里的元素必须是可散列的。
• 集合很消耗内存。
• 可以很高效地判断元素是否存在于某个集合。
• 元素的次序取决于被添加到集合里的次序。
• 往集合里添加元素，可能会改变集合里已有元素的次序。