Python高级语法1:GIL锁&浅拷贝&深拷贝

一、GIL锁

  • 1.1、GIL面试题:描述Python GIL的概念, 以及它对python多线程的影响?编写一个多线程抓取网页的程序,并阐明多线程抓取程序是否可比单线程性能有提升,并解释原因。

    • Guido的声明: he language doesn't require the GIL -- it's only the CPython virtual machine that has historically been unable to shed it.
  • 1.2、参考答案:

    • (1)、Python语言和GIL没有半毛钱关系。仅仅是由于历史原因在Cpython虚拟机(解释器),难以移除GIL。
    • (2)、GIL:全局解释器锁。每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码。
    • (3)、线程释放GIL锁的情况: 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数达到100
    • (4)、Python使用多进程是可以利用多核的CPU资源的。
    • (5)、多线程爬取比单线程性能有提升,因为遇到IO阻塞会自动释放GIL锁

二、浅拷贝

  • 2.1、浅拷贝是对于一个对象的顶层拷贝,简单的理解是:拷贝了引用,并没有拷贝内容

  • 2.2、 看一个最简单的浅拷贝

    Python高级语法1:GIL锁&浅拷贝&深拷贝_第1张图片
    最简单的浅拷贝

    以上:a 与 b 的内存地址相同,说明了当给一个变量赋值的时候,其实就是将数据的引用赋值了一份给另外一个变量,这其实就是最简单的浅拷贝,不仅列表是这样,只要是 类似于 xx1 = xx2 的这种基本都是 浅拷贝,如下:

    >>> c = {"age":23}
    >>> d = c
    >>> id(c)
    4527333240
    >>> id(d)
    4527333240
    >>> c["name"] = "王小二"
    >>> c
    {'age': 23, 'name': '王小二'}
    >>> d
    {'age': 23, 'name': '王小二'}
    

    因为都是浅拷贝,所以只要通过一个引用进行了修改,那么另外一个变量就看到的数 据也就变化了

  • 2.3、import copy 模块中 copy.copy() 的使用

    >>> a = [11,22]
    >>> b = [33,44]
    >>> c = [a,b]
    >>> id(a)
    4528760776
    >>> id(b)
    4528427464
    >>> id(c)
    4528012488
    >>> import copy
    >>> d = copy.copy(c)
    >>> id(d)
    4528788488
    >>> id(d[0])
    4528760776
    >>> id(d[1])
    4528427464
    >>> a.append(55)
    >>> c
    [[11, 22, 55], [33, 44]]
    >>> d
    [[11, 22, 55], [33, 44]]
    
    Python高级语法1:GIL锁&浅拷贝&深拷贝_第2张图片
    浅拷贝只会复制最顶层的那个列表

    浅拷贝 只会复制最顶层的那个列表

三、深拷贝

  • 3.1、深拷贝是对于一个对象所有层次的拷贝(递归)

    >>> a = [11,22]
    >>> b = copy.deepcopy(a)
    >>> a
    [11, 22]
    >>> b
    [11, 22]
    >>> id(a)
    4528761928
    >>> id(b)
    4528933000
    

    以上结果通过deepcopy()确实将列表 a 中所有的数据的引用 copy 了,而不是只拷贝了 a 指向的列表的引用,看如下,a的数据发生变化的时候,b并不会发生变化

    >>> a.append(55)
    >>> a
    [11, 22, 55]
    >>> b
    [11, 22]
    
  • 3.2、进一步理解 深拷贝

    Python高级语法1:GIL锁&浅拷贝&深拷贝_第3张图片
    进一步理解 深拷贝

    深拷贝: 我个人理解其实是:深拷贝后与原来的对象没有任何关系了,不管原来的对象如何变化,都不再会影响到深拷贝后的对象

四、拷贝的其他方式

  • 4.1、分片表达式 可以赋值一个序列

    >>> a = [11,22]
    >>> b = [33,44]
    >>> c = [a,b]
    >>> d = c[:]
    >>> id(c)
    4528760776
    >>> id(d)
    4528932936
    >>> id(c[0])
    4528933000
    >>> id(d[0])
    4528933000
    >>> a
    [11, 22]
    >>> a.append(55)
    >>> c
    [[11, 22, 55], [33, 44]]
    >>> d
    [[11, 22, 55], [33, 44]]
    
    Python高级语法1:GIL锁&浅拷贝&深拷贝_第4张图片
    d=c[:]与d=copy.copy(c)一样 属于浅拷贝

    d=c[:]d=copy.copy(c) 一样 属于 浅拷贝

  • 4.2、字典的copy方法可以拷贝一个字典


    Python高级语法1:GIL锁&浅拷贝&深拷贝_第5张图片
    字典的copy方法可以拷贝一个字典

五、注意点

  • 5.1、浅拷贝对不可变类型和可变类型的copy不同

    • copy.copy 对于 可变类型,会进行浅拷贝

      >>> a = [11,22]
      >>> b = copy.copy(a)
      >>> id(a)
      4528932552
      >>> id(b)
      4528932680
      >>> a.append(33)
      >>> a
      [11, 22, 33]
      >>> b
      [11, 22]
      

      解释一下大家的对于a变化,而b不变化的问题,因为b拷贝的是a里面 11,22引用的指向,当a添加 33的时候,而 11,22引用的指向并没有发生变化,所以并不会发生变化

    • copy.copy 对于 不可变类型,不会拷贝,仅仅是指向

      >>> a = (11,22,33)
      >>> b = copy.copy(a)
      >>> id(a)
      4528768632
      >>> id(b)
      4528768632
      
    • 如果c是元组,那么copy时会,仅仅是元组的引用copy,而 deepcopy依然是深copy,即递归copy所有

      >>> a = [11,22]
      >>> b = [33,44]
      >>> c = (a,b)
      >>> d = copy.copy(c)
      >>> id(c)
      4528885256
      >>> id(d)
      4528885256
      >>> a.append(55)
      >>> c
      ([11, 22, 55], [33, 44])
      >>> d
      ([11, 22, 55], [33, 44])
      >>> e = copy.deepcopy(c)
      >>> id(c)
      4528885256
      >>> id(e)
      4528885448
      >>> a.append(66)
      >>> c
      ([11, 22, 55, 66], [33, 44])
      >>> e
      ([11, 22, 55], [33, 44])
      >>> 
      
  • 5.2、copy.copy和copy.deepcopy的区别

    • copy.copy

      >>> a = [11,22]
      >>> b = (a,)
      >>> c = [b,]
      >>> 
      >>> d = copy.copy(c)
      >>> 
      >>> c
      [([11, 22],)]
      >>> d
      [([11, 22],)]
      >>> a.append(33)
      >>> c
      [([11, 22, 33],)]
      >>> d
      [([11, 22, 33],)]
      >>> id(c)
      4528932936
      >>> id(d)
      4528012488
      >>> id(c[0])
      4528434200
      >>> id(d[0])
      4528434200
      
      Python高级语法1:GIL锁&浅拷贝&深拷贝_第6张图片
      copy.copy

      d = c # 让d这个变量指向c指向的空间,d = copy.copy(c) # 复制所有c指向的数据到一个新的空间,但是不会递归copy

    • copy.deepcopy

      >>> a = [11,22]
      >>> b = (a,)
      >>> c = [b]
      >>> 
      >>> d = copy.deepcopy(c)
      >>> 
      >>> c
      [([11, 22],)]
      >>> d
      [([11, 22],)]
      >>> 
      >>> id(c)
      4528932680
      >>> id(d)
      4528761928
      >>> 
      >>> id(c[0])
      4528913040
      >>> id(d[0])
      4528913096
      >>> 
      >>> a.append(33)
      >>> 
      >>> c
      [([11, 22, 33],)]
      >>> d
      [([11, 22],)]
      >>> 
      
      Python高级语法1:GIL锁&浅拷贝&深拷贝_第7张图片
      copy.deepcopy

你可能感兴趣的:(Python高级语法1:GIL锁&浅拷贝&深拷贝)