Mac M1安装scrapy和undetected-chromedriver踩过的坑

---

本机环境

我的本地环境是：
系统：MacBook Pro（M1）
anaconda：miniforge3
python：3.9
注：网上很多人建议把将python版本升级为3.10.4，然后重新安装scrapy，但是，我找到的方法是不需要升级python等繁琐操作的。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、安装Scrapy

直接使用pip安装Scrapy：

pip install -i https://pypi.douban.com/simple scrapy

然后，使用scrapy startproject创建新项目时，可能就会报下面错误：
‘/usr/local/lib/etree.cpython-39-darwin.so’ (no such file)
这是因为我们直接使用pip install安装的scrapy依赖lxml包不是’arm64e’版本的，那怎么办呢？其实，很简单，我们使用conda install安装lxml就搞定了：

conda install -c conda-forge lxml

安装完毕就可以正常使用了。

二、安装undetected-chromedriver

在爬虫中，经常会结合Selenium（一个用于测试网站的自动化测试工具）一起使用，但是现在很多网址都能自动识别Selenium工具，并阻止它进行爬去数据，为了解决这个问题，在GitHub上有一个开源项目undetected_chromedriver 工具，它就可以防止浏览器特征被识别，并且可以根据浏览器版本自动下载驱动。使用非常简单，但是在Mac M1电脑上安装还是有一个坑。我们接下来一步一步说明：

1. 首先，安装selenium包：

conda install -c conda-forge selenium

2. 然后，再安装undetected-chromedriver包：

pip install -i https://pypi.douban.com/simple undetect-chromedriver

3. 再然后，就是可能会遇上的两个坑：
   1. 我们在使用如下代码运行时：

      import undetected_chromedriver as uc
      driver = uc.Chrome()
      driver.get("https://nowsecure.nl")
      

      报如下错误（错误信息太长，就不全部粘出来了，可以去官方github上的issues查看 ）：
      这个该如何解决呢？如果按照该issues的方法，只能放在main主函数、主进程中，那么把这几行代码在其他地方就行了，所以，还有一种方法，直接在uc.Chrome()中设置use_subprocess=True即可：

      import undetected_chromedriver as uc
      driver = uc.Chrome(use_subprocess=True)
      driver.get("https://nowsecure.nl")
      

   2. 修改了此处问题，接下来进行爬取数据可能又会出现：MemoryError: Cannot allocate write+execute memory for ffi.callback().的错误，在这篇博客中也记录一种解决方法，有兴趣的同学可以尝试一下。我这里要介绍另一种方法，不用升级python和重装scrapy包。
      其实，报这个错误主要是由一个包引起的，即cffi包，它是selenium包的依赖，在安装selenium包时被一起安装的，使用的方式是conda install。很显然这种安装cffi包的方法与scrapy（使用pip安装）不兼容，所以，我们先卸装它，在使用pip进行安装：

      pip uninstall cffi
      pip install -i https://pypi.douban.com/simple cffi
      

总结

经过这么长时间的使用Mac M1，发现它安装python的一系列包是有所不同的，因为它本身是arm64，所以安装x86_64的包是肯定不行的。又因为我们用的miniforge3版本的conda（我理解类似arm版本），所以用conda install 安装的包基本上是arm版本的，例如用pip install pytorch肯定是用不起的，而用conda install -c conda-forge pytorch就行。 但是呢，这也不是绝对，像上面提到的cffi包，用pip安装反而能行。因此，在安装包的时候可以留意一下，该使用什么方式安装。