今天想使用pyspark的交互模式下执行from pyspark.mllib.regression import LabeledPoint时,报了下面这个错误,错误提示没有安装numpy
下面介绍在Linux下安装python,步骤如下
1.安装xz,wget软件
yum install -y xz,wget
2.下载安装包
wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0a1.tar.xz
3.解压安装包
xz -d Python-3.6.0a1.tar.xz
tar -xvf Python-3.6.0a1.tar -C /usr/local/
4.进入到/usr/local/ Python-3.6.0a1目录下编译
./configure --prefix=/usr/local/python3/
出现如下错误
解决方法
安装GCC软件套件
yum install -y gcc
重新执行./configure --prefix=/usr/local/python3/
再执行make && make install
5.建立pyhton3的软链
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
6.安装setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26
tar -zxf setuptools-19.6.tar.gz
cd setuptools-19.6
python3 setup.py build
python3 setup.py install
报错: RuntimeError: Compression requires the (missing) zlib module
需要在linux中安装zlib-devel包,进行支持。
yum install zlib-devel -y
需要对python3.6进行重新编译安装。
cd /usr/local/Python-3.6.0a1/
make && make install
又是漫长的编译安装过程。
重新安装setuptools
cd setuptools-19.6
python3 setup.py build
python3 setup.py install
7.安装pip
wget --no-check-certificate https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb
tar -zxf pip-8.0.2.tar.gz
cd pip-8.0.2
python3 setup.py build
python3 setup.py install
如果没有搞好环境的话,会碰见亲切的报错:
pip3 install paramiko
报这个错
pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
然后开始进行如下操作
yum install openssl
yum install openssl-devel
cd python3.6.1
make && make install
下面介绍在Linux下安装numpy,步骤如下
1.下载源码包 ,命令如下
wget http://jaist.dl.sourceforge.net/project/numpy/NumPy/1.9.0/numpy-1.9.0.zip
若提示没有wget,则需要通过“yum install -y wget”安装wget
2.解压numpy-1.9.0.zip安装包
unzip numpy-1.9.0.zip
3.进入numpy-1.9.0
cd numpy-1.9.0
4.在numpy-1.9.0目录下运行解压目录里的setup.py 文件
python setup.py install
安装过程可能会提示以下错误
解决方法:安装devel
yum install -y python-devel
再重新执行python setup.py install
5.进入到numpy-1.9.0/numpy/tests,启动python,测试numpy是否安装成功
再回到pyspark的交互模式,可以正常导入包了