Win10+python3.6+jdk1.8+spark2.4.3+hadoop2.7.6

Win10+python3.6+jdk1.8+spark2.4.3+hadoop2.7.6
1.下载安装jdk
(1)创建oracle账户:用户名******、密码:******;
https://download.oracle.com/otn/java/jdk/8u221-b11/230deb18db3e4014bb8e3e8324f81b43/jdk-8u221-windows-x64.exe
(2)因为我下载的时候要注册,注册的激活邮件一直不发给我,于是,第二种方法:跟别人要了安装包,哈哈哈哈。
链接:https://pan.baidu.com/s/1wgzzEeU5aw9GseFf63n0zQ
提取码:ay74
复制这段内容后打开百度网盘手机App,操作更方便哦
(3)安装步骤
步骤1:下载安装jdk1.8版本,只要一步一步装即可,直至安装完成。
步骤2:安装完后,点击桌面计算机,右键属性,在左边点击“高级系统设置”,点击 高级->环境变量,这是点击下面的系统环境变量->
①设置CLASSPATH
新建系统环境变量
变量名 JAVA_HOME
变量值 D:\Java\jdk1.8.0_221(该值是jdk的具体安装路径 D:\Java\jdk1.8.0_221,即jdk具体物理的位置 )
②设置CLASSPATH。
新建系统环境变量
变量名 CLASSPATH
变量值 .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意:该值设置时, 一定要注意前面的 . 符号)
③设置PATH。
找到PATH,选择编辑
变量名 PATH
变量值 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;(注意:直接把这句话放到 path的最前面即可)
2.下载安装并配置Spark
从官方网站http://spark.apache.org/downloads.html下载相应版本的spark,因为spark是基于hadoop的,需要下载对应版本的hadoop才行;
(1)新建系统环境变量
变量名:SPARK_HOME
变量值:D:\spark
(2)设置PATH
添加变量值:%SPARK_HOME%\bin
添加变量值:%SPARK_HOME%\sbin
(3)进入spark安装目录的python文件夹,cd E:\spark\python
输入命令 python setup.py install,等待安装完成。
3.下载Hadoop
进入官方网站Apache Hadoop下载2.7.6 binary版本,其中source版本是该版本hadoop的源代码,下载以后解压到D:\hadoop-2.7.6,为了后续操作方便,解压以后修改文件夹名称为hadoop,这样文件夹就是E:\hadoop;
(1)新建系统环境变量
变量名:HADOOP_HOME
变量值:D:\hadoop
(2)设置PATH
变量值:%HADOOP_HOME %\bin
变量值:%HADOOP_HOME %\sbin
4.从网站https://github.com/srccodes/hadoop-common-2.2.0-bin下载文件,复制其中的winutils.exe和winutils.pdb到hadoop的安装文件夹中,复制目录为:D:\hadoop\bin。
5.打开cmd,输入pyspark启动,若出现如下界面,则安装成功。
Win10+python3.6+jdk1.8+spark2.4.3+hadoop2.7.6_第1张图片
遇到的问题:
如果输入pyspark提示系统找不到路径,那么问题是:java默认安装路径是:C:\Program Files\Java…中Program Files之间存在空格导致,重新选择java安装路径就可以!

你可能感兴趣的:(大数据)