csdn这个坑先留着…传送门：https://github.com/louxinyao/Hadoop-spark

课程大纲本课程会介绍Hadoop/Spark各组件的架构，但不会涉及任何安装的内容，安装的教程、录像视频什么的网上到处都是，讲安装太浪费时间~Hadoop/Spark环境的安装请大家自行解决，建议用ClouderaCDH或者HortonworksHDP本课程目标是：给大家分享一些在网上不能随便就搜到的内容和窍门，展示企业线上生产系统中应用Hadoop、Spark的成功案例，以及与现有企业BI平台整

注意事项Hadoop是根据%JAVA_HOME%，%HADOOP_HOME%来确定位置的，所以需要在环境变量中设置这两个值，如下图：图片.pngHadoop路径设置好了，需要配置四个配置未见：core-site.xml，hdfs-site.xml，mapred-site.xml,yarn-site.xml,同时这些文件编码格式需要为UTF-8，否则在执行hdfsnamenode-format指令时

大数据Hadoop-Spark集群部署知识总结一、启动/关闭hadoopmyhadoop.shstart/stop分步启动：第一步：在hadoop102主机上sbin/start-dfs.sh第二步：在

1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.73.配置环境变量HADOOP_HOME:D:\bigdata\hadoop-2.7.2SPARK_HOME:D:\bigdata\spark-2.0.0-bin-hadoop2.7Path中添加：%HADOOP_HOME%\bin;%SPA

题记坚持学习一个东西真实一件很难的事情；对于关于hadoopspark的学习不知道从入门到放弃多少次了。首先是从scala的学习开始，学习近半年,这本书至少看了3遍，发现现在公司生产基本都是用java，后面java入门放弃后，在工作中还是学会了。在此之际发现大厂一般都要求会一点hadoopspark。无赖再次学习！希望能坚持下去，因为目前工作中用不到，这种东西没有实战很难有深刻的理解。废话不多说现

==简介：==本为为hadoop/spark开发环境的伪分布式搭建，基于centos6.4系统，由三个虚拟机构成搭建版本详情系统centos6.4hadoop版本hadoop-2.6.0-cdh5.7.0spark版本spark-2.2.0-bin-2.6.0-cdh5.7.0管理员：root用户：hadoop(拥有所有权限)网络IP的配置#vim/etc/sysconfig/network中配置

前言最近公司说要用Hadoop-Spark做个东西，可是公司不给批Linux服务器。。。。（所以IDC这个部门只是专门用来找麻烦的吗？）

hadoop集群安装见：https://blog.csdn.net/qq_25948717/article/details/80299499先去下载spark：https://mirrors.cnnic.cn/apache/，和scala：https://www.scala-lang.org/download/，因为spark使用scala开发，要先安装scala。解压到/home/yexin/t

环境：centos+hadoop2.5.2+scala-2.10.5+spark1.3.11、从http://spark.apache.org/downloads.html下载编译好的spark  2、准备scala    从http://www.scala-lang.org/ 下载scala-2.10.5.rpm。不下载2.11，因为下载2.11要重新编译spark    安装scala