ubantu+hadoop+spark+scale分布式数据分析框架搭建

写在前面的话

最近课程需要，需要搭建基于Luix系统的虚拟开发环境，说实话，刚开始什么都不会。（呜呜呜），有句话说的好，你不知道怎么做的时候就去做，经过好几天的努力，终于把环境搞好了。于是写下笔记，希望能帮到有需要的朋友们！，这次可真的是保姆级教程！

注注：链接有点多，但都是亲测有效有用，一步一步问题不大！

首先，感谢我曾经浏览过的大佬文章！

(244条消息) ubuntu下hadoop安装与配置【初学者】_ppandpp的博客-CSDN博客

(235条消息) hadoop安装教程（一次填完所有的坑）_杨林伟的博客-CSDN博客_hadoop安装

(244条消息) hadoop集群启动后datanode没有启动_Engineer-hu的博客-CSDN博客

(244条消息) Hadoop集群配置之后浏览器无法访问问题_lyc0424的博客-CSDN博客

(244条消息) Ubuntu下安装和配置Scala教程_数据圈的博客-CSDN博客

配置的核心思想：其实仔细想想和windows安装软件是一样的。最大的不同可能就是没有安装助手，一路的next。但是思路还是一样的：下载，配置，启动就这三步。

1. Lnuix虚拟机的下载与安装（这是基础）

        1.1 这里推荐ubantu。其他发现版本也是可以的。       

Ubuntu系统下载 | Ubuntuhttps://cn.ubuntu.com/download        1.2 ubantu安装教程：说明（这里的安装是指虚拟环境的安装）

        现在普遍流行的虚拟机软件就是大名鼎鼎的VMVARE。但是VMVARE太大了对电脑系统要求比较高。（浅说一下，本人电脑曾被这东西搞得磁盘报废）不过电脑配置高得肯定没问题。

        下载链接：VMware Workstation Pro | CNhttps://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html

       安装教程： 

(VMware及win10虚拟机的安装及环境配置_&小小白&的博客-CSDN博客https://blog.csdn.net/qq_52916408/article/details/118412674        下面就是把ubantu安装在虚拟机软件里面

        (Ubuntu（Linux）虚拟机的安装教程（最为详细）_杂货店的阿猿的博客https://blog.csdn.net/weixin_45877759/article/details/107017669    到这里经过上述的步骤，达到的效果就是能在虚拟机里面把ubantu打开。如果能够实现下图就ok了:

 

2.Xshell和Xftp下载和配置（这个是为了实现window上操作虚拟机）

        2.1 xhell和xftp的安装

       XShell免费版的安装配置教程以及使用教程CSDN博客https://blog.csdn.net/SoloVersion/article/details/123854852

        2.2 用的时候可能遇到问题

              2.2,1 打开不知道怎么链接

              2.2.2 链接总是显示无法建立链接

                        Xshell连接虚拟机失败的解决方法https://blog.51cto.com/u_15437298/4695355

3. SSH的安装和配置（这是是为了实现远程登录的）

        3.1安装

                (Ubuntu系统下安装ssh的方法https://blog.csdn.net/LastNight_Will/article/details/104896806

        3.2配置

               (Ubuntu: 配置ssh，保姆级教程_起源芝麻的博客https://blog.csdn.net/weixin_44197719/article/details/119888235

4. hadoop下载和安装配置（这个就是分布式计算和开发的软件）

        4.1下载和配置
ubuntu下hadoop安装与配置https://blog.csdn.net/qq_42970173/article/details/88847398        4.2成功的标志

            

 

 

        4.3可能遇到的问题

                4.3.1 datanode无法启动

(Hadoop启动datanode失败或无法启动_liang墨竹的博客https://blog.csdn.net/oschina_41140683/article/details/80332080                4.3.2 浏览器访问hadoop 50070访问不了

 (Hadoop的50070端口无法用浏览器打开_51CTO博客https://blog.51cto.com/u_15076209/4357314#:~:text=Hadoop%E7%9A%8450070%E7%AB%AF%E5%8F%A3%E6%97%A0%E6%B3%95%E7%94%A8%E6%B5%8F%E8%A7%88%E5%99%A8%E6%89%93%E5%BC%80%201%201.%20%E6%8E%92%E6%9F%A5Namenode%E6%98%AF%E5%90%A6%E9%83%A8%E7%BD%B2%E6%88%90%E5%8A%9F%20%E6%8E%92%E6%9F%A5Namenode%E6%98%AF%E5%90%A6%E9%83%A8%E7%BD%B2%E6%88%90%E5%8A%9F%E5%8F%AF%E4%BB%A5%E9%87%87%E7%94%A8%E5%91%BD%E4%BB%A4%2Fetc%2Finit.d%2Fhadoop-0.20-namenode%20status%E6%88%96jps%E4%B8%A4%E7%A7%8D%E6%96%B9%E5%BC%8F%E4%B9%8B%E4%B8%80%E6%9F%A5%E7%9C%8B%EF%BC%8C%E5%A6%82Namenode%E6%9C%AA%E9%83%A8%E7%BD%B2%E6%88%90%E5%8A%9F%EF%BC%8C%E9%9C%80%E9%87%8D%E6%96%B0%E9%83%A8%E7%BD%B2Namenode%EF%BC%9B%E8%8B%A5%E5%B7%B2%E9%83%A8%E7%BD%B2%E6%88%90%E5%8A%9F%EF%BC%8C%E8%AF%B7%E8%BF%9B%E8%A1%8C%E7%AC%AC%E4%BA%8C%E6%AD%A5%E6%8E%92%E6%9F%A5%EF%BC%81%202%202.,3.%E6%8E%92%E6%9F%A5%E9%98%B2%E7%81%AB%E5%A2%99%E6%98%AF%E5%90%A6%E5%BC%80%E5%90%AF%20%E6%8E%92%E6%9F%A5%E9%98%B2%E7%81%AB%E5%A2%99%E6%98%AF%E5%90%A6%E6%AD%A3%E5%B8%B8%E5%BC%80%E5%90%AF%EF%BC%8C%E5%A6%82%E6%9E%9C%E9%98%B2%E7%81%AB%E5%A2%99%E5%85%B3%E9%97%AD%E4%BA%86%EF%BC%8C%E5%8F%AF%E6%8C%89%E7%85%A7%E4%BB%A5%E4%B8%8B%E6%96%B9%E5%BC%8F%E8%BF%9B%E8%A1%8C%E8%AE%BE%E7%BD%AE%EF%BC%9A%20centos7%E7%9A%84%E6%96%B9%E5%BC%8F%EF%BC%9A%20systemctl%20status%20firewalld.service%20%23%E6%9F%A5%E7%9C%8B%E9%98%B2%E7%81%AB%E5%A2%99%E7%8A%B6%E6%80%81%20

5. Spark下载和安装配置（这个也是分布式计算软件）

        5.1下载和配置

               (Spark安装（Ubuntu环境下）_刘金宝_Arvin的博客-CSDN博客https://blog.csdn.net/qq_36743482/article/details/78317549?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-78317549-blog-115441977.pc_relevant_recovery_v2&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-78317549-blog-115441977.pc_relevant_recovery_v2&utm_relevant_index=1

        5.2成功的标志

        

 

 

        5.3可能遇到的问题

                5.3.1没有显示slave.xml（子节点配置设置文件）

                5.3.2 spark web 界面打不开(Spark的conf目录下没有slaves文件 排骨学长https://blog.csdn.net/weixin_52450014/article/details/121022225(Spark 无法打开WebUI界面的解决方法_林暗惊风的博客 spark启动web uihttps://blog.csdn.net/weixin_44028403/article/details/116780483

6. scale下载安装和配置（多范式编程语言的软件）

        6.1下载和配置

(Ubuntu下安装和配置Scala教程_数据圈的博客https://blog.csdn.net/shengmingqijiquan/article/details/52388285

        6.2成功的标志

 

        6.3可能遇到的问题

               很简单，没有太多配置，把路径写对就行！

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

hadoop配置文件参数（里面不要全copy看自己的需求选择性copy）

(hadoop安装教程（一次填完所有的坑）_杨林伟的博客https://blog.csdn.net/qq_20042935/article/details/125170230spark配置文件参数（里面不要全copy看自己的需求选择性copy）

( spark-env.sh配置_侠客刀的博客-CSDN博客https://blog.csdn.net/qq_33202508/article/details/114658823

写在最后的话：本文更像是一些优质blog的聚集，他们聚在一起帮助我们更高效的配置好环境。不用就像要解决一个问题，找好好几十篇还解决不了。

最后，写作不易，如果对你有所帮助，请留下点赞再走！