大数据全套虚拟机（直接拿来用）

故事背景

因为有python的基础，我就跳着学，也就是直接来到了spark阶段
这个时候被虚拟机难住了，卖家只有视频，给我发了几个虚拟机都不对，没有办法.。我自己去配，在有相关文档的情况下去配置。结果一塌糊涂，这个没有基础的小伙伴来说，简直是太难了

我又尝试去SCDN找有没有现成，结果，全是文档教程，当时的内心“他们把配套组件，最简洁的文档发给我，我都没有配好，我要你这文档有什么用啊”
难道说会配置不重要，不。很重要，我们必须得会配，但绝对不是现在，我连这个软件这么用，底层原理我都不知道，我怎么配。举个例子，我想要组装玩具车，我至少得玩过玩具车吧。

直接拿去用（大数据全套虚拟机）

hadoop阶段
直接点07就可以用
spark阶段
个人建议直接点16
你能想到的，这里都有

链接：https://pan.baidu.com/s/1bfrZu9uUxZN-8ujj_DRtVQ
提取码：2qvu

我的搭建之路

2023/11/25

Java之前的全部配置好了

我是按照Hadoop_cento环境安装的文档

问题：我按照文档修改了IP，但是ifconfig查出来的IP和 /etc/sysconfig/network-scripts/ifcfg-ens33查出来的IP是不一样

重启就可以了

文档中的Java版本是jdk-8u65-linux-x64.tar.gz

但是配套资料的是jdk-8u65-linux-x64.tar.gz，对不上，我发现后面的代码指令用的都是1.8.0_65，没办法，去网上找对应版本下载，但是图片上对应的内容根本就找不到，找不到旧版的位置（对不熟悉的极为不友好）

我截屏识别他人博客的网站，才找到的，我可真是小天才，这也给我留一个心眼，下次我也博客，直接放连接，不放页面截图，因为它页面大概率后面会优化，但我不信你会换域名。

https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

最后，别傻乎乎的往下翻，用CTRL+F它不香吗

jdk-8u65-linux-x64.tar.gz

最后就是漫长的等待时间

它大爷的，还要注册

[email protected]
159357_Wjj

我最不想遇到的报错出现了

es%5Cimage-20231125085646213.png&pos_id=img-wikZ76Kq-1700909522534)

-- 原来是粘贴的时候，有空格,现在直接拿下面的去复制，可能依旧报错，报错就单独拿出来，保证中间没有空格

echo'export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >>/etc/profile

至此，我把快照搞好了

MySQL

mysql的安装到底有多麻烦，新手都体验过绝望，至此感受到有师傅带是多么幸福的一件事

我通过图形化界面工具，把目录删除了，

然后把windows上的目录内的两个文件移出来，重新上传。

这里再次遇到文件空格的情况

rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-communityserver-5.7.29-1.el7.x86_64.rpm

服了，看不懂的报错

回滚Java版本，重新装9点15

我搞错了，我以为是空格的问题，我用noedpade++依旧解决不了，不是这个问题。我又仔细看了报错，它的意思好像是我没有上传相关的压缩包到mysql5.7的目录中

我又通过ll发现文件里是有这个压缩包的，然后又发现好像是复制的问题，它把29复制成了26 ，表示极为的不理解

就是老师这个部分的代码有问题，这样一个一个安装是最保险的，不会有空格，还有老师最后一个**-搞成空格了，要不是用nodepad++**我真的发现不了

rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-5.7.29-1.el7.x86_64.rpm 
rpm -ivh mysql-community-client-5.7.29-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.29-1.el7.x86_64.rpm

如何验证MySQL能用？

我用进程查不到，是因为开了自启动吗？

但是我用datagrip可以连接

mysql -hlocalhost -uroot -p
-h数据库主机
-u用户
-p密码
-P端口号（大写P）

例如：mysql -h192.168.88.100 -uroot -p123456 -P3306
用这样的方式我能进去

我的验证方式

我用datagrip建了一个库，使用Linux的黑窗口，进入MySQL，再在黑窗口里查看数据库有那些，增加了一个库，确认能用。

集群搭建

1. 最保险的做法就是，先把克隆的虚拟机名称给改了，不改IP

echo node2 > /etc/hostname

2. 然后只开node2虚拟机，用相同的IP去连接node2，然后再在finallshell上复制粘贴修改node2的IP地址（这是最保险的）（下面的代码是错误的）

   sed-i's/192.168.88.102/'/etc/sysconfig/network-scripts/ifcfg-ens33
   

   原来修改虚拟机是必须要把之前的端口号也放上去，不然会报错，也就是说上面的代码是错的

   这个才是对的

   sed -i 's/192.168.88.100/192.168.88.102/'  /etc/sysconfig/network-scripts/ifcfg-ens33
   

3. shh免密登录

   1. 很奇怪，他们是没有把文件装好吗？为什么只能node1和2和3之间通信
   2. node2和node3不能通信，这是为啥

zookper的安装上，应该有一坑，

后面可能会导致不可用（我不知道这给是单独运行，还是每个都运行）

SPARK

chmod u+x Anaconda3-2020.07-Linux-x86_64.sh

sh ./Anaconda3-2021.05-Linux-x86 64.sh

/export/server/anaconda3