Ubuntu20.04 详细安装、配置Spark3.0.0教程（Pyspark）亲自测试
sudo passwd：更改root密码
su：可以直接切换root密码
apt-get -y install vim:安装编辑文件软件。
apt-get update
apt-get upgrade
---------------------------------------------------------------
安装sqlite3:
sudo apt-get install sqlite3
---------------------------------------------------------------
Ubuntu 22.04安装VMwearTools:
server版：sudo apt install open-vm-tools
桌面版：sudo apt install open-vm-tools-desktop open-vm-tools
安装VMwearTools:
1、点击VMware虚拟机工具栏里的重新安装VMwearTools
2、把光盘里的安装文件复制到本地进行文件提取
3、sudo ./vmware-install.pl
4、只要出现路径的就按下回车，出现【Yes/No】全部选择Yes。！
5、重启系统!
--------------------------------------------------------------
使用ubuntu自带python3.8.2:
sudo ln -s /usr/bin/python3 /usr/bin/python
--------------------------------------------------------------
安装zlib：sudo apt-get install zlib1g-dev
--------------------------------------------------------------
mysql安装
1、虚拟机网络设置成NAT模式
2、sudo apt install mysql-server
3、sudo mysql -u root -p（直接回车进入mysql）
4、创建用户和密码
CREATE USER 'root'@'%' IDENTIFIED BY 'newmysql';
5、权限赋给root用户，所有ip都能连接
GRANT ALL ON *.* TO 'root'@'%' WITH GRANT OPTION;
6、更新root密码否则，远程登录会报错
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'newmysql';
7、再次刷新
FLUSH PRIVILEGES;
8、sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
找到bind-address = 127.0.0.1 将其注释
esc
:wq（保存退出）
9、关掉mysql服务：sudo /etc/init.d/mysql stop
10、启动mysql服务：sudo /etc/init.d/mysql start
11、查看服务状态
sudo service mysql status
12、停止服务
sudo service mysql stop
13、启动服务
sudo service mysql start
14、重启服务
sudo service mysql restart
15、登录MySQL数据库
mysql -u root -p
16、卸载命令
需要完全清理MySQL时，可以完全卸载。
sudo apt purge mysql-*
sudo rm -rf /etc/mysql/ /var/lib/mysql
sudo apt autoremove
sudo apt autoclean
17、安装网络工具 apt install net-tools
18、查看IP地址：ifconfig
进行本机与虚拟机ping通
--------------------------------------------------------
安装redis
sudo apt-get install redis-server
找到etc/redis/redis.conf文件，在# requirepass foobared下面增加
requirepass 123456密码
按esc,输入：wq进行保存退出
测试：
$redis-cli
redis> set foo bar
OK
redis> get foo
"bar"
---------------------------------------------------------------------
nginx安装
apt-get安装nginx
apt-get install nginx
查看nginx是否安装成功
nginx -v
启动nginx
cd /etc/
service nginx start
在浏览器中输入127.0.0.1可以看到nginx欢迎页面
nginx删除
sudo apt-get --purge remove nginx
----------------------------------------------------------------
安装java
apt install openjdk-8-jre-headless
----------------------------------------------------------------
安装spark3.0
sudo chmod -R 777 /usr/local/
下载spark-3.0.0-bin-hadoop2.7.tgz 并且解压到/usr/local/ 下，并且更名为spark
vim ~/.bashrc
在下面增加两行：
export SPARK_HOME=/usr/local/spark
export PATH=${SPARK_HOME}/bin:$PATH
保存退出
最后激活环境变量
source ~/.bashrc
--------------------------------------------------------------------------------------------
安装 py4j
sudo pip3 install py4j
降低log4j级别
进入spark-2.4.0-bin-hadoop2.7下面的conf目录
cp conf/log4j.properties.template conf/log4j.properties
修改参数
vim conf/log4j.properties
将 log4j.rootCategory=INFO, console
替换为 log4j.rootCategory=ERROR, console
保存退出
--------------------------------------------------------------------------------------------
安装numpy
sudo pip3 install numpy
--------------------------------------------------------------------------------------------
运行 ./bin/pyspark
--------------------------------------------------------------------------------------------
安装mongodb
apt-get install gnupg -y
wget -qO - https://www.mongodb.org/static/pgp/server-4.2.asc | apt-key add -
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.2 multiverse" | tee /etc/apt/sources.list.d/mongodb-org-4.2.list
apt-get update -y
apt-get install mongodb-org -y
安装完成后，请启动MongoDB服务，并使用以下命令使其在重新启动时启动
systemctl start mongod
systemctl enable mongod
检查MongoDB服务的状态：systemctl status mongod
卸载MongoDB：
sudo apt-get --purge remove mongodb mongodb-clients mongodb-server
-----------------------------------------------------------------------------------------------
mongodb-compass安装
在官网下载mongodb-compass_1.21.1_amd64.deb文件
点击下载的文件，右键用软件安装打开即可，在应用程序里可以找到