《数据采集与预处理环境》实验环境安装

文章目录

  • 1.安装Python及第三方库
  • 2.jupyter notebook安装
  • 3.jdk安装
  • 4.MySQL安装
    • 1.在根目录下创建文件my.ini
    • 2.初始化
    • 3.安装服务
    • 4.启动服务
    • 5.登录
    • 6.配置环境变量
  • 5.hadoop安装
    • 1.文件解压缩,删除bin文件,解压缩apache-hadoop-3.1.3-winutils-master.zip文件,将bin文件复制到hadoop根目录中。
    • 2.在根目录下,新建tmp文件夹,在tmp下新建两个文件,文件名分别Wiedatanode和那么node。
    • 3.环境变量配置
    • 4.修改配置文件
    • 5.初始化
    • 6.启动hadoop
  • 6.kafka、flume、kettle

1.安装Python及第三方库

Python安装略,注意安装时选择add Python3.x to PATH。
安装第三方库时,因为使用默认源比较慢,改用清华镜像,
打开cmd,输入以下命令将默认源改为清华镜像下载:

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

第三方库安装,可以直接复制,然后在cmd下安装:

pip install PyMySQL
pip install urllib3
pip install requests
pip install bs4
pip install lxml
pip install scrapy
pip install kafka-python
pip install numpy
pip install pandas
pip install matplotlib
pip install xlrd
pip install openpyxl

安装好后,可以使用pip list检查是否已安装。

2.jupyter notebook安装

在cmd中输入

pip install jupyter notebook

安装好后,修改默认工作目录:
在cmd中输入:jupyter notebook --generate-config
会出现提示,在这里插入图片描述

根据提示找到对应文件,查找notebook_dir,将#c.NotebookApp.notebook_dir
改为
c.NotebookApp.notebook_dir = ‘D:\ftp\pypro’
注意
1.D:\ftp\pypro为默认文件路径,根据自己设置路径修改,注意设置路径时是两个\,如果1个可能会出错。路径可以包含汉字。
2.注意去掉#,并且c要顶格写。
3.如果此文件夹不存在,jupyter notebook会闪退。

3.jdk安装

注意安装时路径不要带空格,带空格容易出错。
添加环境变量:
1.选中用户变量Path,编辑,新建值为jdk的bin目录,如C:\soft\Java\jdk1.8.0_281\bin
2.新建系统变量JAVA_HOME,设置为jdk安装路径,如C:\soft\Java\jdk1.8.0_281。
3.在cmd中输入java -version测试是否安装成功,成功会提示版本信息。

4.MySQL安装

可以选择社区版的msi,双击安装即可,注意添加的密码,其他默认即可,安装完毕,重新打开,可以添加application,选择MySQL workbench,继续安装。
如果选择的是zip,解压缩后还需要对其进行配置和初始化。

1.在根目录下创建文件my.ini

其配置内容参考如下:

[mysqld]
skip-log-bin
# 设置3306端口
port=3306
# 设置mysql的安装目录
basedir=D:\mysql-8.0.22-winx64
# 设置mysql数据库的数据的存放目录
datadir=D:\mysql-8.0.22-winx64\Data
# 允许最大连接数
max_connections=200
# 允许连接失败的次数。
max_connect_errors=10
# 服务端使用的字符集默认为utf8mb4
character-set-server=utf8mb4
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
# 默认使用“mysql_native_password”插件认证
#mysql_native_password
default_authentication_plugin=mysql_native_password
[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8mb4
[client]
# 设置mysql客户端连接服务端时默认使用的端口
port=3306
default-character-set=utf8mb4

说明:
1.skip-log-bin这一句是为了创建自定义函数加的,如果不需要自定义函数,可以去掉。
2.basedir和datadir中的D:\mysql-8.0.22-winx64是我的文件安装目录,大家根据自己的目录修改。
有的文章说datadir值中的Data应该小写,我的大写,也不影响使用。

2.初始化

在cmd下,进入mysql的bin目录下,输入mysqld --initialize --console
–initialize表示初始化数据库, --console表示将初始化的过程在控制台显示。
初始化会创建Data文件,之前如果有Data会出错,不要提前创建,如果有,建议删除或改名。
初始化过程中会产生随机密码,注意要记下。后面登录会用到。

3.安装服务

在cmd下,继续输入mysqld -install MySQL,MySQL为自定义的MySQL服务的名称。如果提示服务已经存在“The service already exists”,则需要卸载,在cmd中输入 mysqld -remove MySQL。

4.启动服务

在cmd中输入net start MySQL以启动服务。也可以在服务中启动。

5.登录

在cmd中输入mysql -h 主机名 -u 用户名 -p 密码登录。
如果登录本机,可以省略掉-h 主机名.
登录后,需要修改密码,输入alter user ‘root’@‘localhost’ IDENTIFIED BY ‘123456’
修改本机的root账户的密码为123456.

6.配置环境变量

1.选中用户变量Path,编辑,新建值为mysql的bin目录,如D:\mysql-8.0.22-winx64\bin
2.新建系统变量MySQL_HOME,设置为mysql安装路径,如D:\mysql-8.0.22-winx64。

5.hadoop安装

hadoop解压缩时遇到一个问题,文件路径长度超过260字符,有些文件无法创建。
1.win+R,输入regedit打开注册表,在计算机\HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Control\FileSystem下,找到 LongPathsEnabled 设置为 1。
2.win+R,输入pdedit.msc,找到并打开文件(本地组策略编辑器)C:\Windows\System32\gpedit.msc,依次点开 计算机配置>管理模板>系统>文件系统,找到“启用win32长路径”并双击打开,选择“启用”选项,然后单击“确定”,然后重启计算机。如果解压缩不报错可以不重启。

1.文件解压缩,删除bin文件,解压缩apache-hadoop-3.1.3-winutils-master.zip文件,将bin文件复制到hadoop根目录中。

2.在根目录下,新建tmp文件夹,在tmp下新建两个文件,文件名分别Wiedatanode和那么node。

3.环境变量配置

新建系统变量HADOOP_HOME,设置位hadoop根目录,如C:\soft\hadoop-3.1.3。
选中用户变量path,编辑,新建值%HADOOP_HOME%\bin

4.修改配置文件

打开C:\soft\hadoop-3.1.3\etc\hadoop文件,修改core-site.xml文件,内容为:

<configuration>
     <property>
        <name>fs.default.namename>
        <value>hdfs://localhost:9000value>
    property>
 configuration>

修改hdfs-site.xml为:

<configuration>
     <property>
         <name>dfs.replicationname>
         <value>1value>
     property>
     <property> 
      <name>dfs.permissionsname> 
      <value>falsevalue> 
     property>
    <property>
        <name>dfs.namenode.name.dirname>
        <value>/C:/soft/hadoop-3.1.3/tmp/namenodevalue>
    property>
    <property>
        <name>dfs.datanode.data.dirname>
        <value>/C:/soft/hadoop-3.1.3/tmp/datanodevalue>
    property>
configuration>

/C:/soft/hadoop-3.1.3/根据自己路径修改
修改hadoop-env.cmd中的set JAVA_HOME后的值,改为
set JAVA_HOME=C:\soft\Java\jdk1.8.0_281

5.初始化

在cmd下输入:cd C:\soft\hadoop-3.1.3\bin切换到bin目录
输入:hdfs namenode -format
初始化一次即可,如果后续启动hadoop失败,可以删除namenode和datanode两个文件夹的内容,再重新初始化。

6.启动hadoop

在cmd中输入cd C:\soft\hadoop-3.1.3\sbin,
切换目录后,输入:start-dfs.cmd,弹出两个窗口,不要关闭。如果两个窗口的程序终止,出现提示符说明有问题,可以考虑重新初始化。如果没有自己停止运行,说明运行成功。

6.kafka、flume、kettle

自动解压缩即可。如果出错,可能Java设置有问题。

你可能感兴趣的:(python,mysql,hadoop)