大数据学习(基础配置)

任务1:安装虚拟机,配置大数据平台宿主操作系统(CentOS 或者Ubuntu),Linux文件操作命令使用

一.安装虚拟机,配置大数据平台宿主操作系统

按照网上教程安装VM,然后按软件向导快速配置了Ubuntu17.04。同时也安装了CentOS,但还是觉得Ubuntu更好上手(桌面系统体验更好...)。所以学习阶段打算以Ubuntu为主。(操作之后也才知道不同的发行版本某些命令并不同,比如chkconfig并不能在Ubuntu运行)

笔记:比起直接从硬件上安装,虚拟机的快速安装省略了Ubuntu对各个文件,比如usr,swap,root等的分配。想进一步学习Linux,对Linux文件系统的了解应该是不可或缺的,还是得老老实实找点资料来看。

二.Linux文件操作命令使用

基础命令:

man 帮助

info 帮助

mata 时间

cal 日历

echo 显示字符串

cd 目录命令

nano 创建

cp 复制

mv 移动

rm 删除

su 用户转换

ps 查看系统状态.

*  通配符 任意长度的任意字符

通配符任意单个字符..

还有个重要的很重要的 apt-get,还有vi编辑的命令,目前也还不熟;还有查看IP的命令是 ip addr 和 ifconfig 

其他的嘛,目前差不多是用到了再去查书或者上网找。

大数据学习(基础配置)_第1张图片

笔记:

1.Linux区分大小写,Linux区分大小写,Linux区分大小写

2.不要用root权限乱删乱改东西,不要用root权限乱删乱改东西,不要用root权限乱删乱改东西。


问题:非常不习惯新的操作系统,特别是命令行操作

解决方法:多用用就好了,而且仔细想想,用命令行看起来应该很帅


三.ssh的配置

使用如下命令查看是否有ssh:

ps -A | grep ssh

如果显示的有sshd,那就是表示已经ssh可以使用,如果没有得先安装,使用如下指令就可以了:

sudo apt-get install openssh-server

然后再使用上面的指令,看看是不是出现了sshd进程。如果还没有就重新启动一下:

sudo /etc/init.d/ssh restart



任务2:配置Java开发环境并安装Eclipse;配置Python开发环境;安装MySQL并启动服务

一.配置Java开发环境

与在Windows配置的原理应该相同。现在网上找到最新的jdk下载,然后配置相应文件,方法有三种:(摘自http://www.cnblogs.com/samcn/archive/2011/03/16/1986248.html)


1.修改/etc/profile文件

如果你的计算机仅仅作为开发使用时推荐使用这种方法,因为所有用户的shell都有权使用这些环境变量,可能会给系统带来安全性问题。

2.修改.bash_profile文件

这种方法更为安全,它可以把使用这些环境变量的权限控制到用户级别,如果你需要给某个用户权限使用这些环境变量,你只需要修改其个人用户主目录下的.bash_profile文件就可以了。

3. 直接在shell下设置变量

不赞成使用这种方法,因为换个shell,你的设置就无效了,因此这种方法仅仅是临时使用,以后要使用的时候又要重新设置,比较麻烦。


我采用的是第二种方法,而且不知道是否是版本更新问题,实际上我应该修改的文件是个人目录下的.bashrc 文件。之后记得source下,

然后在终端运行一下java -version, 万事大吉。

二.安装Eclipse

1.下载,解压Installer

2.从Installer文件中安装IDE  FOR  JAVA  DEVELOPERS试试水

3.运行:运行前要修改目录下的eclipse.ini文件,添加jdk路径。

4.打开之后走流程,试试Hello world,搞定

大数据学习(基础配置)_第2张图片

三.配置Python开发环境

大多Linux应该都内置了Python2,但是版本不是我们想要的

目前3.6.2是最新,所以在网上下载扔在文件里,然后配置点东西。

cd到python文件目录下依次如下执行命令(讲道理具体作用我并不是很懂)

./configuremakemake install

然后我们将替换原有的python2

which python

找到python位置

然后将原文件备份(可能系统会用到旧版本),之后

#rm -rf python

#ln -s 你的python文件目录/Python-3.6.2/python ./python

尝试一下,成功更换。

四.安装MySQL并启动服务

sudo apt-get install mysql-server

apt-get install mysql-client

sudo apt-get install libmysqlclient-dev

一条一条的走起,中途会提示设置密码(root用户的)

sudo netstat -tap | grep mysql

通过上述命令检查之后,如果看到有mysql 的socket处于 listen 状态则表示安装成功。

mysql -u root -p

-u 表示选择登陆的用户名, -p 表示登陆的用户密码,上面命令输入之后会提示输入密码,此时输入密码就可以登录到mysql。

大数据学习(基础配置)_第3张图片

问题:从Windows下载压缩包后扔(鼠标拖)进虚拟机,压缩包可能出现问题

解决方法:直接在Linux系统下载

你可能感兴趣的:(大数据学习(基础配置))