Python--大数据

一、虚拟机

1.安装完成之后,进入虚拟机,进行编辑虚拟机配置

2.登录系统管理员,输入密码时是不会显示的,直接输完按回车进入

对虚拟机的IP进行修改

获取虚拟机的ip[centos7版本下可以使用ip a;低版本需使用ifconfig]

注:我是在VirtualBox上装的CentOS 7 Minimal，网上搜了一下原因，可能是CentOS 7的最小化安装少了一些工具，比如 ifconfig 及 netstat 等。因此解决办法很简单，把它们安装上就好了。

输入:sudo yum install net-tools命令进行安装

查看ip

检查是否安装成功可以运行可以通过主机与虚拟机互ping的操作

二、xshell和xftp

Xshell是一款功能强大且安全的终端模拟器,支持SSH,SFTP,TELNET,RLOGIN和SERIAL; shell呢就是一个命令解释器,它把用户输入的命令解释一下把它们送到内核去执行

Xftp是一个可以通过网络,实现本机与虚拟机互相传输文件的应用

1.打开xshell  可以选择新建会话,需要写入刚才获取的虚拟机IP

2.直接使用ssh 加上虚拟机IP,去连接

输入之前设置的用户名root 以及密码root,就OK

3.下面是Linux的一系列操作指令

• cd / :根目录

• cd ..:可进入上一层目录

• cd -:进入上一个进入的目录

• cd ~:可进入用户的home目录

• pwd 显示当前在哪个路径

• ls:列出文件和目录

• ls -a :显示隐藏文件

• ls -1:显示常列表格式

• mkdir :建立目录

• rmdir:删除空目录

• touch:建立新文件

• rm:删除目录(加上-r 是删除目录及其下面的所有文件 -rf 是删除时不提醒是否删除)

• mv 移动文件

• rmdir 单纯的删目录,不删文件

• cp 复制(cp data.txt data1.txt)

• echo 输出内容

• cat 查看纯文本文件(more 查看更多)

• head 查看前几行(head -n 2)

• su 后加用户名:切换用户

4.创建一个新的用户

useradd(或adduser)+用户名,再设置密码  用户名跟密码保持一致(至于他提示密码短无效什么的不用去理会)

对于圈起来的地方,做一个解释

root:登录系统的用户名

@:表示在

localhost :主机名

~:表示目录

5.了解一下linux里的目录结构

我们可以知道root目录是系统管理员,权限是最大的,也被称为超级管理员,可以在这里更改一切权限

/home 这是用户的主目录;并且linux中每一个用户都有自己的目录,目录名也就是账户的名字.如hadoop zhangsan

6.打开目录后出现

理解drwxrwxr-x :

文件权限属性: 第一个字符表示文件类型(有d的视为目录)之后的每三个字符一组 表示读写执行权限(r读就是查看,w写就是修改,x执行就是打开)第一组:所有者(当前用户) 第二组:组(用户组) 第三组:其他(其他用户)

如果需要求该权限,就要用到chmod ;对应的需要改变拥有者,使用chown

7.编辑文件

vi +文件名~~~~输入i进入编写模式,改完之后esc+shift+z[需要按两次];或者esc+:wq保存并退出

:wq表示保存当前修改内容并退出

:q表示不保存直接退出

:q!表示强制退出

编辑完成之后,需要刷新 输入命令source ~/.bashrc

,我们使用su切换到其他用户,来查看当前的文件cat+文件名

发现可以查看,说明有读的权限;接着尝试去更改vi一下,发现不能还会出现警告,这里涉及的是权限的问题

三、Linux文件命令

• 路径:在我们使用计算机时要找到需要的文件的位置,而表示文件的位置的方式就是路径

• 绝对路径:在Linux中,绝对路径从"/"开始,比如/usr /ect/passwd 如果一个路径从根/开始的,他一定是绝对路径

• 相对路径:相当于当前路径,或者是以. 或..开始的

• ~ 主目录,

• - 目录

• cd 切换目录(进入目录)

• pwd 显示当前目录

• . 当前目录 

• ..上一级目录

• / 根目录

1.创建文件:touch

作用:常用来创建空文件,如果文件存在,则修改这个文件的时间

文件时间有三种:

     访问时间:atime 查看时间

     修改时间:mtime 修改内容

     改变时间:ctime(changetime) 文件属性,比如权限

语法:touch 文件名

注:通过-d可以制定一个时间来创建一个文件

如:touch -d"20180725 10:10" zhangsan.txt

2.使用vim和重定向创建一个新文件

<1>用vim命令创建一个新文件

vim 文件名

<2>用重定向创建一个新文件

echo 内容>文件名(覆盖)

echo 内容>>文件名(追加)

3.创建目录

语法: mkdir 文件名

再创建一个目录的时候,如果这个目录的上一级不存在的话,要加参数-p

4.复制文件

命令:cp 源文件/目录 目标文件/目录

选项:-R/r 递归处理,将指定目录下的所有文件与子目录一并处理

5.删除文件

命令:rm

作用:可以删除一个目录中的一个或者多个文件或目录,对于链接文件,只是删除整个链接文件,而源文件保持不变的,类似于windows删除快捷方式.

语法:rm(选项) 处理对象

选项:-f 强制删除没有提示 -r删除目录

rm -rf(慎用,一定要在删除前确定一下所在目录,防止误删除重要数据)

6.移动文件

命令: mv 目标文件 目标位置

7.查看文件

命令:cat 文件名

作用:查看文件内容,一次显示整个文件的内容

命令:more 文件名

作用:以分页形式显示文件内容

命令:less 文件名

作用:more功能一样

Linux中more和less的区别

more:不支持后退,但几乎不需要参数,空格是向下翻页;enter键试想下翻一行,在不需要后退的情况下比较方便

less:支持前后翻滚,既可以向上翻页(PageUp键),也可以向下翻页(PageDown键),空格键是向下翻页,enter是向下翻一行,输入Q键退出

命令:head (选项) 文件名

参数:-n先是从头文件开始的行数

作用:用于显示文件的开头的内容,在默认情况下,head命令显示文件的头10行内容

命令:tail(参数) 文件名

-n 显示文件尾部多少行的内容

-f 动态显示数据(不关闭),厂用来看日志,也可以写成tailf

作用:用于显示文件中的尾部内容.默认在屏幕上显示指定文件的末尾10行