平时工作也会写些命令行,但都要用的时候才记得,不成体系(忘了就百度),很多命令也老忘记。
这次跟着coggle的开源学习路径梳理一下,巩固基础。
也许你会问,数分还需要掌握这些么?对,不需要,和数据分析没什么关系,但牵扯到工程问题,你绕不开这些,最近也在研究一些国外的开源数据产品,感受到了国外数分or数据科学岗位对于技术的要求明显是高于国内的(没办法,人家领先了我们很多在数据技术这块,得承认)。
个人认为,对于数据技术的快速掌握能力,也是数据分析师OR数据科学家的一项非常重要的能力。东西拿来就能快速跑起来、应用起来,这非常重要!
工具/技术有很多,我们最终的目的是,在不同的数据场景下,从武器库中拿出最合适、最有战斗力的武器。
扯远了,也是最近的一些感悟吧。
进入正题~
使用命令行登录指定的Linux环境
平时工作也会写些命令行,但都是要用的时候才记得,不成体系(忘了就百度),很多命令也老忘记。
这次跟着coggle的路径梳理一下,再巩固下基础。
Xshell,YYDS,不多解释,工作中一般都用这。
1、安装
2、文件-新建-输入ip-用户名-密码
这节比较简单,水个任务~~~~
在目录下创建文件夹、删除文件夹
Linux目录结构
2、部分目录解释
- /bin
存放着经常使用的命令 - /boot
启动linux的文件(别乱删,不然gg) - etc
系统管理需要的配置文件 - /home
用户的主目录,比如说新建一个普通用户,该用户的目录入口就在这
/lib
系统最基本的动态连接库 - /opt
安装软件所在的目录(安装的软件都放这) - /tmp
临时目录 - /usr
(非常重要)应用程序和文件都在这,类似于 windows 下的 program files 目录 - /usr/bin
系统用户使用的应用 - usr/sbin
超级用户使用的比较高级的管理程序和系统守护程序
在 Linux 系统中,有几个目录是比较重要的,平时需要注意不要误删除或者随意更改内部文件。
/etc: 上边也提到了,这个是系统中的配置文件,如果你更改了该目录下的某个文件可能会导致系统不能启动。
/bin, /sbin, /usr/bin, /usr/sbin: 这是系统预设的执行文件的放置目录,比如 ls 就是在 /bin/ls 目录下的。
/bin, /usr/bin 是给系统用户使用的指令(除root外的通用户),而/sbin, /usr/sbin 则是给 root 使用的指令。
/var: 这是一个非常重要的目录,系统上跑了很多程序,那么每个程序都会有相应的日志产生,而这些日志就被记录到这个目录下,具体在 /var/log 目录下,另外 mail 的预设放置也是在这里.
参考链接:https://www.runoob.com/linux/...
Linux 文件与目录管理
1、绝对路径 、相对路径
- 绝对路径
说人话就是,“非常完整”的路径。
这里指的就是绝对路径,当前位置的完整路径(从根目录/开始) - 相对路径
指的就是,相对于当前位置的路径。
比如,现在从jims文件切到kuan文件下去,用..代表上一级目录的完整目录(就不用写/home/coggle/kuan这么长了)
2、处理目录的常用命令
- ls
列出目录及文件名 - cd
切换目录 - pwd
显示当前目录 - mkdir
创建目录 - rmdir
删除一个空目录 - cp
复制目录 - rm
删除文件/目录 - mv
移动文件/目录,还能修改文件/目录
另外,使用 man [命令] 来查看各个命令的使用文档,如 :man cp
3、练习
$ pwd # 当前目录
/home/coggle
$ mkdir Ceallach_Shaw #创建文件夹A
$ cd Ceallach_Shaw/ #进入文件夹A
$ pwd
/home/coggle/Ceallach_Shaw
$ mkdir coggle # 在A下创建文件夹B
$ ls
coggle
$ cd coggle/ # 进入文件夹B
$ mkdir txt # 在文件夹B下创建txt文件
$ ls
txt
$ rm -rf txt # 删除txt
$ ls
$ pwd
/home/coggle/Ceallach_Shaw/coggle
$ cd .. # 返回上一级目录
$ rm -rf coggle/ # 删除B文件夹
$ cd ..
$ rm -rf Ceallach_Shaw/ # 删除A文件夹
$ ls # 查看当前目录
4C79 LonelVino LonelVino.zip dongyu future_y jaychou_lyrics.txt lipufei myxc.tar.gz s2.sh t wordpress.zip
BelaF LonelVino.tar Sunny elics gzg jims myxc myxc.zip selenim.py.save test5.py
Janayt LonelVino.tar.gz dengniewei foldit hgw kuan myxc.tar panda_zhangs shell_0.sh turkeymz
$
在目录下下载文件、阅读文件
下载文件
一般情况下,都是用wget,从指定的URL下载文件,最大的优点就是比较稳定,网络适应性强(网速慢,也能稳定下载),就算是停电断网了,也能从历史下载位置继续下载。
1.1 单文件下载
wget http://www.linuxde.net/testfile.zip
1.2 下载并且以指定文件名保存
如下动态页面,如果不指定文件名保存,则保存为错误的文件名(download.aspx?id=1080)
wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080
1.3 断点续传
-C :代表重新启动下载中断的文件
wget -c http://www.linuxde.net/testfile.zip
1.4 后台下载
-b :下载大文件,后台进行下载
wget -b http://www.linuxde.net/testfile.zip
tail -f wget-log #查看进度
1.5 下载多个文件
先保存多个下载链接至txt文件,然后加上-i参数依次下载
cat > filelist.txt
url1
url2
url3
url4
wget -i filelist.txt
阅读文件
cat : 从第一行开始显示文件内容
tac : 从最后一行开始显示
nl :显示行号
more : 一页一页显示文件内容
less : 往前翻页
tail : 只看结尾几行
2.1 cat
-n : 打印行号(空白行也打印出来)
-b : 打印行号(不打印空白行)
2.2 tac
反着打印
2.3 nl
在打印行号的场景下,cat 和 nl二选一(我选cat)
2.4 more
- 空格键(Space) :向下翻一页
- Enter :向下滚动一行
- :f :立刻显示文件名以及目前显示的行数;
- q :立刻离开more,不再显示该文件内容
- b或[ctrl]-b:代表往回翻页,不过这操作只对文件有用,对管道无用。
2.5 less
翻页的场景,more、less二选一(我选less),直接能替代more
- 空格键(Space) :向下翻一页
- [PageDown]:向下翻动一页
- [PageUp]:向上翻动一页
- ?字符串:向上查询“字符串”这个关键字;
- q :代表立刻离开less,不再显示该文件内容
2.6 tail
-n 20 : 最后20行
-n +100 : 100行以后的行
注:head也有类似参数,参数含义和tail正好相反,-n 20代表前20行,-n -100代表除了最后100行都打印
练习
$ pwd
/home/coggle
$ mkdir Ceallach_Shaw # 创建文件夹
$ cd Ceallach_Shaw/
$ mkdir coggle # 在Ceallach_Shaw文件夹下创建coggle
$ ls
coggle
$ wget https://mirror.coggle.club/dataset/affairs.txt
--2021-11-16 00:48:38-- https://mirror.coggle.club/dataset/affairs.txt
Resolving mirror.coggle.club (mirror.coggle.club)... 113.229.252.249, 2408:8731:c001:2:3::3fb
HTTP request sent, awaiting response... 200 OK
Connecting to mirror.coggle.club (mirror.coggle.club)|113.229.252.249|:443... connected.
Length: 92161 (90K) [text/plain]
Saving to: ‘affairs.txt’
affairs.txt 100%[============================================================================>] 90.00K --.-KB/s in 0.04s
2021-11-16 00:48:38 (2.14 MB/s) - ‘affairs.txt’ saved [92161/92161]
$ ls
affairs.txt coggle
$ cat -n affairs.txt # 共6367行
....................
6363 4,22,2.5,0,3,0
6364 5,22,2.5,0,2,0
6365 5,32,13,2,3,0
6366 4,32,13,1,1,0
6367 5,22,2.5,0,2,0$
参考链接:
https://www.cnblogs.com/prett...
https://www.cnblogs.com/jixp/...
欢迎关注个人公众号:Distinct数说