简述

最近做有关大数据分析的项目,需要从服务器上下载数据,本能的想到用xftp来进行文件传输,这多方便啊,有图有真相,尝试连接了以下,失败,服务器的ftp服务没有开启……好吧,毕竟不是自己的服务器,只能从xshell下手,果然学习的进步都是因为需求啊。

查了下,一般都用scp,但是那是在linux系统之间进行文件数据传输的,要是windows与linux/unix之间进行跨平台传输还需要装额外的终端,搞笑,从来都是能不装就不装,能不配就不配的好吧,咱都用最方便的。

linux与windows之间的数据传输可以参看下面这片博客:

scp命令在linux和windows之间互传文件

正常轨迹下的用法也是有的:

Linux下scp的用法

但是还有更方便的方法securtCRT下的sc和rc命令。

SC与RC

sc:linux服务器发送文件到本地send client,客户端下载;

rc:linux服务器接收文件来自本地receive client,客户端上传;

命令的格式也很简单:

下载:

上传:

是不是很任性,输入完命令之后会直接跳出windows本地文件目录对话框,鼠标点击啊,确定啊,一键式傻瓜操作,等进度条走到底就好了。

大文件传输

额,可是,欢乐总是不能持久,在下载的时候竟然被警告说文件超过4G,下载失败,这我就不高兴了,你以为你是U盘啊,超过4G就拒绝啊,没办法,继续搜罗,原来只要将大文件分割以下就好了,这就用到了splitcat两个命令了。

先看一下我要下载的文件大小:

算算,差不多13个G吧,大数据真可怕,一个txt就这么大,简直就是蓝光高清大片啊。

split分割

通过split可以将文件分割成我们想要的数量或大小:

按大小分

这里-b就是按大小分的意思,大小可以直接加单位,G/M/K,人家可以识别出来的,在后面就是被分割的文件名或者路径,最后就是分割后文件的前缀了。

按行数分

如果有需求,还有很多参数可以设置,比如想要用数字作为文件后缀:

cat合并

分完还要合并啊,虽然我在windows上用不到,但是有分总有合,也试了一下,差不多就是正则匹配一下,合成一个。

当然,我是在windows上合并的,同样可以通过cmd来进行文件的合并

注意/b,要是没有加这个,在合并后目标文件的末尾会有一个终止符,/b意思指这是二进制文件,就不会有终止符啦。