回车和换行关于“回车”(carriage return)和“换行”(line feed)这两个概念的来历和区别。
在计算机还没有出现之前,有一种叫做电传打字机(Teletype Model 33)的玩意,每秒钟可以打10个字符。但是它有一个问题,就是打完一行换行的时候,要用去0.2秒,正好可以打两个字符。要是在这0.2秒里面,又有新的字符传过来,那么这个字符将丢失。
于是,研制人员想了个办法解决这个问题,就是在每行后面加两个表示结束的字符。一个叫做“回车”,告诉打字机把打印头定位在左边界;另一个叫做“换行”,告诉打字机把纸向下移一行。
这就是“换行”和“回车”的来历,从它们的英语名字上也可以看出一二。
后来,计算机发明了,这两个概念也就被般到了计算机上。那时,存储器很贵,一些科学家认为在每行结尾加两个字符太浪费了,加一个就可以。于是,就出现了分歧。
Unix系统里,每行结尾只有“<换行>”,即“/n”;Windows系统里面,每行结尾是“<换行><回车>”,即“/r/n”;Mac系统里,每行结尾是“/r”。
一个直接后果是,Unix/Mac系统下的文件在Windows里打开的话,所有文字会变成一行;而Windows里的文件在Unix/Mac下打开的话,在每行的结尾可能会多出一个^M符号。
Windows系统里面,每行结尾是“<换行><回车>”,即“/r/n”————此处有误,恰好将顺序颠倒了,从下面可以例子看出来。
下面在Linux中看看实际操作的效果。
先生成一个换行(/n, 0x0A)和回车(/r, 0x0D)组合的文本
$ echo -en '12/n34/r56/n/r78/r/n' > tmp
以十六进制方式查看文本
$ od -t x1 tmp
0000000 31 32 0a 33 34 0d 35 36 0a 0d 37 38 0d 0a
0000016
在Linux的vim中的显示效果
在windows的记事本中的显示效果
可见Linux中遇到换行符会进行回车+换行的操作,回车符反而只会作为控制字符显示,不发生回车的操作。而windows中要回车符+换行符才会回车+换行,缺少一个控制符或者顺序不对都不能正确的另起一行。
2.利用sed 命令去掉windows下回车符及空白符
windows下的回车符为 /r/n 而unix下的回车符是 /n
1.去掉所有行的空格
sed -i 's/ //g' df.txt
2.去掉所有行的空格
sed -e 's/ //g' df.txt >cwm.txt
3.将每一行拖尾的“空白字符”(空格,制表符)删除
sed 's/ *$//' df.txt >cwm.txt
4.将每一行中的前导和拖尾的空白字符删除
sed 's/^ *//;s/ *$//' df.txt >cwm.txt
5.去掉空行
sed '/^$/d' df.txt >cwm.txt
sed -e '/^$/d' df.txt >cwm.txt
sed -i '/^$/d' df.txt
这三个是等价的 但第三个会改变原文件
6.去掉windows下的回车符 (注意^M 在linux 下写法 按^M 是回车换行符,输入方法是按住CTRL+v,松开v,按m)
sed -i 's/^M//g' df.txt
7.去掉windows下的回车符 (注意^M 在linux 下写法 按^M 是回车换行符,输入方法是按住CTRL+v,松开v,按m)
sed -e 's/^M//g' df.txt >cwm.txt
8.sed 用正则表达式 8个字符一组换行
echo "aaaaaaaabbbbbbbbccccccccdddddddd"|sed 's/./{8/}/&/n/g'
aaaaaaaa
bbbbbbbb
cccccccc
dddddddd
也等价于
dos2unix df.txt >cwm.txt
----------------------------------------------------------------------------------------------
******如何去掉文件中行尾的回车符号^M******
sed 's/^M//g w newfilename' oldfilename
其中:
s 表示Searchg 表示搜索全文,缺省是搜索第一个^M 是回车换行符,输入方法是按住CTRL+v,松开v,按m
w 表示写到新文件中.
例子1
86103113234778,
86103145878770,
86103116778768,
86103111879708, sed 's/^86//;s/,$//' user.txt #去掉开头的86 及尾部的,号
例子2
103113234778
103145878770
103116778768
103111879708
sed -e 's/^/86/' user.txt #每行行首加上86
86103113234778
86103145878770
86103116778768
86103111879708
------------------------------------------------------------------
我有一个文件:
aaa,
bbb,
ccc,
ddd,
eee,
fff,
想删除第3,6,9。。。的空行并且合并12,45,78。。。行,
结果如下:
aaa,bbb,
ccc,ddd,
eee,fff,
.......
解法
sed -e '/^$/d' -e 'N;s//n//g'
或
sed 'N;N;s//n//g' (行数必须是3的倍数,不然最后一行不对)
对于替换单引号外层应加双引号