Perl进阶笔记（仅此一篇，持续更新）

pod文档

Getopt::Long

perl单行

使用Hash遇到的坑

Hash中的排序操作

安装Perl模块

6.1. 使用CPAN模块自动安装

6.2. 手工安装

6.3. 非root用户的另一个解决方案

循环匹配

chomp带来空行匹配的失败

perl中的grep函数

1. pod文档

使用pod文档可以实现程序usage说明

=head1 part1

    doc in part1

=head2 part2

    doc in part2

.
.
.

=cut    # pod文档结束的标志

注意：每个=标签上下必须隔一行，否则就会错误解析。

用pod2doc $0可以将程序中的文档打印出来，不过一般用在程序内部，当程序参数设定错误时打印pod文档：

die `pod2doc $0` if (...);

2. Getopt::Long

首先需要在脚本开头加上对该模块的引用

use Getopt::Long;

使用GetOptions函数承接传递的参数：

my ($var1,$var2,$var3,$var4); # 若使用"use strict"模式，则需要提前定义变量
GetOptions(
    "i:s"=>\$var1,
    "o:s"=>\$var2,
    "n:i"=>\$var3,
    "m:i"=>\$var4
    );

3. perl单行

执行perl -h可以查看perl的所有参数使用说明，使用perl单行需要使用到-e参数

$ perl -e 'print "hello world!\n"'

perl单行常用的场景为进行文本的逐行读取并操作，即隐式地开启while(<>)，需要使用-n参数

perl -ne
    'BEGIN{}
    ...
    END{}'
filename

BEGIN 和 END 区块根据需要进行添加

若需要在逐行读取的同时，自动将行中的元素打散 (split)，默认以\s（空字符，即空格或制表符）作为分割符，则需要使用-a参数，相当于在执行了@F = split $_，打散后的元素会保存在@F中

4. 使用Hash遇到的坑

在编写perl脚本的过程中，我们常常会将读入文件一行中的某两项（一行可能有多列，列与列之间用制表符\t隔开）作为相对应的两项，分别作为Hash的键（key)和值（value)，由于Hash这种数据结构要求key是唯一，而value可以重复，因此一般将唯一的那一项作为key，另一项作为value

但是，由于字符串首末端空字符的存在会导致一个意想不到的情况：

创建了两个Hash，让它们的key是一一对应的，而各自存储的value不同，当时在某些key字符串首末端混入了空字符，例如Hash1有一个key为"KEY"，Hash2有一个key为"KEY "，它们本来应该是一样的，但是由于空字符的存在，它们现在不一样了

这时候的解决方法是在构建Hash之前，不论实际的字符串的首末端有没有空字符串，都尝试将这些空字符串去掉：

# 假设读入的文件只有用制表符隔开的两列
while(){
    chomp;
    @recorder = split /\t/;
    $recorder[0] =~ s/(^\s+)|(\s+$)//g; # 去除开头和末尾的空字符串
    $recorder[1] =~ s/(^\s+)|(\s+$)//g; # 去除开头和末尾的空字符串
    $hash{$recorder[0]} = $recorder[1];
}

5. Hash中的排序操作

对key进行排序

其基本的语法结构为：

sort <排序规则> <排序对象>

若要对keys进行排序则排序对象就是keys，所以最后一项要写成keys %hash

# 按value排序
## 对hash的keys按hash value排序（按ASCII码排序）
sort { $hash{$a} cmp $hash{$b} } keys %hash
## 对hash的keys按hash value排序（按数字大小排序）
sort { $hash{$a} <=> $hash{$b} } keys %hash

# 按key排序
# 对hash的keys按hash key排序
sort {$a<=>$b} keys %hash

6. 安装Perl模块

查看perl模块的安装目录，主要就是@INC这个默认变量

perl -e '{print "$_\n" foreach @INC}'

若要临时添加perl模块的安装目录，则在perl脚本中shebang（#!/usr/bin/perl）后紧接着添加push(@INC,"...");命令，若是在perl单行中，则写成BEGIN{push(@INC,"...");}

若是要永久添加perl模块的安装目录，则修改PERL5LIB环境变量即可：

export PERL5LIB=/PATH/TO/LIB

查看已安装的Perl模块：

# 查看系统中安装的Perl模块
find  `perl -e 'print "@INC"'` -name '*.pm'
# 查看当前环境下所有的模块（一般为用户自己安装的）
instmodsh

查询单个perl模块的安装路径：

perldoc -l Getopt::Long

查看安装的perl模块的版本号

perl -MGetopt::Long -e 'print Getopt::Long->VERSION. "\n"'

装Perl模块有两种方法

自动安装 (使用CPAN模块自动完成下载、编译、安装的全过程)
手工安装 (去CPAN网站下载所需要的模块，手工编译、安装)

6.1. 使用CPAN模块自动安装

首先你得已经安装了CPAN，若没有执行以下命令：

# yum install perl-CPAN

安装前需要先联上网，有无root权限均可

$ perl -MCPAN -e shell

cpan>help
cpan>m
cpan>install Net::Server
cpan>quit

查询：cpan[1]> d /模块名字或者部分名字/

查询结果中会给出所有含有模块名字或者部分名字的模块，选择您所需要的模块进行下载

下载安装：cpan[1]> install 模块名字

同时会自动安装很多依赖的模块，非常方便。

6.2. 手工安装

一般情况下不推荐这种安装方式，但是总是会有迫不得已的时候，而且尝试这种方式，能加深对perl模块的理解。

比如从 CPAN下载了Net-Server模块0.97版的压缩文件Net-Server-0.97.tar.gz，假设放在/usr/local/src/下。

cd /usr/local/src
tar xvzf Net-Server-0.97.tar.gz
cd Net-Server-0.97
perl Makefile.PL
make test

如果测试结果报告all test ok，你就可以放心地安装编译好的模块了。

6.3. 非root用户的另一个解决方案

手动下载local::lib, 这个perl模块，然后自己安装在指定目录，也是能解决模块的问题！

下载之后解压，进入：

perl Makefile.PL --bootstrap=~/.perl ##这里设置你想把模块放置的目录
make test && make install
echo 'eval $(perl -I$HOME/.perl/lib/perl5 -Mlocal::lib=$HOME/.perl)' >> ~/.bashrc ##目录与前面要一致

等待几个小时即可！！！

添加好环境变量之后，就可以用

perl -MCPAN -Mlocal::lib -e 'CPAN::install(LWP)'

或有更简单的写法：

cpanm --local-lib=~/perl5 local::lib && eval $(perl -I ~/perl5/lib/perl5/ -Mlocal::lib)

7. 循环匹配

在李恒的github博客 On the definition of sequence identity 当中看到这样一个Perl单行代码：

$ perl -ane 'if(/NM:i:(\d+)/){$n=$1;$l=0;$l+=$1 while/(\d+)[MID]/g;print(($l-$n)/$l,"\n")}'

这行代码的目的是为了计算SAM文件中每条记录BLAST identity

BLAST identity是根据你比对到的碱基除去比对所涉及到的columns数目，换句话来说就是比对涉及到所有的碱基数目

例如这样的双序列比对：
Ref+:  1 CCAGTGTGGCCGATaCCCcagGTtgGC-ACGCATCGTTGCCTTGGTAAGC 49
         |||||||||||||| |||   ||  || ||||||||||||||||||||||
Qry+:  1 CCAGTGTGGCCGATgCCC---GT--GCtACGCATCGTTGCCTTGGTAAGC 45
它们的BLAST identity就是43/50=86%

那么要计算SAM文件中每条reads的BLAST identity，总长可以通过叠加CIGAR中对应的M/I/D的数目得到，比对到的碱基数目等于总长减去NMtag（比对不上的碱基位置的标记）

李恒的这行代码中有一部分一开始没有读懂，就是下图红框中的那部分：

其实这是一种简写方式，正规完整且更容易读懂的形式可以写成下面这样：

# 这里为了更好看，添加了适当的换行和缩进

$ perl -ane \
'if(/NM:i:(\d+)/){
    $n=$1;
    $l=0;
    while(/(\d+)[MID]/g){
        $l+=$1;
    }
    print(($l-$n)/$l,"\n");
}
'

while(/(\d+)[MID]/g)中的正则表达式/(\d+)[MID]/g，引起了我极大的好奇：它是在正则表达式后面添加了一个g字符，即开启了全局匹配，又由于是在while( )中进行的正则匹配，等于是开启了循环匹配，即对于CIGAR字符串18M3D22M，正则表达式/(\d+)[MID]/g，先会匹配上18M，然后会匹配上3D，最后匹配上22M

很有意思的用法

8. chomp带来空行匹配的失败

我常用正则表达式/^\s+$/来进行文件中空行的匹配

在用perl单行进行文本处理，我喜欢用一个固定的格式：

$ perl -ne 'chomp;...'

chomp在这里的作用是在每读入一行后，去除末尾的换行符

此时如果你要匹配的空行是/^\n/形式的，即这行只有一个换行符，被chomp处理过之后这一行就变成了/^$/形式的空字符的行，此时如果再用正则表达式/^\s+$/进行匹配，就会匹配失败

那么遇到这种情况应该怎么匹配呢？

使用/^\s?$/即可，元字符?的作用是匹配前面的字符0到多次

9. perl中的grep函数

grep有2种表达方式：

grep BLOCK LIST
grep EXPR, LIST

BLOCK表示一个code块，通常用{ }表示；

EXPR表示一个表达式，通常是正则表达式。原文说EXPR可是任何东西，包括一个或多个变量，操作符，文字，函数，或子函数调用；

LIST是要匹配的列表

grep的工作原理：

grep对列表里的每个元素进行BLOCK或EXPR匹配，它遍历列表，并临时设置元素为$_

在列表上下文里，grep返回匹配命中的所有元素，结果也是个列表。在标量上下文里，grep返回匹配命中的元素个数。

实例一：

open FILE ";

打开一个文件myfile，然后查找包含terrorism或nuclear的行。返回一个列表，它包含了文件的完整内容。可能你已发现，如果文件很大的话，这种方式很耗费内存，因为文件的所有内容都拷贝到内存里了

实例二：

foreach my $infile (grep { !/^\./ && -f "$indir/$_" } readdir(DIR)){
    ...
}

readdir(DIR)读入指点文件夹句柄DIR下的所有文件（包括以.开头的隐藏文件）的文件名，构成一个文件名列表 (list)，然后每一次读入一个文件名保存到临时变量$_中，传递给grep处理，先用!/^\./判断文件名是否以.开头，保证该文件不是隐藏文件，接着，通过-f "$indir/$_"判断该文件是否存在

参考资料：

(1) 生信菜鸟团：perl模块安装大全

(2) Heng Li's blog: On the definition of sequence identity

(3) 【】生信杂谈：怎样定义sequences比对的相似度？

(4) perl中grep的详细用法