最近准备和CoreSite - Any2 California接入商建立网络BGP邻居关系。从peeringdb上找到了所有接入商的信息,但是转移信息到本地不是很方便,需要进行多次文本调整,耗时较长。

grep/sed/awk实战_第1张图片


    作为萌新,立马就想到近期学习的grep/sed/awk工具。于是就尝试处理数据。


1、下载页面内容

> curl https://www.peeringdb.com/ix/142 > peering

将页面内容存入peering文件


2、删除无用信息

翻看网页,发现第一个行需要的信息是“2degrees”,最后一行是“Zscaler AS22616”

> grep -n '2degrees' peering    ##发现第一行是807
> sed -i '1,806'd peering         ##删除1-806行
> head peering                      ##检查
> grep -nA8 '22616' peering    ##发现最后一行是5161
> sed -i '5162,$'d peering        ##删除5161后的行
> tail peering                      ##检查

▼还有一种方法:

> egrep 'view_title right' peering
  
> sed -i '1,/2degrees/'d peering
> sed -i '/view_title right/,$'d peering

这种方式基本能删除不需要的信息。


3、观察剩余内容,提取关键词

▼样例:

    
      
        
          4 Less Communications, Inc.
        
        16912