caokai001
caokai001

HiCpro-HiCplotter

一、HiC-Pro 简介

HiC-Pro是目前比较流行的HiC数据标准化处理工具之一，其流程主要分为6个步骤，比对、过滤HiC比对结果、检测有效HiC序列、结果合并、构建HiC关联图谱以及关联图谱标准化。

HiC-Pro可以输出各个尺度的HiC标准化互作图谱，从每个窗口5Kb到1Mb，当然窗口越大，所生成的互作关系越少，计算时间就越少，反之则越多。同时HiC-Pro能与下游的可视化软件HiCPlotter等兼容，输出文件可以直接用于可视化分析。

二、HiC-Pro 原理

HiC-Pro的比对mapping的原理如下图所示，我们拿到了Hi-C的测序数据，HiC-Pro设置好配置文件自动进行批量化处理流程

image

HiC-Pro能够自动化的比对，标准化和构建相互作用矩阵，在处理多样化的测序数据时，HiC-Pro能够检测和自动过滤测序数量差的reads和无效的片段。

三、下载安装

（1）下载地址：

https://github.com/nservant/HiC-Pro

（2）安装：

依赖软件还是比较多，分别如下。

bowtie2、g++、sort、samtools（>1.1）Python2 (注释是2，3不支持version >=2.7)、4个Python模块（pysam (>=0.8.3)， bx-python(>=0.5.0), numpy(>=1.8.2), scipy(>=0.15.1) ）R、以及两个R包（RColorBrewer和ggplot2 (>2.2.1) ）

（3）解压安装：

unzip HiC-Pro-master.zip && make configure && make install （安装成功如下所示）HiC-Prousage : HiC-Pro -i INPUT -o OUTPUT -c CONFIG [-s ANALYSIS_STEP] [-p] [-h] [-v]Use option -h|--help for more information[zhangsan@wei ~]$ HiC-Pro -husage : HiC-Pro -i INPUT -o OUTPUT -c CONFIG [-s ANALYSIS_STEP] [-p] [-h] [-v]Use option -h|--help for more informationOPTIONS   -i|--input INPUT : input data folder; Must contains a folder per sample with input files   -o|--output OUTPUT : output folder   -c|--conf CONFIG : configuration file for Hi-C processing   [-p|--parallel] : if specified run HiC-Pro on a cluster   [-s|--step ANALYSIS_STEP] : run only a subset of the HiC-Pro workflow; if not specified the complete workflow is run  mapping: perform reads alignment - require fast files  proc_hic: perform Hi-C filtering - require BAM files  quality_checks: run Hi-C quality control plots  merge_persample: merge multiple inputs and remove duplicates if specified - require .validPairs files  build_contact_maps: Build raw inter/intrachromosomal contact maps - require_allValidPairs files  ice_norm : run ICE normalization on contact maps - require .matrix files  [-h|--help]: help  [-v|--version]: version

其实最重要的是三个参数，通过帮助文档我们可以发现HiC-Pro使用起来十分方便，但最重要的就是配置文件（configuration-file )的设置。

(4）注释文件

为了处理HiC-Pro的原始文件，我们需要3个注释文件

bed文件：包含限制性酶切位点的文件，其依赖于限制性内切酶和参考基因组

染色体大小文件：这个文件可以在UCSC基因组浏览器上下载

bowtie2 indexes ：查看bowtie2说明文档建立基因组index文件

四、软件运行

将'config-hicpro.txt'文件复制粘贴到当前文件夹，然后进行编辑修改，具体如何详细修改参见config文件的说明文档

将输入文件按照如下形式放在有个rawdata文件夹中，如下所示

  • PATH_TO_MY_DATA

  • sample1
    ++ file1_R1.fastq.gz
    ++ file1_R2.fastq.gz
    ++ …

  • sample2
    ++ file1_R1.fastq.gz
    ++ file1_R2.fastq.gz
    …

运行HiC-Pro程序

MY_INSTALL_PATH/bin/HiC-Pro -i FULL_PATH_TO_DATA_FOLDER -o FULL_PATH_TO_OUTPUTS -c MY_LOCAL_CONFIG_FILE

Hi-C数据测试

一个非常小的fastq 文件(2M reads)用于Hi-C测试，数据数据来源于Dixon et al 2012

wget https://zerkalo.curie.fr/partage/HiC-Pro/HiCPro_testdata.tar.gz && tar -zxvf HiCPro_testdata.tar.gz

编辑configuration 文件，设置bowtie2 indexes的路径
运行 HiC-Pro

HICPRO_INSTALL_DIR/bin/HiC-Pro -c config_test_latest.txt -i test_data -o hicpro_latest_test vendredi 13 juillet 2018, 14:55:21 (UTC+0200) Bowtie2 alignment step1 ... Logs: logs/dixon_2M_2/mapping_step1.log Logs: logs/dixon_2M/mapping_step1.log vendredi 13 juillet 2018, 14:56:06 (UTC+0200) Bowtie2 alignment step2 ... Logs: logs/dixon_2M_2/mapping_step2.log Logs: logs/dixon_2M/mapping_step2.log vendredi 13 juillet 2018, 14:56:15 (UTC+0200) Combine R1/R2 alignment files ... Logs: logs/dixon_2M_2/mapping_combine.log Logs: logs/dixon_2M/mapping_combine.log vendredi 13 juillet 2018, 14:56:20 (UTC+0200) Mapping statistics for R1 and R2 tags ... Logs: logs/dixon_2M_2/mapping_stats.log Logs: logs/dixon_2M/mapping_stats.log vendredi 13 juillet 2018, 14:56:21 (UTC+0200) Pairing of R1 and R2 tags ... Logs: logs/dixon_2M_2/mergeSAM.log Logs: logs/dixon_2M/mergeSAM.log vendredi 13 juillet 2018, 14:56:29 (UTC+0200) Assign alignments to restriction fragments ... Logs: logs/dixon_2M_2/mapped_2hic_fragments.log Logs: logs/dixon_2M/mapped_2hic_fragments.log vendredi 13 juillet 2018, 14:57:09 (UTC+0200) Merge chunks from the same sample ... Logs: logs/dixon_2M/merge_valid_interactions.log Logs: logs/dixon_2M_2/merge_valid_interactions.log vendredi 13 juillet 2018, 14:57:09 (UTC+0200) Merge stat files per sample ... Logs: logs/dixon_2M/merge_stats.log Logs: logs/dixon_2M_2/merge_stats.log vendredi 13 juillet 2018, 14:57:10 (UTC+0200) Run quality checks for all samples ... Logs: logs/dixon_2M/make_Rplots.log Logs: logs/dixon_2M_2/make_Rplots.log vendredi 13 juillet 2018, 14:57:22 (UTC+0200) Generate binned matrix files ... Logs: logs/dixon_2M/build_raw_maps.log Logs: logs/dixon_2M_2/build_raw_maps.log vendredi 13 juillet 2018, 14:57:23 (UTC+0200) Run ICE Normalization ... Logs: logs/dixon_2M/ice_500000.log Logs: logs/dixon_2M/ice_1000000.log Logs: logs/dixon_2M_2/ice_500000.log Logs: logs/dixon_2M_2/ice_1000000.log

五、结果查看

-o 输出文件夹中，共有bowtie_results和hic_results两个结果文件夹。

其中bowtie_results文件夹下共有三个文件夹：bwt2、bwt2_global和bwt2_local，分别是序列比对结果、染色体间关联比对结果和染色体内部关联比对结果。其中bwt2文件夹下有一些数据统计结果的输出文件，如mpairstat文件等。

Total_pairs_processed    23546961    100.0Unmapped_pairs    22197   0.094Low_qual_pairs    0   0.0Unique_paired_alignments    17744193    75.357Multiple_pairs_alignments    462162  1.963Pairs_with_singleton    5318409 22.586Low_qual_singleton    0   0.0Unique_singleton_alignments    0   0.0Multiple_singleton_alignments    0   0.0Reported_pairs    17744193    75.357

hic_results文件夹下共有data、matrix以及pic三个文件夹。data文件夹下是比对上的有效序列对，文件末尾为_allValidPairs；pic文件夹下是各类结果数据统计下图所示；matrix文件夹下分为 iced 和 raw 两个文件夹，分别标准化后的关联矩阵和初始的关联矩阵。

六、HiCPlotter可视化

1. HiCPlotter的介绍：

  • python 脚本，不需要安装

  • 与HiC-Pro 兼容，设置相对应的参数即可可视化HiC结果

  • HiCPlotter基本可以做出三维基因组分析的大部分结果，应用方便快捷，唯一的就是调色比较麻烦（相对于它的简单快捷可以忽略不计啦）

先展示一下HiCPlotter的便捷

##  Plot the genome-wide map at 1Mb resolutionpython HiCPlotter.py -f hic_results/matrix/sample1/iced/1000000/sample1_1000000_iced.matrix -o Examplegw -r 1000000 -tri 1 -bed hic_results/matrix/sample1/raw/1000000/sample1_1000000_ord.bed -n hES -wg 1 -chr chrX## Plot the chrX at 150Kb resolutionpython HiCPlotter.py -f hic_results/matrix/sample1/iced/150000/sample1_150000_iced.matrix -o Exemple -r 150000 -tri 1 -bed hic_results/matrix/sample1/raw/150000/sample1_150000_ord.bed -n Test -chr chrX -ptr 1

直接调用Python就可以运行啦，减少了繁琐的安装步骤。

2. HiCPlotter的可视化实战

使用方式
python HiCPlotter.py -f file1 file2 -n name1 name2 -chr chrX -o output

2.1 整条染色体的Hi-C关系互作图

注意：如果设置-fh为0的话，表明形成的hic-martrix是没有表头行

Hi-C和TADs的数据来源: Dixon et, al. Nature 2012

python HiCPlotter.py -f data/HiC/Human/hES-nij.chr21.2 -n hES -chr chr21 -r 40000 -o default1 -fh 0

人类ESC细胞21号染色体的互作图

image

2.2 染色体某一区域的Hi-C互作图谱

python HiCPlotter.py -f data/HiC/Human/hES-nij.chr21.2 -n hES -chr chr21 -r 40000 -o default2 -ptd 1 -pptd 1 -s 600 -e 900 -fh 0 -w 8 -tr 10 -pi 1
image

2.3 TAD 的可视化

python HiCPlotter.py -f data/HiC/Human/hES-nij.chr21.2 -n hES -chr chr21 -r 40000 -o default2 -ptd 1 -pptd 1 -s 600 -e 900 -fh 0 -w 8 -tr 10 -pi 1 -pdb 1
image

2.4 多个数据集的比较相互作用

Hi-C 数据来源:Zuin et, al. PNAS 2014

Tips : 加 -hmc 参数可以改变heatmap的颜色

python HiCPlotter.py -f data/HiC/Human/GSM1081526_TEV_r1_cis.index.chr6.txt_matrix.txt data/HiC/Human/GSM1081528_HRV_r1_cis.index.chr6.txt_matrix.txt data/HiC/Human/GSM1081530_CTRL_r1_cis.index.chr6.txt_matrix.txt data/HiC/Human/GSM1081533_CTCF_r2_cis.index.chr6.txt_matrix.txt -n WT RAD21-Depleted siControl CTCF-Depleted -chr chr6 -r 40000 -fh 0 -pi 0 -sn 0.35 -o Rad21.CTCF -s 2800 -e 2950 -hmc 5

wild type, RAD21-depleted, CTCF-depleted 的细胞6号染色体局部区域的互作关系

image

2.5 基因之间的相互作用

Tips:相比较默认的jpeg格式的文件，pdf格式的文件则相对更好一些

python HiCPlotter.py -f data/HiC/Human/IMR90-chr10_25kb.RAWobserved_KRnormalizedMatrix.txt -o genes -n IMR90 -chr chr17 -g genes.sorted.bed -r 25000 -s 1800 -e 1850 -hist data/HiC/Human/IMR90.Rad21.bedGraph -hl Rad21 -hm 500 -ext pdf
image

备注来源：

染色质高级结构研究之Hi-C技术（下篇）——可视化实战

ZZQ&DIATRE [DIATRE表观遗传](javascript:void(0);) 2018-12-20

你可能感兴趣的:(HiCpro-HiCplotter)

  • HiCpro-HiCplotter caokai001
    一、HiC-Pro简介HiC-Pro是目前比较流行的HiC数据标准化处理工具之一，其流程主要分为6个步骤，比对、过滤HiC比对结果、检测有效HiC序列、结果合并、构建HiC关联图谱以及关联图谱标准化。HiC-Pro可以输出各个尺度的HiC标准化互作图谱，从每个窗口5Kb到1Mb，当然窗口越大，所生成的互作关系越少，计算时间就越少，反之则越多。同时HiC-Pro能与下游的可视化软件HiCPlotte
  • 312个免费高速HTTP代理IP（能隐藏自己真实IP地址） yangshangchuan 高速免费superwordHTTP代理
        124.88.67.20:843 190.36.223.93:8080 117.147.221.38:8123 122.228.92.103:3128 183.247.211.159:8123 124.88.67.35:81 112.18.51.167:8123 218.28.96.39:3128 49.94.160.198:3128 183.20
  • pull解析和json编码 百合不是茶 androidpull解析json
    n.json文件: [{name:java,lan:c++,age:17},{name:android,lan:java,age:8}]   pull.xml文件 <?xml version="1.0" encoding="utf-8"?> <stu>     <name>java
  • [能源与矿产]石油与地球生态系统 comsci 能源
          按照苏联的科学界的说法,石油并非是远古的生物残骸的演变产物,而是一种可以由某些特殊地质结构和物理条件生产出来的东西,也就是说,石油是可以自增长的....       那么我们做一个猜想: 石油好像是地球的体液,我们地球具有自动产生石油的某种机制,只要我们不过量开采石油,并保护好
  • 类与对象浅谈 沐刃青蛟 java基础
           类，字面理解，便是同一种事物的总称，比如人类，是对世界上所有人的一个总称。而对象，便是类的具体化，实例化，是一个具体事物，比如张飞这个人，就是人类的一个对象。但要注意的是：张飞这个人是对象，而不是张飞，张飞只是他这个人的名字，是他的属性而已。而一个类中包含了属性和方法这两兄弟，他们分别用来描述对象的行为和性质（感觉应该是
  • 新站开始被收录后，我们应该做什么？ IT独行者 PHPseo
    新站开始被收录后，我们应该做什么？         百度终于开始收录自己的网站了，作为站长，你是不是觉得那一刻很有成就感呢，同时，你是不是又很茫然，不知道下一步该做什么了？至少我当初就是这样，在这里和大家一份分享一下新站收录后，我们要做哪些工作。       至于如何让百度快速收录自己的网站，可以参考我之前的帖子《新站让百
  • oracle 连接碰到的问题 文强chu oracle
    Unable to find a java Virtual Machine－－安装64位版Oracle11gR2后无法启动SQLDeveloper的解决方案 作者：草根IT网 来源：未知 人气：813标签： 导读：安装64位版Oracle11gR2后发现启动SQLDeveloper时弹出配置java.exe的路径，找到Oracle自带java.exe后产生的路径“C:\app\用户名\prod
  • Swing中按ctrl键同时移动鼠标拖动组件（类中多借口共享同一数据） 小桔子 java继承swing接口监听
            都知道java中类只能单继承，但可以实现多个接口，但我发现实现多个接口之后，多个接口却不能共享同一个数据，应用开发中想实现：当用户按着ctrl键时，可以用鼠标点击拖动组件，比如说文本框。 编写一个监听实现KeyListener,NouseListener,MouseMotionListener三个接口，重写方法。定义一个全局变量boolea
  • linux常用的命令 aichenglong linux常用命令
    1 startx切换到图形化界面 2 man命令:查看帮助信息 man 需要查看的命令,man命令提供了大量的帮助信息,一般可以分成4个部分 name:对命令的简单说明 synopsis:命令的使用格式说明 description:命令的详细说明信息 options:命令的各项说明 3 date:显示时间 语法：date [OPTION]... [+FORMAT]
  • eclipse内存优化 AILIKES javaeclipsejvmjdk
    一 基本说明      在JVM中，总体上分2块内存区,默认空余堆内存小于 40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到-Xms的最小限制。     1)堆内存(Heap memory):堆是运行时数据区域，所有类实例和数组的内存均从此处分配,是Java代码可及的内存，是留给开发人
  • 关键字的使用探讨 百合不是茶 关键字
    //关键字的使用探讨/*访问关键词private 只能在本类中访问public 只能在本工程中访问protected 只能在包中和子类中访问默认的 只能在包中访问*//*final   类 方法 变量 final 类 不能被继承 final 方法 不能被子类覆盖，但可以继承 final 变量 只能有一次赋值，赋值后不能改变 final 不能用来修饰构造方法*///this()
  • JS中定义对象的几种方式 bijian1013 js
        1. 基于已有对象扩充其对象和方法(只适合于临时的生成一个对象)： <html> <head> <title>基于已有对象扩充其对象和方法(只适合于临时的生成一个对象)</title> </head> <script> var obj = new Object();
  • 表驱动法实例 bijian1013 java表驱动法TDD
    获得月的天数是典型的直接访问驱动表方式的实例，下面我们来展示一下： MonthDaysTest.java package com.study.test; import org.junit.Assert; import org.junit.Test; import com.study.MonthDays; public class MonthDaysTest { @T
  • LInux启停重启常用服务器的脚本 bit1129 linux
    启动，停止和重启常用服务器的Bash脚本，对于每个服务器，需要根据实际的安装路径做相应的修改   #! /bin/bash Servers=(Apache2, Nginx, Resin, Tomcat, Couchbase, SVN, ActiveMQ, Mongo); Ops=(Start, Stop, Restart); currentDir=$(pwd); echo
  • 【HBase六】REST操作HBase bit1129 hbase
    HBase提供了REST风格的服务方便查看HBase集群的信息，以及执行增删改查操作   1. 启动和停止HBase REST 服务 1.1 启动REST服务 前台启动（默认端口号8080） [hadoop@hadoop bin]$ ./hbase rest start   后台启动 hbase-daemon.sh start rest   启动时指定
  • 大话zabbix 3.0设计假设 ronin47
    What’s new in Zabbix 2.0? 去年开始使用Zabbix的时候，是1.8.X的版本，今年Zabbix已经跨入了2.0的时代。看了2.0的release notes，和performance相关的有下面几个：          :: Performance improvements::Trigger related da
  • http错误码大全 byalias http协议javaweb
    响应码由三位十进制数字组成，它们出现在由HTTP服务器发送的响应的第一行。 响应码分五种类型，由它们的第一位数字表示： 1）1xx：信息，请求收到，继续处理 2）2xx：成功，行为被成功地接受、理解和采纳 3）3xx：重定向，为了完成请求，必须进一步执行的动作 4）4xx：客户端错误，请求包含语法错误或者请求无法实现 5）5xx：服务器错误，服务器不能实现一种明显无效的请求
  • J2EE设计模式-Intercepting Filter bylijinnan java设计模式数据结构
    Intercepting Filter类似于职责链模式 有两种实现 其中一种是Filter之间没有联系，全部Filter都存放在FilterChain中，由FilterChain来有序或无序地把把所有Filter调用一遍。没有用到链表这种数据结构。示例如下： package com.ljn.filter.custom; import java.util.ArrayList;
  • 修改jboss端口 chicony jboss
    修改jboss端口   %JBOSS_HOME%\server\{服务实例名}\conf\bindingservice.beans\META-INF\bindings-jboss-beans.xml   中找到 <!-- The ports-default bindings are obtained by taking the base bindin
  • c++ 用类模版实现数组类 CrazyMizzz C++
    最近c++学到数组类，写了代码将他实现，基本具有vector类的功能 #include<iostream> #include<string> #include<cassert> using namespace std; template<class T> class Array { public: //构造函数
  • hadoop dfs.datanode.du.reserved 预留空间配置方法 daizj hadoop预留空间
    对于datanode配置预留空间的方法 为：在hdfs-site.xml添加如下配置  <property>     <name>dfs.datanode.du.reserved</name>     <value>10737418240</value>    
  • mysql远程访问的设置 dcj3sjt126com mysql防火墙
    第一步: 激活网络设置 你需要编辑mysql配置文件my.cnf. 通常状况，my.cnf放置于在以下目录： /etc/mysql/my.cnf (Debian linux) /etc/my.cnf （Red Hat Linux/Fedora Linux) /var/db/mysql/my.cnf (FreeBSD) 然后用vi编辑my.cnf，修改内容从以下行： [mysqld] 你所需要: 1
  • ios 使用特定的popToViewController返回到相应的Controller dcj3sjt126com controller
    1、取navigationCtroller中的Controllers NSArray * ctrlArray = self.navigationController.viewControllers; 2、取出后，执行， [self.navigationController popToViewController:[ctrlArray objectAtIndex:0] animated:YES
  • Linux正则表达式和通配符的区别 eksliang 正则表达式通配符和正则表达式的区别通配符
    转载请出自出处：http://eksliang.iteye.com/blog/1976579 首先得明白二者是截然不同的 通配符只能用在shell命令中,用来处理字符串的的匹配。 判断一个命令是否为bash shell(linux 默认的shell)的内置命令 type -t commad 返回结果含义 file  表示为外部命令 alias  表示该
  • Ubuntu Mysql Install and CONF gengzg Install
    http://www.navicat.com.cn/download/navicat-for-mysql Step1: 下载Navicat ，网址：http://www.navicat.com/en/download/download.html Step2：进入下载目录，解压压缩包：tar -zxvf navicat11_mysql_en.tar.gz
  • 批处理，删除文件bat huqiji windowsdos
    @echo off ::演示：删除指定路径下指定天数之前（以文件名中包含的日期字符串为准）的文件。 ::如果演示结果无误，把del前面的echo去掉，即可实现真正删除。 ::本例假设文件名中包含的日期字符串（比如：bak-2009-12-25.log） rem 指定待删除文件的存放路径 set SrcDir=C:/Test/BatHome rem 指定天数 set DaysAgo=1
  • 跨浏览器兼容的HTML5视频音频播放器 天梯梦 html5
    HTML5的video和audio标签是用来在网页中加入视频和音频的标签，在支持html5的浏览器中不需要预先加载Adobe Flash浏览器插件就能轻松快速的播放视频和音频文件。而html5media.js可以在不支持html5的浏览器上使video和audio标签生效。   How to enable <video> and <audio> tags in
  • Bundle自定义数据传递 hm4123660 androidSerializable自定义数据传递BundleParcelable
          我们都知道Bundle可能过put****()方法添加各种基本类型的数据，Intent也可以通过putExtras(Bundle)将数据添加进去，然后通过startActivity()跳到下一下Activity的时候就把数据也传到下一个Activity了。如传递一个字符串到下一个Activity   把数据放到Intent
  • C＃：异步编程和线程的使用（.NET 4.5 ） powertoolsteam .net线程C#异步编程
    异步编程和线程处理是并发或并行编程非常重要的功能特征。为了实现异步编程，可使用线程也可以不用。将异步与线程同时讲，将有助于我们更好的理解它们的特征。 本文中涉及关键知识点 1. 异步编程 2. 线程的使用 3. 基于任务的异步模式 4. 并行编程 5. 总结 异步编程 什么是异步操作？异步操作是指某些操作能够独立运行，不依赖主流程或主其他处理流程。通常情况下，C＃程序
  • spark 查看 job history 日志 Stark_Summer 日志sparkhistoryjob
    SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增加如下内容 export SP
  • SSH框架搭建 wangxiukai2015eye springHibernatestruts
    MyEclipse搭建SSH框架 Struts Spring Hibernate 1、new一个web project。 2、右键项目，为项目添加Struts支持。    选择Struts2 Core Libraries -<MyEclipes-Library>      点击Finish。src目录下多了struts
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他