使用LFTP+FileZilla向GEO数据库上传数据

写在前面
向GEO数据库中上传高通量测序的文件可能是一个人研究生阶段必须要经历的过程，如果不太了解高通量测序也不具备linux基本操作的话，可能会费一番工夫。我采用的是LFTP+FileZilla的方式，前者类似Xshell的功能，使用命令行模式来操作；后者类似winscp的功能，可以可视化的查看你当前上传的文件。

1.注册账户

首先要注册一个NCBI账户。
为了上传数据，首先需要登录账号，点击界面右上方“login”。

新用户需要先注册，填写相关信息后，账号通过邮箱激活。

image.png

2. GEO数据上传

2.1基本介绍

进入GEO数据库后，在首页界面选择将要上传的数据类型。大体上，上传数据类型可分为3类：

• 芯片数据；

• 高通量数据，如RNA-seq、ChIP-seq等；

• 其它表达谱数据，例如RT-PCR等。

接下来以某RNA-seq数据上传为例展示，点击上传高通量数据类型。

image.png

根据网站要求，需要上传3种数据，包括：

• 信息表（Metadata spreadsheet），这个由GEO网站提供，需下载填写；

• 一些重要的处理后数据（Processed data files），如基因表达值矩阵等；

• 原始测序数据（Raw data files），如fastq文件，推荐使用clean data。

并且，GEO网站中列出了一些注意事项，仔细阅读网站界面下方的内容即可，大致上有以下几点：

GEO接受数据是有关基因表达定量、基因调控，表观遗传学或其它功能基因组的研究，包括RNA-seq、ChIP-seq、HiC-seq、甲基化测序等，不接收全基因组、宏基因组等类型。

原始测序数据是必须要提交的，由于后续将自动提交SRA，因此需要提供SRA支持的格式。推荐上传gz压缩的fastq文件（不要使用zip压缩），且各个样本已做拆分。

处理后的数据也是GEO提交的必需部分，但只限于非常重要的，例如原始基因表达count值、FPKM标准化后的矩阵、ChIP-seq定量峰bed文件等。一些中间文件，或者大文件，如基因组比对后的BAM不推荐上传，除非有特殊必要需发邮件提前咨询工作人员。

对于上传的数据，需要校验MD5码并填写在信息表中，便于审核文件是否完整。

2.2 填写信息表

首先下载信息表填写相关的信息。

在下载的Excel表中，“METADATA TEMPLATE”中填写上传数据信息，包括试验描述、样本信息、数据类型等。“EXAMPLE”中提供了相关的参考示例，根据实际数据模仿填写即可。

image.png

以展示RNA-seq的EXAMPLE 2为例简单说明下该表。

“SERIES”是对整个试验的描述。

• title可以是发表文章的标题，summary可以是发表文章的摘要（请描述详细，不能太少），contributor可以为贡献作者。
• 填写文章的标题摘要比较省事，当然也可以重新构思描述信息，比如该数据在多个文章中使用时，可以综合为一个统一的试验描述。

image.png

“SAMPLES”是对样本的描述，“PROTOCOLS”、“DATA PROCESSING PIPELINE”是关于样本处理以及测序细节。

• 对于样本描述，就是样本名称、来源的物种、组织、细胞类型等，以及各样本对应的数据文件，尽可能补充完整吧，除了不涉及的选项可以不填（比如是组织测序，不涉及细胞系，因此细胞类型等就无需填写了）。
• 对于样本处理、测序，就是有关的RNA提取、文库构建等试验，这些若存在疑问，建议咨询测序公司比较好。

image.png

最后的三项内容，就是上传文件的细节信息。

• 包括文件名称、类型、MD5码等，以及若是双端测序还需指定R1和R2端测序数据文件的对应关系。

  
  
  image.png

2.3 上传数据

信息表填写无误后，开始上传数据。

首先返回GEO网站界面，查看有关数据上传的相关说明。

image.png

创建完个人空间后，会在你的目录中显示，然后这个时候退出去进行step2--transfer files.

image.png

然后，点击Step2查看上传说明，下载安装指定的传输工具，上传数据。包括主机、用户名、密码以及个人账号路径等。
若有疑问，可在GEO网站界面下方查看答疑解惑。

• 首先在本地安装一下FileZilla(https://filezilla-project.org/download.php?show_all=1),选择电脑对应版本下载，我的是win64。
  
  image.png
  
  此时会报错，提示你读取目录失败。GEO数据库早就已经预料到了这个事情，第三条提示：Replace '/' in 'Remote site' address bar with '/uploads/xx(你在第一步创建的目录名)' (do not include quotes) and hit 'Enter'。当把远程的地址更改之后，就会显示读取目录成功了。
  进行到这一步，你有两种选择，一是直接把rawdata拖到你创建好的目录上，然后就开始上传。这样做虽然简单，但是非常耗时，因为我的电脑的上传速度只有500Kb/s，假设50g的数据，我需要上传28h才能完成。windows不是那么的稳定，万一中间有什么纰漏，又得重新检查再开始，因此我选择linux的方式进行上传。
  GEO数据库提供了四种方式供选择，分别是ncftp,lftp,sftp,ncftpput。并且它都生成了响应的代码供你录入，你需要做的只是更改部分代码就可以完成传输了。
  这里我选择的是lftp，如果你安装了anaconda，你就可以使用conda 一键安装了。

#conda 一键安装
conda install lftp

lftp ftp://geoftp:xxx(用户名)@ftp-private.ncbi.nlm.nih.gov
cd uploads/xxx(第一步创建的路径名)
mirror -R Folder_with_submission_files(其实就是你存放文件的绝对路径，会把该路径下的所有文件一并上传)

上面这一步完成后，就可以安心等待rawdata上传了。我的传输速度大概是9M/s，这样算的话，50G的数据大概需要90min，节省了18倍的时间。等传输完成后，还可以在FileZilla中查看文件的内容。

最后share一个python脚本，一键生成某一路径下所有文件的MD5，MD5会在填写上传数据的excel信息时会用到。
vim md5.py

#创建脚本
import hashlib
import os
import io
import sys

def printUsage():
        print ('''Usage: [python] pymd5sum.py ''')

def geneMd5(filename):
    m = hashlib.md5()
    file = io.FileIO(filename,'r')
    bytes = file.read(1024)
    while(bytes != b''):
        m.update(bytes)
        bytes = file.read(1024)
    file.close()
    return m.hexdigest()
def main():
    if(len(sys.argv) != 1 and len(sys.argv) != 2):
        printUsage()
    mat = "{:48}\t{:32}"
    if(len(sys.argv)==1):
        path="./"
    if(len(sys.argv)==2):
        path=sys.argv[1]
    for fpathe,dirs,fs in os.walk(path):
        for f in fs:
            full_file = os.path.join(fpathe,f)
            print (mat.format(full_file,geneMd5(full_file)))
main()

用法就是python md5.py > md5.txt
然后就会生成该路径下所有文件的MD5。

补充一个使用ncftp上传的方式

我是采用的源码安装，下载链接如下：https://www.ncftp.com/download/
采用的是无root安装

./configure --prefix=$address
make
make install

上传命令：
因为这个软件是交互式的，所以需要它问一句，你回答一句。如果回答不对会有错误提示的。

ncftp  #如果添加到环境变量就直接执行，否则就在所在目录下使用 ./ncftp
set passive on
set so-bufsize 33554432
open ftp://geoftp:********@ftp-private.ncbi.nlm.nih.gov  #**表示密码，会在第一步生成的随机数
cd uploads/xiangyugong_enWVOcqI  #自动生成的输入目录
put -R Folder_with_submission_files

再补充一个ncftpput上传的方式。

ncftpput -F -R -z -u geoftp -p "********" ftp-private.ncbi.nlm.nih.gov ./uploads/xiangyugong_enWVOcqI ./local_dir_path

local_dir_path: path to the local submission directory you are transferring to your personalized upload space

-F to use passive (PASV) data connection
-z is for resuming upload if a file upload gets interrupted
-R to recursively upload an entire directory/tree
本以为上传了fold文件就全部上传了，没有想到一条命令只能上传一个文件，这种情况下，要么写循环，要么更改文件名批量上传。

参考链接：
1.https://blog.csdn.net/wushuangge/article/details/89395187
2.https://www.jianshu.com/p/95efb39baf9f