Coding&Reading&Data&Vis(一)

Coding

• Pyppeteer（Python）
  和selenium一样是一个python的web自动化测试框架，首先需要说的是一个google的框架puppeteer，这个矿浆是google出品的一款基于Node.js开发的一款工具，主要用来操作chrome浏览器的API，通过javascript代码来操纵Chrome浏览器，完成数据爬取、Web程序自动测试等任务。pyppeteer是puppeteer的python版本（非官方支持）。所以该工具包并不能模拟所有的浏览器，只能使用chrome浏览器。
• tqdm（python）
  Tqdm 是一个快速，可扩展的Python进度条，可以在 Python 长循环中添加一个进度提示信息，用户只需要封装任意的迭代器 tqdm(iterator)
• NCO（工具）
  NCO是目前最强大的处理netCDF文件（包括由netCDF API创建的HDF5文件）的命令行工具，没有之一。NCAR开发NCO起初是为了处理分析GCM(General Circulation Models)数据集，即网格化科学数据集。
  合并一些列输入文件的记录变量。默认情况下，最终的记录维度长度是输入文件所有记录维度长度之和。ncrcat可以从标准输入接受大量文件。
  输入文件的大小可以是多变的，但是每个文件必须要有一个记录维度。记录坐标应该是单调的。

合并多个文件
ncrcat in1.nc in2.nc in3.nc in4.nc out.nc
# 或
ncrcat in[1-4].nc out.nc

选择性合并文件
假设85.nc，86.nc，87.nc每个文件time维度包含12个记录，想获取1985年12月到1986年2月的数据：
ncrcat -d time,11,13 85.nc 86.nc 87.nc 8512_8602.nc
ncrcat -F -d time,12,14 85.nc 86.nc 87.nc 8512_8602.nc    # 索引按照Fortran索引形式

如果仅想获取某个月份的数据，比如只想获取这三年3月份的温度数据
ncrcat -F -d time,3,,12 -v temperature 85.nc 86.nc 87.nc 858687_03.nc

ncpdq -U #变量类型转换

• Elasticsearch
  在解释什么是Elasticsearch之前，让我们来回顾一下我们每天都在网页上面重复做的一件事情--“搜索”。没错，当我们需要了解一个东西的时候，我们会不自觉的打开搜索网站，例如百度，360，搜狗等；或者当我们需要购买一件物品时，我们打开淘宝，京东，唯品会等购物网站，做的第一件事情，仍然还是搜索我们需要的物品的关键词。
  搜索已经渗透了我们生活的方方面面，成为了讲究快速，高效的处理事情的方式。而Elashticsearch正是处理这类搜索的搜索引擎，它能够帮助我们快速准确的得到想要的答案。
  Elasticsearch是构建在Apache Lucene之上的开源分布式搜索引擎。Lucene是开源的搜索引擎包，使用JAVA实现，允许你通过自己的Java应用程序实现索引存储和搜索功能。Elashticsearch充分利用Lucene，并在其基础上进行了拓展，使得存储，索引，搜索都变得更快更容易更准确。Elasticsearch除了直接与Java应用程序对接外，其还具备了一套Restful风格的接口，不管是使用什么计算机语言，都能够容易的通过JSON格式的HTTP请求来使用和管理Elasticsearch。
• Modin
  Modin是加州大学伯克利分校RISELab的早期项目，旨在促进分布式计算在数据科学中的应用。 它是一个多进程Dataframe库，具有与pandas相同的API，允许用户加速其Pandas工作流程。
  Modin在8核计算机上将Pandas查询加速4倍，只需要用户更单行代码。该系统专为现有的Pandas用户而设计，他们希望程序能够更快地运行并且无需重大代码更改即可更好地扩展。这项工作的最终目标是能够在云设置中使用Pandas。

由于modin依赖于ray，而ray目前只支持linux和mac系统， 不支持windows,所以windows还无法享受到pandas加速的好处

• Siphon
  Siphon是用于从远程数据服务下载数据的Python实用程序的集合。Siphon当前的大部分功能都集中于访问THREDDS数据服务器上托管的数据。它还为客户提供各种简单的Web服务。