GCP中如何操作Storage中的数据

前言：博主之前使用了GCP进行了平台迁移的工作，在使用GCP平台过程中遇上了很多坑，一些是因为操作不熟练、一些是因为官方文档不够清晰、还有一些是实践过程中遇上的坑。

今天只讲在Google Cloud Platform中Storage使用上遇到的问题。

Storage

Google Cloud Storage（GCS）是开发人员和企业适用的整合式物件存储空间。我也不推销谷歌的产品，官网有它的详情，包含了它的各种特点的说明（几乎都是优点）。
Storage中的数据都是按Bucket存储的。

image.png

每个Bucket中可以存储各种文件：图片、文档、音频等。

实际应用场景：从旧平台通过API下载各种文件，这些文件会被下载到运行脚本的机器上，所以需要把本地的数据上传到中间存储位置（Storage）上，然后计算这些文件的数量对不对，再把存在Storage上的数据同步到新平台上（Google Drive或者其他）。

本地如何访问并操作Bucket上的资源

Storage有一个工具叫gsutil，使用它可以操作Storage，例如：

建立一个bucket:
```
gsutil mb gs://bucket-name
```

复制文件到某一个bucket

gsutil cp /path/to/my/local/file gs://bucket-name

复制bucket里的文件到local

gsutil cp gs://bucket-name/folder/filename .

刪除bucket上的文件

gsutil rm gs://bucket-name/folder/filename

更多gsutil用法，可以參考：官方文档

如何把本地的文件上传到Storage上

第一种方式就是通过页面控制台去手动上传。
第二种方式就方便很多，通过gsutil工具使用命令行操作。

#把本地文件夹中的文件上传到bucket上
gsutil -m cp -r /path/to/local/folder gs://bucket_name
#从一个Bucket复制一份到另外一个Bucket
gsutil -m cp -r   gs://bucket_name/* gs://another_bucket_name

如何计算Storage上的文件数量

gsutil工具中的ls命令带上options -l (long listing) and -R (recursive listing) 将会显示文件中的所有内容和一个总数:

$ gsutil ls -lR gs://pub

    104413  2011-04-03T20:58:02Z  gs://pub/SomeOfTheTeam.jpg

       172  2012-06-18T21:51:01Z  gs://pub/cloud_storage_storage_schema_v0.json

      1379  2012-06-18T21:51:01Z  gs://pub/cloud_storage_usage_schema_v0.json

   1767691  2013-09-18T07:57:42Z  gs://pub/gsutil.tar.gz

   2445111  2013-09-18T07:57:44Z  gs://pub/gsutil.zip

      1136  2012-07-19T16:01:05Z  gs://pub/gsutil_2.0.ReleaseNotes.txt

...  ...

gs://pub/apt/pool/main/p/python-socksipy-branch/:

     10372  2013-06-10T22:52:58Z  gs://pub/apt/pool/main/p/python-socksipy-branch/python-socksipy-branch_1.01_all.deb

gs://pub/shakespeare/:

        84  2010-05-07T23:36:25Z  gs://pub/shakespeare/rose.txt

TOTAL: 144 objects, 102723169 bytes (97.96 MB)

如果只想要总数可以使用tail命令

$ gsutil ls -lR gs://pub | tail -n 1

TOTAL: 144 objects, 102723169 bytes (97.96 MB)

UPDATE

gsutil 现在还有一个 du command. 这个命令更加容易得到一个总数。

$ gsutil du gs://pub | wc -l

232

如何挂载GCS的内容到本地

在需求中需要跑一个脚本来把GCS上的数据备份到另外一个地方。那么首先需要获取GCS的数据。这个过程中会使用到一个命令叫gcsfuse。

前提：已经获取授权

mount 一个Bucket到本地

mkdir /path/to/mount/point
gcsfuse my-bucket /path/to/mount/point

以上只能mount第一层的内容到local，如果想要的子层级的内容都mount到本地需要加上参数

gcsfuse --implicit-dirs "my-bucket" /path/to/mount/point

之后就可以本地通过/path/to/mount/point这个地址访问文件了：
例如通过文件读写，把文件上传到Google Drive上或者一些云平台上。

以上就是和Storage Bucket操作相关的用法。