如何使用Python访问和查询Google BigQuery数据

要使用Python查询Google BigQuery数据,需要将Python客户端连接到BigQuery实例。

将会云客户端库用于Google BigQuery API.
假设您已经设置了Python开发环境。(支持3.7-3.11版本)
要安装该库,请在命令行中运行以下命令:

pip install --upgrade google-cloud-bigquery

接下来将客户端连接到数据库。

为此需要下载一个包含BigQuery服务凭据的 JSON文件。如果没有,请按以下步骤创建一个。接下来,将此JSON文件下载到本地计算机。

打开project主界面,在actions中选择 manage keys

如何使用Python访问和查询Google BigQuery数据_第1张图片

 点击create new key 创建新的登陆密钥。

如何使用Python访问和查询Google BigQuery数据_第2张图片 

 选择json即可完成。

如何使用Python访问和查询Google BigQuery数据_第3张图片

 现在已经完成了所有设置,接下来进行初始化连接。

以下Python代码用于此目的:

from google.cloud import bigquery
from google.oauth2 import service_account
credentials = service_account.Credentials.from_service_account_file('file.json')
project_id = '12345678'
client = bigquery.Client(credentials= credentials,project=project_id)

其中file.json为上一步下载好的json路径;

project_id为Google project名称。

使用Python查询BigQuery数据。

现在,BigQuery客户端已经设置好并可以使用并查询很多BigQuery数据。该查询方法将查询作业放入BigQuery队列中。然后请求将异步执行。

query_job = client.query("""
	   SELECT * FROM `database.table` LIMIT 1000
       """)
results = query_job.result() 
print(results)

即已完成了基本的连通和查询操作。

Google cloud Big query 官方文档:https://cloud.google.com/bigquery/docs/reference/libraries

你可能感兴趣的:(python,python,google,cloud,big,query,配置)