2018 年初,Google Cloud 与社区合作,通过BigQuery 公共数据集实现区块链数据民主化;2019 年,又扩展了六个数据集;今天,我们在 BigQuery 公共数据集中添加了 11 个最受欢迎的区块链预览版。我们也在对该程序中的现有数据集进行改进。
我们这样做是因为区块链基金会、Web3 分析公司、合作伙伴、开发人员和客户告诉我们,他们希望更全面地了解整个加密领域,并能够查询更多链。他们想要回答复杂的问题并验证主观主张,例如“今天在三个特定链上铸造了多少 NFT?” “跨链交易费用如何比较?” 以及“顶级 EVM 链上有多少活跃钱包?”
拥有通过 BigQuery 访问的更强大的链列表以及访问数据的新方法将有助于 Web3 社区更好地回答这些问题和其他问题,而无需操作节点或维护索引器的开销。客户现在可以在链下查询完整的链上交易历史记录,以了解资产从一个钱包到另一个钱包的流动、哪些代币最受欢迎以及用户如何与智能合约交互。
以下是我们添加到 BigQuery 公共数据集中的 11 个热门项目:
Avalanche
Arbitrum
Cronos
Ethereum (Görli)
Fantom (Opera)
Near
Optimism
Polkadot
Polygon Mainnet
Polygon Mumbai
Tron
我们还通过将 Satoshis (sats) / Ordinals 添加到开源区块链 ETL 数据集中供开发人员查询来改进当前的比特币 BigQuery 数据集。最简单的序数是 sat 的一种编号方案。
我们希望为用户提供一系列数据选项。除了 BigQuery 上的社区管理数据集之外,我们还创建了第一方 Google Cloud 管理数据集,以提供其他功能。例如,除了现有的以太坊社区数据集 (crypto_ethereum) 之外,我们还创建了一个 Google Cloud 管理的以太坊数据集 (goog_blockchain_ethereum_mainnet.us),它提供了以太坊本机数据模型的完整表示以及事件的策划表。寻求对以太坊进行更丰富分析的客户将能够访问派生数据,以轻松查询钱包余额、与特定代币(ERC20、ERC721、ERC1155)相关的交易或与智能合约的交互。
我们希望为我们的客户和 Web3 社区提供快速、可靠的企业级结果。以下是针对 goog_blockchain_ethereum_mainnet.us 数据集的查询示例:
假设我们想知道“每天(过去 7 天)执行了多少 ETH 交易?”
SELECT DATE(block_timestamp) as date, COUNT(*) as txns FROM `bigquery-public-data.goog_blockchain_ethereum_mainnet_us.transactions`
WHERE DATE(block_timestamp) > DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY 1
ORDER BY 1 DESC;
SELECT DATE(block_timestamp) as date, COUNT(*) as txns FROM `bigquery-public-data.crypto_ethereum.transactions`
WHERE DATE(block_timestamp) > DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY 1
ORDER BY 1 DESC;
在上面的结果中,您可以看到如何使用 goog_ 数据集更快、消耗更少的时隙时间,同时在处理的字节数方面保持竞争力。
我们收集了客户和开发人员的反馈,以了解社区的痛点,并清楚地听到数字精度等功能对于更准确地计算某些代币的定价非常重要。我们通过推出UDF来提高区块链数据集的精度,以实现更好的 UNIT256 集成和 BIGNUMERIC(32 logical bytes)支持。这将使客户能够访问其区块链数据的更长的十进制数字,并减少计算中的舍入误差。
如今,对区块链数据感兴趣的客户必须首先访问正确的节点,然后开发和维护一个索引器,将数据转换为可查询的数据模型。然后他们对他们感兴趣的每个协议重复这个过程。
通过利用我们在可扩展数据处理方面的深厚专业知识,我们使链上数据可以在链外访问,以便更轻松地使用和组合,使开发人员能够在没有节点的情况下访问区块链数据。这意味着客户可以像访问自己的数据一样轻松地访问区块链数据。通过将链数据与应用程序数据相结合,客户可以全面了解其用户及其业务。
最后,我们看到这些数据被用于其他最终用户应用程序,例如Looker和Google Sheets。
在过去的五年里,我们通过公共区块链数据集产品为社区提供了支持,并且我们将继续在这些努力的基础上提供一系列数据选项和用户选择——从社区拥有到谷歌管理的高质量替代品和真实的数据。我们很高兴与想要为开发人员分发公共数据或通过数据集获利以获取精选提要和见解的合作伙伴合作。我们还与想要构建 Web3 独有的云原生分发和联合渠道的初创公司和数据提供商合作。
访问 BigQuery 上提供的新链,请与我们取得联系。