《区块链公链数据分析简易速速上手小册》第2章：数据获取基础（2024 最新版）

第2章：数据获取基础

2.1 访问区块链数据

区块链数据的访问看似复杂，其实质是对去中心化账本的探索和使用。在这个部分，我们将揭开区块链数据访问的神秘面纱，展示它实际上是多么的直接和简单。

2.1.1 基础知识

• 区块链浏览器：这是最直观的数据访问方式。就像网页浏览器一样，区块链浏览器允许用户通过图形界面查询区块、交易、钱包地址等信息。
• API接口：对于开发者而言，通过API（应用程序编程接口）访问区块链数据更为常用。许多区块链项目提供了公共API，允许开发者查询区块链状态、提交交易等。
• 节点软件：对于需要深度访问和验证区块链数据的应用，运行一个全节点是最直接的方式。全节点存储了区块链的完整数据，并参与到网络的共识过程中。

2.1.2 重点案例：使用 Python 查询比特币交易记录

假设你想查询特定比特币地址的交易历史，我们可以使用blockchain.info的API来实现这一点。这个案例将展示如何用Python脚本来实现这个功能。

首先，安装必要的库：

pip install requests

接下来，使用以下脚本查询特定地址的交易记录：

import requests

def get_bitcoin_transactions(address):
    url = f"https://blockchain.info/rawaddr/{address}"
    response = requests.get(url)
    if response.status_code == 200:
        transactions = response.json()['txs']
        for tx in transactions:
            print(f"Transaction ID: {tx['hash']}")
            print(f"Time: {tx['time']}")
            print("-----")
    else:
        print("Failed to retrieve data")

# 示例比特币地址
address = 'YOUR_BITCOIN_ADDRESS_HERE'
get_bitcoin_transactions(address)

2.1.3 拓展案例 1：使用 Web3.py 读取以太坊智能合约状态

假设我们有一个部署在以太坊上的智能合约，该合约记录了一个简单的状态变量——例如，一个数字或者一个字符串。我们的目标是使用Python和Web3.py库来查询这个状态变量的当前值。为了使这个示例尽可能通用，我们将假设合约有一个名为getValue的函数，它返回状态变量的当前值。

首先，确保你已经安装了Web3.py：

pip install web3

假设智能合约已经部署在以太坊网络上，我们已经知道它的地址和ABI（应用程序二进制接口）。ABI是一个JSON格式的数组，描述了智能合约的接口，包括可调用的函数、它们的参数和返回类型等信息。

示例智能合约（Solidity）

这是一个简单的智能合约示例，用Solidity编写：

// SPDX-License-Identifier: MIT
pragma solidity ^0.8.0;

contract SimpleStorage {
    uint256 private value;

    constructor(uint256 _value) {
        value = _value;
    }

    function getValue() public view returns (uint256) {
        return value;
    }

    function setValue(uint256 _value) public {
        value = _value;
    }
}

该合约有两个函数：getValue用于返回value变量的值，setValue用于设置value的值。

Python 脚本读取智能合约状态

接下来，我们将使用Web3.py来与这个合约进行交互。我们的目标是调用getValue函数，获取value的当前值。

from web3 import Web3

# 连接到以太坊网络
w3 = Web3(Web3.HTTPProvider('https://mainnet.infura.io/v3/YOUR_PROJECT_ID'))

# 智能合约地址和ABI
contract_address = '0xYourContractAddress'
contract_abi = json.loads('YourContractABI')

# 创建合约对象
contract = w3.eth.contract(address=contract_address, abi=contract_abi)

# 调用getValue函数
value = contract.functions.getValue().call()

print(f"The value is: {value}")

在上面的脚本中，你需要替换YOUR_PROJECT_ID为你的Infura项目ID，0xYourContractAddress为智能合约的地址，以及YourContractABI为合约的实际ABI。

结论

这个案例演示了如何使用Python和Web3.py读取以太坊上智能合约的状态。这种方法可以应用于任何智能合约，只要你知道合约的地址和ABI。通过调用合约的公共函数，我们可以查询合约的状态、执行交易和更多。这为开发基于以太坊的应用提供了强大的工具，使得与区块链的交互变得简单和直接。

2.1.4 拓展案例 2：直接通过比特币节点获取数据

直接与比特币节点交互是一种高级且强大的方式来访问区块链数据。这种方法不仅能够让你查询数据，还能让你参与到网络中去，比如发送交易、创建新地址等。这一切都通过比特币的远程过程调用（RPC）接口来实现，它是一个基于HTTP的接口，允许你发送命令到你的比特币全节点。

为了开始，你需要确保你的比特币节点开启了RPC服务，并且你有访问它的权限（即，你知道节点的RPC用户名和密码）。以下是比特币节点的一个典型的bitcoin.conf配置示例，用于开启RPC服务：

server=1
rpcuser=yourusername
rpcpassword=yourpassword
rpcallowip=127.0.0.1
rpcport=8332

安装依赖

确保你的Python环境已经安装了requests库：

pip install requests

Python 脚本：查询区块信息

接下来，我们将使用Python编写一个简单的脚本，通过RPC接口查询比特币区块链的最新区块信息。

import requests
import json

rpc_user = 'yourusername'
rpc_password = 'yourpassword'
rpc_host = '127.0.0.1'
rpc_port = '8332'

headers = {'content-type': 'application/json'}

payload = json.dumps({"method": "getblockchaininfo", "params": [], "jsonrpc": "2.0"})

response = requests.post(f'http://{rpc_user}:{rpc_password}@{rpc_host}:{rpc_port}/', headers=headers, data=payload)

if response.status_code == 200:
    result = response.json()['result']
    print(f"Blockchain Info: {json.dumps(result, indent=2)}")
else:
    print("Failed to retrieve blockchain info")

这段脚本首先构造了一个RPC请求，命令为getblockchaininfo，这个命令不需要任何参数。然后，它通过HTTP POST发送这个请求到比特币节点，并打印出返回的区块链信息。

结论

通过直接与比特币节点交互，我们可以获取到关于区块链的详细信息，这包括但不限于区块高度、当前难度、以及网络状态等。这种方法为那些需要深入访问比特币数据的应用提供了极大的灵活性和控制力。

虽然这只是一个简单的例子，但RPC接口提供了许多其他的命令，允许进行更复杂的操作，如管理钱包、处理交易、甚至是参与矿工挖矿。直接与比特币节点的这种交互方式，为开发者提供了一个强大的工具集，以便于构建和维护他们的比特币应用。

通过上述案例，我们演示了如何使用Python从简单查询比特币交易记录到深入与比特币全节点交互，再到读取以太坊智能合约的状态。每个案例都为区块链数据的访问提供了实用性强且贴近实际生产的操作示例。掌握这些技能，你将能够更深入地理解和利用区块链技术的强大功能。

2.2 使用 API 获取数据

在区块链的世界里，API（应用程序编程接口）充当了数据传输的桥梁，使得开发者能够轻松访问链上的数据，无需直接与区块链网络进行复杂的交互。通过API，我们可以查询区块信息、交易详情、钱包余额，甚至发送交易——所有这些都可以通过简单的HTTP请求来完成。

2.2.1 基础知识

• 公共API：许多区块链平台和服务提供公共API，允许开发者访问链上的公开数据。例如，区块链浏览器（如Etherscan、Blockchain.com）提供的API允许查询特定地址的交易历史和余额。
• 认证与限制：使用某些API时，可能需要API密钥进行认证。此外，为了防止滥用，API服务通常会对请求频率有所限制。
• 数据格式：大多数区块链API返回JSON格式的数据，这种格式易于解析和集成到各种应用程序中。

2.2.2 重点案例：查询以太坊地址余额

假设我们想要查询一个以太坊地址的余额，可以使用Etherscan的API来实现。以下是一个使用Python来实现此功能的示例。

首先，安装必要的库：

pip install requests

然后，使用以下脚本查询特定以太坊地址的余额：

import requests

ETHERSCAN_API_KEY = 'YOUR_ETHERSCAN_API_KEY'
ADDRESS = '0xde0B295669a9FD93d5F28D9Ec85E40f4cb697BAe'

def get_eth_balance(address):
    url = f"https://api.etherscan.io/api?module=account&action=balance&address={address}&tag=latest&apikey={ETHERSCAN_API_KEY}"
    response = requests.get(url)
    data = response.json()
    balance = int(data['result']) / 10**18  # 转换为以太币单位
    print(f"Address {address} has a balance of {balance} ETH")

get_eth_balance(ADDRESS)

2.2.3 拓展案例 1：获取比特币交易详情

获取比特币交易的详情是区块链数据分析中的一个常见需求，无论是为了监控资金流动、验证交易的确认状态，还是简单地了解区块链上的活动。在这个扩展案例中，我们将使用Blockchain.info提供的API来查询一个特定比特币交易的详细信息，并使用Python来处理这些数据。

首先，确保你已经安装了必要的Python库：

pip install requests

接下来，我们将编写一个Python脚本来获取并打印一个特定比特币交易的详细信息。这包括交易的输入和输出地址、交易金额以及确认数。

import requests

def get_transaction_details(tx_hash):
    url = f"https://blockchain.info/rawtx/{tx_hash}"
    response = requests.get(url)
    if response.status_code == 200:
        tx_data = response.json()
        
        print(f"Transaction Hash: {tx_hash}")
        print(f"Block Height: {tx_data.get('block_height', 'Unconfirmed')}")
        print(f"Time: {tx_data['time']}")
        print("Inputs:")
        for input_tx in tx_data['inputs']:
            print(f"  - From: {input_tx['prev_out']['addr']} Amount: {input_tx['prev_out']['value'] / 10**8} BTC")
        print("Outputs:")
        for output_tx in tx_data['out']:
            # Some outputs may not have an address (e.g., OP_RETURN)
            addr = output_tx.get('addr', 'N/A')
            print(f"  - To: {addr} Amount: {output_tx['value'] / 10**8} BTC")
    else:
        print("Failed to retrieve transaction details")

# Example transaction hash
transaction_hash = 'YOUR_TRANSACTION_HASH_HERE'
get_transaction_details(transaction_hash)

在这个脚本中，你需要将YOUR_TRANSACTION_HASH_HERE替换为你想查询的实际比特币交易哈希值。这个脚本首先向Blockchain.info的API发送一个HTTP GET请求，请求中包含了我们想查询的交易哈希值。成功获取到数据后，它将解析JSON格式的响应内容，并打印出交易的一些关键信息，包括交易的输入和输出细节。

这个简单的示例展示了如何使用Blockchain.info的API来查询比特币交易的详细信息，这对于需要深入了解特定交易的应用或服务来说是非常有用的。通过进一步分析这些数据，开发者可以构建更复杂的逻辑，比如追踪资金流动、分析交易模式或验证交易的状态。

2.2.4 拓展案例 2：发送以太坊交易

发送以太坊交易是区块链交互中的一个高级操作，它涉及到数字货币的转移，因此需要谨慎处理。在这个扩展案例中，我们将使用Python和Web3.py库来演示如何构建、签名并发送一个以太坊交易。此操作可以用于转移以太币、互动 with 智能合约或者是其他任何需要改变以太坊区块链状态的活动。

首先，确保你已经安装了Web3.py库：

pip install web3

为了发送交易，你需要有一个以太坊钱包地址和相应的私钥，以及一些ETH来支付交易费用。出于安全考虑，不要在脚本中硬编码你的私钥，尤其是在公共或者可分享的代码中。

Python 脚本示例

以下是一个使用Web3.py发送以太坊交易的简化示例：

from web3 import Web3
from web3.middleware import geth_poa_middleware

# 连接到以太坊节点
w3 = Web3(Web3.HTTPProvider('https://rinkeby.infura.io/v3/YOUR_INFURA_PROJECT_ID'))
w3.middleware_onion.inject(geth_poa_middleware, layer=0)

# 使用自己的账户地址和私钥（这里仅为示例，实际操作时请妥善保管你的私钥）
account_address = 'YOUR_ACCOUNT_ADDRESS'
private_key = 'YOUR_PRIVATE_KEY'

# 确保账户地址和私钥匹配
assert account_address == w3.eth.account.privateKeyToAccount(private_key).address

# 构建交易
nonce = w3.eth.getTransactionCount(account_address)
tx = {
    'nonce': nonce,
    'to': 'RECIPIENT_ADDRESS',  # 收款人地址
    'value': w3.toWei(0.001, 'ether'),  # 转账金额
    'gas': 2000000,
    'gasPrice': w3.toWei('50', 'gwei'),
    'chainId': 4  # Rinkeby测试网络的chain ID
}

# 签名交易
signed_tx = w3.eth.account.sign_transaction(tx, private_key)

# 发送交易
tx_hash = w3.eth.sendRawTransaction(signed_tx.rawTransaction)

# 获取交易哈希值
print(f"Transaction hash: {tx_hash.hex()}")

在这个示例中，我们首先连接到了以太坊的Rinkeby测试网络（通过Infura）。然后，我们构建了一个交易对象，其中包含了收款人地址、转账金额、Gas限制、Gas价格以及Nonce值。接下来，我们使用私钥签名了这个交易，并通过sendRawTransaction方法将其发送到网络。

注意事项

• 请妥善保管你的私钥，不要在任何公共地方（如GitHub）暴露它。
• 在实际应用中，考虑使用环境变量或其他安全措施来管理敏感信息，如API密钥和私钥。
• 在发送交易之前，确保你有足够的ETH来支付交易费用。
• 使用测试网络进行实验，避免在主网上意外损失资产。

通过这个案例，我们展示了如何使用Web3.py安全地构建和发送以太坊交易。这为开发者提供了一个强大的工具来与以太坊区块链进行交互，无论是进行资金转移、与智能合约互动还是其他需要改变链上状态的操作。

通过这些案例，我们展示了如何使用Python和API来访问和交云区块链数据，从查询地址余额、交易详情到发送交易。这些操作对于开发区块链应用和服务至关重要，而API则提供了一种高效、简便的方法来实现这些功能。

2.3 直接通过节点获取数据

直接与区块链节点交互是获取链上数据最原始也最强大的方法。与通过API获取数据相比，这种方法能让你更深入地访问和验证区块链数据，实现更复杂的查询和操作，比如读取未经处理的区块数据、监听未确认的交易等。

2.3.1 基础知识

• 全节点：运行一个全节点意味着下载整个区块链的历史数据到本地，这样你就可以直接查询到链上的任何信息，而不需要依赖外部服务。
• 轻节点：与全节点相比，轻节点不需要下载整个区块链数据，它通过连接到全节点来查询信息。轻节点更适合资源有限的环境，但它的数据访问能力不如全节点。
• RPC接口：大多数区块链节点软件提供了RPC（远程过程调用）接口，允许你通过HTTP或其他协议发送命令给节点，执行各种操作。

2.3.2 重点案例：使用比特币 RPC 接口查询区块信息

假设你运行了一个比特币全节点，并且启用了RPC服务。以下是一个使用Python查询比特币区块信息的示例。

首先，安装必要的库：

pip install python-bitcoinrpc

接下来，使用以下脚本通过RPC接口查询最新区块的信息：

from bitcoinrpc.authproxy import AuthServiceProxy, JSONRPCException

# 配置RPC连接
rpc_user = 'your_rpc_user'
rpc_password = 'your_rpc_password'
rpc_host = 'localhost'
rpc_port = '8332'

# 创建RPC连接
rpc_connection = AuthServiceProxy(f"http://{rpc_user}:{rpc_password}@{rpc_host}:{rpc_port}/")

# 获取最新区块的哈希
best_block_hash = rpc_connection.getbestblockhash()

# 使用区块哈希获取区块信息
block_info = rpc_connection.getblock(best_block_hash)

print(f"Block Info: {block_info}")

2.3.3 拓展案例 1：监听以太坊的实时交易

监听以太坊网络上的实时交易对于开发区块链监控工具、实时数据分析应用或加密货币交易所尤其重要。这使得开发者能够即时响应网络上发生的事件，如大额交易、疑似欺诈行为的检测或市场动态的追踪。以下案例展示了如何使用 Web3.py 和 Infura 服务通过 WebSocket 协议监听以太坊上的实时交易。

首先，确保你安装了web3.py库，并拥有一个Infura项目ID。如果你还没有Infura项目ID，可以免费注册一个 Infura 账户并创建一个项目来获取。

pip install web3

Python 脚本示例

from web3 import Web3
import asyncio

# 使用你的Infura项目ID
INFURA_PROJECT_ID = 'YOUR_INFURA_PROJECT_ID'
w3 = Web3(Web3.WebsocketProvider(f'wss://mainnet.infura.io/ws/v3/{INFURA_PROJECT_ID}'))

# 确保连接成功
if w3.isConnected():
    print("Connected to Ethereum network")
else:
    print("Failed to connect to Ethereum network")
    exit(1)

async def log_new_transactions():
    # 创建一个新交易的过滤器
    new_transaction_filter = w3.eth.filter('pending')

    while True:
        # 获取过滤器中的新交易
        for tx_hash in new_transaction_filter.get_new_entries():
            # 获取交易详情
            tx = w3.eth.getTransaction(tx_hash)
            print(f"New transaction detected:\n From: {tx['from']}\n To: {tx['to']}\n Value: {w3.fromWei(tx['value'], 'ether')} ETH\n Hash: {tx_hash.hex()}\n")

        # 暂停一会儿，避免太频繁的查询
        await asyncio.sleep(10)

# 使用asyncio运行监听函数
loop = asyncio.get_event_loop()
loop.run_until_complete(log_new_transactions())

这个脚本首先连接到以太坊的主网络通过Infura的WebSocket接口。然后，它创建了一个新的交易过滤器来监听所有待处理的交易。每当检测到新的交易时，它将打印出交易的基本信息，包括发送者、接收者、交易金额和交易哈希。

注意事项

• WebSocket连接提供了一种高效的方式来实时接收数据，但它也需要在网络稳定的环境下运行以保持连接的持续性。
• 在处理大量的实时数据时，考虑使用适当的数据存储和分析工具来管理和分析这些数据。
• 监听实时交易可能会消耗大量的网络和计算资源，特别是在交易高峰期。确保你的应用有足够的资源来处理这些数据。

通过这个案例，我们展示了如何利用Web3.py和Infura服务来监听并处理以太坊网络上的实时交易。这为开发实时数据监控和分析应用提供了基础，能够让开发者及时捕捉和响应链上事件。

2.3.4 拓展案例 2：使用比特币节点发送交易

发送比特币交易是区块链开发中的一项基本技能，直接通过比特币节点来发送交易不仅可以提高数据的安全性和隐私性，还能让开发者更深入地理解比特币的工作原理。在本案例中，我们将使用比特币核心提供的RPC接口，通过Python脚本来构建和发送一笔简单的比特币交易。

首先，确保你的比特币核心节点已经安装并正确配置了RPC服务。你需要在bitcoin.conf文件中设置RPC用户名和密码，并确保比特币核心正在运行。

安装依赖

我们将使用python-bitcoinrpc库来与比特币节点的RPC接口交互，首先需要安装这个库：

pip install python-bitcoinrpc

Python 脚本示例

以下是一个使用RPC接口发送比特币交易的Python脚本示例。这个脚本将展示如何连接到比特币节点、创建新地址、获取UTXO（未花费的交易输出）、构建交易、然后广播这笔交易到网络。

from bitcoinrpc.authproxy import AuthServiceProxy, JSONRPCException

# RPC连接配置
rpc_user = 'your_rpc_user'
rpc_password = 'your_rpc_password'
rpc_host = '127.0.0.1'
rpc_port = '8332'

# 创建RPC连接
rpc_connection = AuthServiceProxy(f"http://{rpc_user}:{rpc_password}@{rpc_host}:{rpc_port}/")

# 创建一个新地址用于接收比特币
recipient_address = rpc_connection.getnewaddress()

# 查询账户中的UTXO来构建交易
unspent_txs = rpc_connection.listunspent(0)

# 选择一个UTXO作为交易输入
utxo = unspent_txs[0]

# 构建交易输出，发送小额比特币到新地址，剩余的返回给自己
# 注意：实际应用中需要正确计算交易费
txid = utxo['txid']
vout = utxo['vout']
amount = utxo['amount']
send_amount = 0.0001
change_amount = amount - send_amount - 0.00001  # 假设交易费为0.00001 BTC

# 构建原始交易
raw_tx = rpc_connection.createrawtransaction(
    [{"txid": txid, "vout": vout}], 
    {recipient_address: send_amount, rpc_connection.getrawchangeaddress(): change_amount}
)

# 签名交易
signed_tx = rpc_connection.signrawtransactionwithwallet(raw_tx)

# 广播交易
tx_hash = rpc_connection.sendrawtransaction(signed_tx['hex'])

print(f"Transaction hash: {tx_hash}")

注意事项

• 在执行实际的比特币交易之前，确保你充分理解交易的构建过程，特别是如何计算交易费用，以及如何安全地处理找零地址。
• 比特币交易费用是必须的，且随网络拥堵情况变化。建议动态计算交易费用，以保证交易能够及时被网络确认。
• 在生产环境中处理私钥和敏感信息时要格外小心。避免在脚本或配置文件中硬编码敏感信息。

通过这个案例，我们演示了如何直接通过比特币节点的RPC接口发送一笔简单的比特币交易。这种方法不依赖于第三方服务，为比特币应用开发提供了更高的安全性和灵活性。

通过直接与节点交互，我们能够执行更为复杂和强大的区块链操作，从基本的数据查询到实时监听和交易发送。这种方法为开发者提供了最大的灵活性和控制能力，使得可以构建出功能丰富、响应迅速的区块链应用。