用python爬取城市公交路线及站点
在Python中，可以通过requests、Beautiful Soup和Selenium等工具来爬取城市公交路线及站点数据。下面是大致的步骤：
1. 确定数据源：找到能提供需要的公交路线及站点数据的网站，比如百度地图、高德地图、公交查询网站等。
2. 分析渲染方式：确定目标网站使用的渲染方式，一般采用静态网页或动态网页，如JS渲染，对应不同的爬虫工具进行处理。
3. 使用requests和Beautiful Soup爬取静态网站：使用requests库发送get请求并获取响应页面内容，然后使用Beautiful Soup进行HTML页面解析，并定位需要的路线及站点信息。
4. 使用Selenium和ChromeDriver爬取动态网站：Selenium可以模拟浏览器请求，从而实现对动态渲染的网页抓取。同时，还需要下载ChromeDriver驱动程序或其他浏览器的驱动程序，安装相应的浏览器，使用selenium进行模拟登陆并进行路线及站点数据爬取。
注意事项：
- 在爬取公共交通线路及站点数据时，要注意相关法律法规的合规性；
- 需要模仿人类正常操作行为进行爬取，不能频繁刷新、提交请求等，以免被封IP地址；
- 数据量庞大，需考虑有效管理及存储方式。
import requests
from bs4 import BeautifulSoup
# 定义请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送requests请求
url = 'http://www.xxx.com/busline'
response = requests.get(url, headers=headers)
# 解析响应页面内容，提取需要的路线及站点信息
soup = BeautifulSoup(response.text, 'lxml')
bus_lines = soup.find_all('div', class_='bus-line')
for bus_line in bus_lines:
line_name = bus_line.find('h3').text
stations = bus_line.find_all('p', class_='station')
station_names = [station.a.text for station in stations]
print(line_name, station_names)
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
url = 'http://www.xxx.com/busquery.aspx'
driver = webdriver.Chrome() #需下载对应chrome驱动程序
# 打开目标网站，并模拟搜索操作
driver.get(url)
search_input = driver.find_element(By.ID, 'searchText')
search_input.clear()
search_input.send_keys("公交路线")
search_btn = driver.find_element(By.ID, 'searchButton')
search_btn.click()
# 加载页面，并定位路线及站点信息，进行数据解析
time.sleep(3) #等待页面渲染完成
bus_lines = driver.find_elements(By.CSS_SELECTOR, '.bus-line')
for bus_line in bus_lines:
line_name = bus_line.find_element(By.CSS_SELECTO,r 'h3').text
stations = bus_line.find_elements(By.CSS_SELECTOR, 'p.station')
station_names = [station.find_element(By.TAG_NAME, 'a').text for station in stations]
print(line_name, station_names)
# 关闭浏览器
driver.quit()