爬虫js和py字典转换

某些网页为了反爬, 把内容放到js代码中, 我们要在

重点是 json.loads 实现json格式和python字典的转换, [{}, {}] 这种格式

具体代码:

import requests
from bs4 import BeautifulSoup
import json

res = requests.get("https://channel.chinanews.com.cn/u/gn-qwys.shtml")
bs = BeautifulSoup(res.text, "html.parser")
bs1 = bs.find('script', {'type': 'text/javascript'}).get_text()
json_str = bs1.split("=")[1]
a = json_str.split("var pagebean")[0]
b = json_str.split(";")[0]
dic = json.loads(b)
for d in dic:
    if 'title' in d:
        print(f"标题:   {d['title']}")

爬取数据:

C:\ProgramData\anaconda3\envs\pythonproject3\python.exe C:\Users\Administrator\Desktop\pythonproject3\Demo1.py 
标题:   追记因公牺牲民警许树林：从警23年，他像大树一样把根扎进基层
标题:   山西青年返乡创业：黄芪种植铺就农民增收路
标题:   西宁穿警服的社区副书记：守护万人社区 近6年电诈案“零”发生
标题:   山西省人大代表李媛：扎根基层一线 倾心教书育人
标题:   新疆兵团护林员马晓华植树造林28年守护生态
标题:   北京医疗团队走进西藏洛隆 把医疗健康知识留在高原
标题:   （“八八战略”观澜）海岛守“候”20年：让“神话之鸟”有个家
标题:   滚滚热浪中，他们仍在岗位坚守
标题:   一个青年画家与一座抗战纪念馆
标题:   通讯：广西百岁抗战老兵韦忠诚的传奇人生
标题:   台湾资深配音演员康殿宏40余年“声音情缘”：热爱可抵岁月漫长
标题:   用身体隔开持刀纷争 “女勇士”柴丽娟：来不及害怕
标题:   深扎基层金融二十余载的“75后”  贴心服务守护“银发一族”
标题:   【寻味中华丨饮食】浙江杨梅：从“时令”变“时髦”
标题:   “民间艺术之乡”浙江乐清：黄杨木雕发源地助力“文化自信”
标题:   采种、育种南药近千种 九旬老人深耕南药六十余载
标题:   与山川草木为伴 护林人一年走出6000余公里
标题:   浙江“千岛之城”新乡贤的多面人生：深耕海岛不断转型
标题:   乡风乡韵绘新景 和美“湘村”入画来
标题:   浙江一高校请毕业生吃豪华自助 3年间惠及11200余名学子

进程已结束,退出代码0