C#网络爬虫(获取需要登录的网站数据)

鉴于业务需求,我们系统需要从某个网站爬取数据,而这个网站是需要登录的,所以请求需登录的网站数据的时候需要带上cookie,百度了一堆很多都是从请求的数据中取得cookie,我在想我都能取得数据了,还要cookie干嘛呢,不过一开始也是不清楚饶了弯路,鉴于此分享一下本人的经验

无图无真相,先贴代码
C#网络爬虫(获取需要登录的网站数据)_第1张图片
以上是抓数据的主要代码,现在的关键是如何取得cookie?
见证奇迹的时刻来了:
以谷歌浏览器为例,从谷歌的cookie文件中获取cookie信息,谷歌的cookie文件在C:\Users\acer\AppData\Local\Google\Chrome\User Data\Default\Cookies,acer要改为自己的电脑登录账号名
C#网络爬虫(获取需要登录的网站数据)_第2张图片
以上代码是从文件获取cookie信息,cookie的值是经过加密的需要解密
C#网络爬虫(获取需要登录的网站数据)_第3张图片
以上代码是解密过程

你可能感兴趣的:(C#,网络爬虫,抓取需登录的网站数据)