java写的抖音爬虫，爬取抖音的在线主播数据

用java写的爬虫，x-gorgon算法，STUB算法，老实说，要获取这个，那也是相当困难的。

好在已经实现，具体使用参考这篇文章：https://blog.csdn.net/lb87626/article/details/105928940

爬虫技术，知名的谷歌，百度，都是最大的爬虫，创造了可观的财富，不容小觑。

实现这个爬虫有两个难点，一是x-gorgon的获取，二是STUB的获取，x-gorgon是最重要的。

然后下载了一万多个用户头像，也不知道这些头像图片有什么价值。就留着以后做人工智能时是数据资源吧。当以后开发些智能程序的时候，全部转成python。

先来GET数据，抓的是在线的直播信息。
第一步就是，抓包了。

获得自己需要的信息，其中x-Gorgon是变化的。

第二步，就是编写程序，我这里用的是java。部分代码。

第三步，将抓取的数据保存到数据库。

朋友想要的是主播的房间号和抖音号，问他干啥也不说，就懵懵懂懂说是用了抢红包，我猜难道是抢主播打赏时用的红包，然后用了个什么抢红包工具？然后还叫我给他做个接口，其实就是叫我做个网址，可以生成个txt文档。既然用了java，那么索性全部用java，tomcat，servlet轻松解决他的需求。这些数据可以每隔一段时间自动更新一次。

后来也不知道咋整的，索性把这些主播的头像也下载了下来。

其实也就用了一点点代码，也许用python用的代码更少。

后面有空的话计划用Python改写个试试。

欢迎高手交朋友。我的v：lb87626