【数据爬取】Jsoup爬取数据的使用

1.Jsoup介绍

Jsoup 是一个用于解析、提取和操作 HTML 文档的 Java 库。它提供了简单且易于使用的 API，能够轻松地从 HTML 页面中提取数据。

2.导入依赖

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.3</version> <!-- 使用最新版本 -->
</dependency>

3.爬虫示例

示范了一个爬取微博网数据的示例：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class SinaNewsCrawler {

    public static void main(String[] args) {
        String url = "https://news.sina.com.cn/";

        try {
            // 连接到新浪新闻首页并获取 Document 对象
            Document document = Jsoup.connect(url).get();

            // 使用选择器提取新闻标题
            Elements newsTitles = document.select(".linkNewsTopBold");

            // 处理提取到的数据
            for (Element newsTitle : newsTitles) {
                System.out.println("News Title: " + newsTitle.text());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}