jsoup网上抓取资源到入库超详细

  

1.首先拿到网址,自己先去网址上看看需要抓取的数据,并确定实体类bean,并且建好对应的表结构

我使用的是创建maven项目,也可以使用一般的Java项目,下载对应的jar包放进去别忘了buildpath,使用的jsoup,还需要入库,我是用的oracle,所以导入的是ojdbc,以及一些相应的依赖包

   这是个国外的网站,抓取到的数据是英文的,尝试了webservice翻译和模拟某度翻译,但是效果都不好,webservice调用别的服务每次的翻译请求间隔不能太短,所有取消自动翻译,让人工确认,

若需要锁定环境版本,在pom.xml中添加下面内容,我的是1.8+

   
        
            
                
                    org.apache.maven.plugins
                    maven-compiler-plugin
                    3.2
                    
                        1.8
                        1.8
                        utf8
                        true
                    
                
            
        

    

1.2创建实体类bean,提供相应的构造方法和getter和setter方法

2.创建连接数据的工具,调整自己的数据连接信息

如果程序启动过程中遇到

unable to find valid certification path to requested target

请移步看我另一解决步骤:

https://blog.csdn.net/wzc1991520/article/details/79442304