z77z
z77z

SpringBoot+SpringMVC+MybatisPlus框架整合练习之【美女图片】爬虫---图文详细流程

最近浏览很多博客，学习了不少新的知识，收获颇多，就想着能不能将新学的知识整合一下来练练手，提高自己撸代码搭框架的能力，还有就是给大家一个新年福利，爬一爬美女图片网站。上车请刷卡，哈哈。顺便就拿这爬来的数据作为基础数据来整合最近学习的框架。一劳多得。当然，本文还是以框架整合为主，爬取美女图片只是为了获取基础数据而已啦！！

现在我将我的学习成果分享出来，还望各位大神多多指点，有些不规范的地方还望大家指出，多多讨论学习，共同进步。源码我已经托管到我的码云上面，大家可以进我的博客查看，如果想要图片资源的话在评论区留下邮箱吧。

、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
个人博客地址：http://z77z.oschina.io/
，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，

先上成果（19禁！！）

爬取的图片，一共爬了一万多张，够大家玩一阵了。。。——–羞涩。。

SpringBoot+SpringMVC+MybatisPlus框架整合练习之【美女图片】爬虫---图文详细流程_第1张图片

数据库：

存储每个图片集合的链接，标题等信息。

SpringBoot+SpringMVC+MybatisPlus框架整合练习之【美女图片】爬虫---图文详细流程_第2张图片

存储每张图片的链接，并且和图片集合表关联。

SpringBoot+SpringMVC+MybatisPlus框架整合练习之【美女图片】爬虫---图文详细流程_第3张图片

项目整体搭建出来后的效果

SpringBoot+SpringMVC+MybatisPlus框架整合练习之【美女图片】爬虫---图文详细流程_第4张图片

使用工具，框架介绍

这里只介绍下最近学习的框架，其他在后面用到在做介绍。这两个框架都是对现有的spring和mybatis的一个提升，而并不是替代之前的框架，使开发者能够达到敏捷开发的目的。只推荐老司机学习，新手还是建议从基础入手。

  • SpringBoot

Spring由于其繁琐的配置，一度被人认为“配置地狱”，各种XML、Annotation配置，让人眼花缭乱，而且如果出错了也很难找出原因。想想之前搭建一个SSM框架，配置文件相当恼火，springboot的出现就大大减少了这些配置，甚至可以零配置文件。这里推荐一个此框架学习的博客链接：http://blog.720ui.com/page/3/

  • MybatisPlus：

这个框架是国内的大神编写的，我个人认为这就是一个mybatis的一个增强工具包，好处请大家自行去官方文档查阅，这里就不再赘述了。文档链接：http://mp.baomidou.com/docs/index.html

建立数据库

这里数据来源是爬虫爬取的。这里爬虫本身就不多介绍，我之前已经写过爬虫相关文章，出门左拐，我的个人博客中。

/*
Navicat MySQL Data Transfer

Source Server         : 本地
Source Server Version : 50610
Source Host           : localhost:3306
Source Database       : crawler

Target Server Type    : MYSQL
Target Server Version : 50610
File Encoding         : 65001

Date: 2017-01-22 22:40:13
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for beautiful_pictures
-- ----------------------------
DROP TABLE IF EXISTS `beautiful_pictures`;
CREATE TABLE `beautiful_pictures` (
  `id` varchar(255) NOT NULL COMMENT '美女图片爬取',
  `title` varchar(255) DEFAULT NULL,
  `url` varchar(255) DEFAULT NULL,
  `pictureurls_num` int(11) DEFAULT NULL,
  `zan` int(11) DEFAULT NULL,
  `biaoqian` varchar(255) DEFAULT NULL,
  `keywords` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for picture
-- ----------------------------
DROP TABLE IF EXISTS `picture`;
CREATE TABLE `picture` (
  `id` varchar(255) NOT NULL COMMENT '每张图片的地址',
  `pictures_id` varchar(255) DEFAULT NULL,
  `url` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

整合框架的搭建

新建项目添加配置文件

我这里使用的IDE工具是Spring Tool Suite，spring开发的首选开发工具
新建一个maven project ，选择maven-archetypr-webapp这个文件结构模版。
配置pom.xml文件和application.properties文件

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0modelVersion>
    <groupId>com.baomidougroupId>
    <artifactId>mybatisplus-spring-bootartifactId>
    <packaging>warpackaging>
    <version>1.0version>

    <parent>
        <groupId>org.springframework.bootgroupId>
        <artifactId>spring-boot-starter-parentartifactId>
        <version>1.4.1.RELEASEversion>
    parent>

    <dependencies>
        <dependency>
            <groupId>org.springframework.bootgroupId>
            <artifactId>spring-boot-starter-webartifactId>
        dependency>

        <dependency>
            <groupId>org.apache.tomcat.embedgroupId>
            <artifactId>tomcat-embed-jasperartifactId>
            <scope>providedscope>
        dependency>

        <dependency>
            <groupId>org.mybatis.spring.bootgroupId>
            <artifactId>mybatis-spring-boot-starterartifactId>
            <version>1.1.1version>
        dependency>

        <dependency>
            <groupId>MysqlgroupId>
            <artifactId>mysql-connector-javaartifactId>
            <version>5.1.38version>
        dependency>

        
        <dependency>
            <groupId>org.apache.velocitygroupId>
            <artifactId>velocityartifactId>
        dependency>

        
        <dependency>
            <groupId>com.alibabagroupId>
            <artifactId>druidartifactId>
            <version>1.0.26version>
        dependency>

        <dependency>
            <groupId>com.zaxxergroupId>
            <artifactId>HikariCPartifactId>
        dependency>

        
        <dependency>
            <groupId>com.baomidougroupId>
            <artifactId>mybatis-plusartifactId>
            <version>2.0.1version>
        dependency>

        
        <dependency>
            <groupId>org.springframework.bootgroupId>
            <artifactId>spring-boot-starter-testartifactId>
        dependency>
        <dependency>
            <groupId>com.jayway.restassuredgroupId>
            <artifactId>rest-assuredartifactId>
            <version>2.3.3version>
            <scope>testscope>
        dependency>
        
        <dependency>
            <groupId>com.alibabagroupId>
            <artifactId>fastjsonartifactId>
            <version>1.2.13version>
        dependency>

        <dependency>
            <groupId>org.jsoupgroupId>
            <artifactId>jsoupartifactId>
            <version>1.10.2version>
        dependency>
    dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.bootgroupId>
                <artifactId>spring-boot-maven-pluginartifactId>
            plugin>
        plugins>
    build>
project>

application.properties

#view
spring.mvc.view.prefix=/WEB-INF/view/
spring.mvc.view.suffix=.jsp

# jdbc_config
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/crawler?characterEncoding=utf8
spring.datasource.username=root
spring.datasource.password=
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.type=com.alibaba.druid.pool.DruidDataSource

#druid_config
spring.datasource.max-active: 20
spring.datasource.initial-size: 1
spring.datasource.min-idle: 3
spring.datasource.max-wait: 60000
spring.datasource.time-between-eviction-runs-millis: 60000
spring.datasource.min-evictable-idle-time-millis: 300000
spring.datasource.test-while-idle: true
spring.datasource.test-on-borrow: false
spring.datasource.test-on-return: false
spring.datasource.poolPreparedStatements: true



# mybatis_config
mybatis.mapper-locations=classpath:io/z77z/mapper/*Mapper.xml 
mybatis.typeAliasesPackage=io.z77z.entity

# log_config   DEBUG    ERROR    INFO    WARN  
logging.level.root=WARN
logging.file=./logs/spring-boot-logging.log

如果pom.xml报错，大部分原因都是因为jar包没有下载成功，可以手动下载后放到maven本地仓库里面，阿里maven镜像仓库链接：http://maven.aliyun.com/nexus/#welcome

编写MybatisPlusConfig.java

对mybatisplus的一些配置，配置成Bean交给spring容器管理

@Bean
public PaginationInterceptor paginationInterceptor() {
    PaginationInterceptor page = new PaginationInterceptor();
    page.setDialectType("mysql");
    return page;
}
/**
 * 这里全部使用mybatis-autoconfigure 已经自动加载的资源。不手动指定
 * 配置文件和mybatis-boot的配置文件同步
 * @return
 */
@Bean
public MybatisSqlSessionFactoryBean mybatisSqlSessionFactoryBean() {
    MybatisSqlSessionFactoryBean mybatisPlus = new MybatisSqlSessionFactoryBean();
    mybatisPlus.setDataSource(dataSource);
    mybatisPlus.setVfs(SpringBootVFS.class);
    if (StringUtils.hasText(this.properties.getConfigLocation())) {
        mybatisPlus.setConfigLocation(this.resourceLoader.getResource(this.properties.getConfigLocation()));
    }
    mybatisPlus.setConfiguration(properties.getConfiguration());
    if (!ObjectUtils.isEmpty(this.interceptors)) {
        mybatisPlus.setPlugins(this.interceptors);
    }
    // MP 全局配置，更多内容进入类看注释
    GlobalConfiguration globalConfig = new GlobalConfiguration();
    globalConfig.setDbType(DBType.MYSQL.name());
    // ID 策略 AUTO->`0`("数据库ID自增") INPUT->`1`(用户输入ID") ID_WORKER->`2`("全局唯一ID") UUID->`3`("全局唯一ID")
    globalConfig.setIdType(3);
    mybatisPlus.setGlobalConfig(globalConfig);
    MybatisConfiguration mc = new MybatisConfiguration();
    mc.setDefaultScriptingLanguage(MybatisXMLLanguageDriver.class);
    mybatisPlus.setConfiguration(mc);
    if (this.databaseIdProvider != null) {
        mybatisPlus.setDatabaseIdProvider(this.databaseIdProvider);
    }
    if (StringUtils.hasLength(this.properties.getTypeAliasesPackage())) {
        mybatisPlus.setTypeAliasesPackage(this.properties.getTypeAliasesPackage());
    }
    if (StringUtils.hasLength(this.properties.getTypeHandlersPackage())) {
        mybatisPlus.setTypeHandlersPackage(this.properties.getTypeHandlersPackage());
    }
    if (!ObjectUtils.isEmpty(this.properties.resolveMapperLocations())) {
        mybatisPlus.setMapperLocations(this.properties.resolveMapperLocations());
    }
    return mybatisPlus;
}

使用mybatisplus的代码生成插件

MpGenerator.java

/**
 * 

 * 代码生成器演示
 * 

 */
public class MpGenerator {
    /**
     * 

     * MySQL 生成演示
     * 

     */
    public static void main(String[] args) {
        AutoGenerator mpg = new AutoGenerator();
        // 全局配置
        GlobalConfig gc = new GlobalConfig();
        gc.setOutputDir("C://");
        gc.setFileOverride(true);
        gc.setActiveRecord(true);
        gc.setEnableCache(false);// XML 二级缓存
        gc.setBaseResultMap(true);// XML ResultMap
        gc.setBaseColumnList(false);// XML columList
        gc.setAuthor("z77z");
        // 自定义文件命名，注意 %s 会自动填充表实体属性！
        // gc.setMapperName("%sDao");
        // gc.setXmlName("%sDao");
        // gc.setServiceName("MP%sService");
        // gc.setServiceImplName("%sServiceDiy");
        // gc.setControllerName("%sAction");
        mpg.setGlobalConfig(gc);
        // 数据源配置
        DataSourceConfig dsc = new DataSourceConfig();
        dsc.setDbType(DbType.MYSQL);
        dsc.setDriverName("com.mysql.jdbc.Driver");
        dsc.setUsername("root");
        dsc.setPassword("");
        dsc.setUrl("jdbc:mysql://127.0.0.1:3306/crawler?characterEncoding=utf8");
        mpg.setDataSource(dsc);
        // 策略配置
        StrategyConfig strategy = new StrategyConfig();
        //strategy.setTablePrefix("beautiful_");// 此处可以修改为您的表前缀
        strategy.setNaming(NamingStrategy.underline_to_camel);// 表名生成策略
        strategy.setInclude(new String[] { "beautiful_pictures" }); // 需要生成的表
        strategy.setInclude(new String[] { "picture" }); // 需要生成的表
        // strategy.setExclude(new String[]{"test"}); // 排除生成的表
        // 字段名生成策略
        strategy.setFieldNaming(NamingStrategy.underline_to_camel);
        // 自定义实体父类
        // strategy.setSuperEntityClass("com.baomidou.demo.TestEntity");
        // 自定义实体，公共字段
        // strategy.setSuperEntityColumns(new String[] { "test_id", "age" });
        // 自定义 mapper 父类
        // strategy.setSuperMapperClass("com.baomidou.demo.TestMapper");
        // 自定义 service 父类
        // strategy.setSuperServiceClass("com.baomidou.demo.TestService");
        // 自定义 service 实现类父类
        // strategy.setSuperServiceImplClass("com.baomidou.demo.TestServiceImpl");
        // 自定义 controller 父类
        // strategy.setSuperControllerClass("com.baomidou.demo.TestController");
        // 【实体】是否生成字段常量（默认 false）
        // public static final String ID = "test_id";
        // strategy.setEntityColumnConstant(true);
        // 【实体】是否为构建者模型（默认 false）
        // public User setName(String name) {this.name = name; return this;}
        // strategy.setEntityBuliderModel(true);
        mpg.setStrategy(strategy);
        // 包配置
        PackageConfig pc = new PackageConfig();
        pc.setParent("io");
        pc.setModuleName("z77z");
        mpg.setPackageInfo(pc);
        // 注入自定义配置，可以在 VM 中使用 cfg.abc 设置的值
        InjectionConfig cfg = new InjectionConfig() {
            @Override
            public void initMap() {
                Map map = new HashMap();
                map.put("abc", this.getConfig().getGlobalConfig().getAuthor() + "-mp");
                this.setMap(map);
            }
        };
        mpg.setCfg(cfg);
        // 自定义模板配置，可以 copy 源码 mybatis-plus/src/main/resources/template 下面内容修改，
        // 放置自己项目的 src/main/resources/template 目录下, 默认名称一下可以不配置，也可以自定义模板名称
        // TemplateConfig tc = new TemplateConfig();
        // tc.setController("...");
        // tc.setEntity("...");
        // tc.setMapper("...");
        // tc.setXml("...");
        // tc.setService("...");
        // tc.setServiceImpl("...");
        // mpg.setTemplate(tc);
        // 执行生成
        mpg.execute();
        // 打印注入设置
        System.err.println(mpg.getCfg().getMap().get("abc"));
    }
}

新建上面java文件，注释已经解释的很清楚了，这里就不多说，配置好后直接运行，就会得到相应模块代码，直接将其稍作修改放到项目中即可。

对插件生成的代码简要分析

就拿生成的mapper文件做说明：

SpringBoot+SpringMVC+MybatisPlus框架整合练习之【美女图片】爬虫---图文详细流程_第5张图片

如上图所示生成的mapper继承了一个类，是mybatisplus提供的，查看其源码可以发现，继承的类里面封装了一些常用的通用的增删改查的代码，还有对分页查询的处理。简化了开发的代码量，只需要专注于业务逻辑的编写和实现，源码如下：

/**
 * 

 * Mapper 继承该接口后，无需编写 mapper.xml 文件，即可获得CRUD功能
 * 

 * 

 * 这个 Mapper 支持 id 泛型
 * 

 * 
 * @author hubin
 * @Date 2016-01-23
 */
public interface BaseMapper<T> {

    /**
     * 

     * 插入一条记录
     * 

     * 
     * @param entity
     *            实体对象
     * @return int
     */
    Integer insert(T entity);

    /**
     * 

     * 根据 ID 删除
     * 

     * 
     * @param id
     *            主键ID
     * @return int
     */
    Integer deleteById(Serializable id);

    /**
     * 

     * 根据 columnMap 条件，删除记录
     * 

     * 
     * @param columnMap
     *            表字段 map 对象
     * @return int
     */
    Integer deleteByMap(@Param("cm") Map columnMap);

    /**
     * 

     * 根据 entity 条件，删除记录
     * 

     * 
     * @param wrapper
     *            实体对象封装操作类（可以为 null）
     * @return int
     */
    Integer delete(@Param("ew") Wrapper wrapper);

    /**
     * 

     * 删除（根据ID 批量删除）
     * 

     * 
     * @param idList
     *            主键ID列表
     * @return int
     */
    Integer deleteBatchIds(List idList);

    /**
     * 

     * 根据 ID 修改
     * 

     * 
     * @param entity
     *            实体对象
     * @return int
     */
    Integer updateById(T entity);

    /**
     * 

     * 根据 whereEntity 条件，更新记录
     * 

     * 
     * @param entity
     *            实体对象
     * @param wrapper
     *            实体对象封装操作类（可以为 null）
     * @return
     */
    Integer update(@Param("et") T entity, @Param("ew") Wrapper wrapper);

    /**
     * 

     * 根据 ID 查询
     * 

     * 
     * @param id
     *            主键ID
     * @return T
     */
    T selectById(Serializable id);

    /**
     * 

     * 查询（根据ID 批量查询）
     * 

     * 
     * @param idList
     *            主键ID列表
     * @return List
     */
    List selectBatchIds(List idList);

    /**
     * 

     * 查询（根据 columnMap 条件）
     * 

     * 
     * @param columnMap
     *            表字段 map 对象
     * @return List
     */
    List selectByMap(@Param("cm") Map columnMap);

    /**
     * 

     * 根据 entity 条件，查询一条记录
     * 

     * 
     * @param entity
     *            实体对象
     * @return T
     */
    T selectOne(@Param("ew") T entity);

    /**
     * 

     * 根据 Wrapper 条件，查询总记录数
     * 

     * 
     * @param wrapper
     *            实体对象
     * @return int
     */
    Integer selectCount(@Param("ew") Wrapper wrapper);

    /**
     * 

     * 根据 entity 条件，查询全部记录
     * 

     * 
     * @param wrapper
     *            实体对象封装操作类（可以为 null）
     * @return List
     */
    List selectList(@Param("ew") Wrapper wrapper);

    /**
     * 

     * 根据 Wrapper 条件，查询全部记录
     * 

     *
     * @param wrapper
     *            实体对象封装操作类（可以为 null）
     * @return List
     */
    List> selectMaps(@Param("ew") Wrapper wrapper);

    /**
     * 

     * 根据 Wrapper 条件，查询全部记录
     * 

     *
     * @param wrapper
     *            实体对象封装操作类（可以为 null）
     * @return List
     */
    List selectObjs(@Param("ew") Wrapper wrapper);

    /**
     * 

     * 根据 entity 条件，查询全部记录（并翻页）
     * 

     * 
     * @param rowBounds
     *            分页查询条件（可以为 RowBounds.DEFAULT）
     * @param wrapper
     *            实体对象封装操作类（可以为 null）
     * @return List
     */
    List selectPage(RowBounds rowBounds, @Param("ew") Wrapper wrapper);

    /**
     * 

     * 根据 Wrapper 条件，查询全部记录（并翻页）
     * 

     *
     * @param rowBounds
     *            分页查询条件（可以为 RowBounds.DEFAULT）
     * @param wrapper
     *            实体对象封装操作类
     * @return List>
     */
    List> selectMapsPage(RowBounds rowBounds, @Param("ew") Wrapper wrapper);

}




对于其他的生成文件大家可以依照这个思路去查看其源码，结合之前传统的SSM开发，了解其原理。




创建springboot入口Application.java




需要注意的地方我都写在注释里面了，这里我是把爬虫的启动也写在这个配置文件里面了，项目一启动就会执行爬虫。知道爬取的数据为空就停止爬取。




/**
 * springboot
 * 
 * @author z77z
 *
 */
// 扫描指定包下面的mapper接口
@MapperScan("io.z77z.dao")

// 该 @SpringBootApplication 注解等价于以默认属性使用:
// @Configuration
// @EnableAutoConfiguration
// @ComponentScan

@SpringBootApplication
public class Application extends SpringBootServletInitializer implements CommandLineRunner {

    @Autowired
    BeautifulPicturesService beautifulPicturesService;

    @Autowired
    PictureService pictureService;
    //入口
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
    //Java EE应用服务器配置，
    //如果要使用tomcat来加载jsp的话就必须继承SpringBootServletInitializer类并且重写其中configure方法
    @Override
    protected SpringApplicationBuilder configure (SpringApplicationBuilder application) {
        return application.sources(Application.class);
    }
    //springboot运行后此方法首先被调用
    //实现CommandLineRunner抽象类中的run方法
    @Override
    public void run(String... args) throws Exception {
        //返回值
        int result = 1;
        //访问页码
        Integer page = 1;
        //启动爬虫
        System.out.println("爬虫开始工作！");
        while(result==1){
            result = crawler(page.toString());
            page+=1;
            if(result==0){
                System.out.println("爬虫运行结束！！");
            }
        }
    }



    public int crawler(String page){ 
        //初始化返回值
        int result = 1;
        //网站首页地址
        String homeUrl = "http://www.87g.com/";
        //接口地址
        String url = "http://www.87g.com/index.php?m=content&c=content_ajax&a=picture_page&siteid=1&catid=35&page="+page;
        System.out.println("当前爬取第"+ page +"页数据");
        //访问接口，
        JSONObject resultjson = CrawlerUtil.getReturnJson(url);
        if(resultjson!=null){
            //获取其value值
            Collection jsonList = resultjson.values();
                for(Object obj : jsonList){
                    BeautifulPictures beautifulPictures = JSON.parseObject(obj.toString(), BeautifulPictures.class);
                    String Keywords = beautifulPictures.getKeywords();
                    //按map条件查询。判断是否已经爬过，没有就入库
                    Map map = new HashMap();
                    map.put("keywords", Keywords);
                    int cont = beautifulPicturesService.selectByMap(map).size();
                    if(cont==0){
                        //入库
                        beautifulPicturesService.insert(beautifulPictures);
                        //访问链接获取document，并保存里面的图片
                        List listPicture = CrawlerUtil.getArticleInfo(homeUrl+beautifulPictures.getUrl(),beautifulPictures);
                        for(Picture picture : listPicture){
                            //入库
                            pictureService.insert(picture);
                        }
                    }else{
                        System.out.println(homeUrl+beautifulPictures.getUrl()+"页面数据已经爬过了！！");
                    }
                }
        }else{
            System.out.println("爬取到"+page+"页时没有数据了！！");
            result = 0;
        }
        return result;
    }
}


编写测试jsp和controller


<%@ page language="java" contentType="text/html; charset=UTF-8"
    pageEncoding="UTF-8"%>

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>Insert title heretitle>
head>
<body>
    helloJsp
    <hr>${user}
body>
html>


//如果是要返回jsp页面就必须要使用@Controller而不是@RestController
@Controller
@RequestMapping("/test")
public class TestController {

    @Autowired
    BeautifulPicturesService beautifulPicturesService;

    @RequestMapping("/test1")  
    public String view(Model model,Page page) {
        Page pageList= beautifulPicturesService.selectPage(page);
        model.addAttribute("user",JSON.toJSONString(pageList.getRecords()));
        return "index";
    }
}


运行


直接运行Application.java启动项目，项目会运行在springboot内嵌的web容器中，本项目是使用的内嵌tomcat容器。运行成功后，在浏览器输入http://localhost:8080/test/test1?current=2&size=10（curren代表要获取的页码，size代表要获取的数据条数）就会出现下面效果：


这里写图片描述


总结


    

  • 使用这套框架来搭建项目，和之前SSM那套比起来简单多咯，不需要过多的考虑配置文件，着重于业务逻辑代码的编写。
    • 

  • 最开始引入项目pom文件报错，手动下载jar包加入maven仓库，解决。其他地方遇到的坑，我写在代码注释里面。
    • 

  • 这个整合只是一个最基础的配置，但是绝大部分需求是够用了，直接在此框架基础上横向扩展就是了，如果有复杂的需求，还需要持续学习完善。
    • 

  • 之后就拿这个集成框架为基础，有什么新框架学习了就在上面练手。javaee全栈方向。
    • 



荆轲~~ 刺秦王~~~~

























你可能感兴趣的:(爬虫,框架整合)






    

  • Python爬虫解析工具之xpath使用详解
eqa11
python爬虫开发语言

    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    

    • 

  • nosql数据库技术与应用知识点
皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库

    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    

    • 

  • Java爬虫框架（一）--架构设计
狼图腾-狼之传说
java框架java任务html解析器存储电子商务

    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    

    • 

  • Java：爬虫框架
dingcho
Javajava爬虫

    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
    

    • 

  • WebMagic：强大的Java爬虫框架解析与实战
Aaron_945
Javajava爬虫开发语言

    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    

    • 

  • 00. 这里整理了最全的爬虫框架（Java + Python）
有一只柴犬
爬虫系列爬虫javapython

    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
    

    • 

  • python爬取微信小程序数据,python爬取小程序数据
2301_81900439
前端

    大家好，小编来为大家解答以下问题，python爬取微信小程序数据，python爬取小程序数据，现在让我们一起来看看吧！Python爬虫系列之微信小程序实战基于Scrapy爬虫框架实现对微信小程序数据的爬取首先，你得需要安装抓包工具，这里推荐使用Charles，至于怎么使用后期有时间我会出一个事例最重要的步骤之一就是分析接口，理清楚每一个接口功能，然后连接起来形成接口串思路,再通过Spider的回调
    

    • 

  • 大模型训练数据库Common Crawl
WindyChanChan
数据集语言模型数据库

    CommonCrawl介绍‌‌CommonCrawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。CommonCrawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌CommonCrawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据
    

    • 

  • Python精选200Tips：121-125
AnFany
Python200+Tipspython开发语言

    Spendyourtimeonself-improvement121Requests-简化的HTTP请求处理发送GET请求发送POST请求发送PUT请求发送DELETE请求会话管理处理超时文件上传122BeautifulSoup-网页解析和抓取解析HTML和XML文档查找单个标签查找多个标签使用CSS选择器查找标签提取文本修改文档内容删除标签处理XML文档123Scrapy-强大的网络爬虫框架示例
    

    • 

  • 爬虫技术抓取网站数据被限制怎么处理
Bearjumpingcandy
爬虫

    爬虫技术用于抓取网站数据时，可能会遇到一些限制，常见的包括反爬机制、速率限制、IP封禁等。以下是应对这些情况的一些策略：尊重robots.txt：每个网站都有robots.txt文件，遵循其中的规定可以避免触犯网站的抓取规则。设置合理频率：控制爬虫请求的速度，通过添加延迟或使用代理服务器，减少对目标网站的压力。使用代理：获取并使用代理IP地址可以更换访问来源，降低被识别的可能性。模拟用户行为：使用
    

    • 

  • 网站推广爬虫
Bearjumpingcandy
爬虫

    网站推广爬虫是一种用于升网站曝光度和推广效果的工具。它通过自动化地访问和收集网站信息，从而实现对目标网站的广告、关键词、排名等数据进行分析和优化。以下是网站推广爬虫的一些介绍：数据收集：网站推广爬虫可以自动访问目标网站，并收集相关的数据，如网站流量、关键词排名、竞争对手信息等。这些数据可以帮助网站推广人员了解网站的现状和竞争环境，从而制定相应的推广策略。关键词优化：通过分析搜索引擎的关键词排名情况
    

    • 

  • 爬虫技术抓取网站数据
Bearjumpingcandy
爬虫

    爬虫技术是一种自动化获取网站数据的技术，它可以模拟人类浏览器的行为，访问网页并提取所需的信息。以下是爬虫技术抓取网站数据的一般步骤：发起HTTP请求：爬虫首先会发送HTTP请求到目标网站，获取网页的内容。解析HTML：获取到网页内容后，爬虫会使用HTML解析器解析HTML代码，提取出需要的数据。数据提取：通过使用XPath、CSS选择器或正则表达式等工具，爬虫可以从HTML中提取出所需的数据，如文
    

    • 

  • 爬虫技术抓取网站数据
Bearjumpingcandy
爬虫

    爬虫技术是指通过程序自动访问网页并提取数据的技术。一般来说，爬虫技术包含以下几个步骤：确定目标网站：确定需要抓取的网站，并了解其页面结构和数据特点。分析页面结构：分析网页的结构和源代码，找到需要抓取的数据在页面中的位置和标识。编写爬虫程序：使用编程语言（如Python）编写爬虫程序，实现对目标网站的自动访问和数据提取。处理抓取数据：对抓取到的数据进行清洗、去重、整合等处理，以便后续的分析和利用。爬
    

    • 

  • 爬虫之隧道代理：如何在爬虫中使用代理IP？
2401_87251497
python开发语言爬虫网络tcp/ip网络协议

    在进行网络爬虫时，使用代理IP是一种常见的方式来绕过网站的反爬虫机制，提高爬取效率和数据质量。本文将详细介绍如何在爬虫中使用隧道代理，包括其原理、优势以及具体的实现方法。无论您是爬虫新手还是有经验的开发者，这篇文章都将为您提供实用的指导。什么是隧道代理？隧道代理是一种高级的代理技术，它通过创建一个加密的隧道，将数据从客户端传输到代理服务器，再由代理服务器转发到目标服务器。这样不仅可以隐藏客户端的真
    

    • 

  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT)
计算机源码社
Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设

    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
    

    • 

  • python抓取网页内容401应该用哪个库_python3使用requests模块爬取页面内容入门
坂田月半

    python的爬虫相关模块有很多，除了requests模块，再如urllib和pycurl以及tornado等。相比而言，requests模块是相对简单易上手的。通过文本，大家可以迅速学会使用python的requests模块爬取页码内容。1.Requests唯一的一个非转基因的PythonHTTP库，人类可以安全享用。官网：http://cn.python-requests.org/zh_CN/
    

    • 

  • 【Python爬虫】百度百科词条内容
PokiFighting
数据处理python爬虫开发语言

    词条内容我这里随便选取了一个链接，用的是FBI的词条importurllib.requestimporturllib.parsefromlxmlimportetreedefquery(url):headers={'user-agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.
    

    • 

  • 爬虫和代理IP的关系
xiaoxiongip666
爬虫tcp/ip服务器

    爬虫和代理IP之间的关系是相互依存的。代理IP为爬虫提供了绕过IP限制、隐藏真实IP、提高访问速度等能力，使得爬虫能够更有效地进行数据抓取。然而，在使用时也需要注意合法性、稳定性、成本以及隐私保护等问题。
    

    • 

  • python语言爬虫爬取歌曲程序代码
EYYLTV
python爬虫android

    importrequestssong_urls=[“http://music.163.com/song/media/outer/url?id=25795016.mp3”,“https://m703.music.126.net/20240915140140/670dfe5c0144991d4cb778d6662fd762/jd-musicrep-privatecloud-audio-public/o
    

    • 

  • python语言爬虫爬取歌曲代码X
EYYLTV
python爬虫java

    importrequestssong_urls=[“https://m804.music.126.net/20240915142147/4e01caa69abda60b165e185607805ee1/jdyyaac/obj/w5rDlsOJwrLDjj7CmsOj/30379084686/b56a/dbd5/39fc/792d87f5d7014bb78547ec3804eeaac5.m4a?au
    

    • 

  • 拼多多商家电话采集工具 爬虫教程分享
小电商达人
爬虫

    以下是使用Python编写的拼多多商家电话采集爬虫教程：一、前期准备安装Python：从Python官方网站下载并安装最新版本的Python，安装过程中注意勾选将Python添加到系统路径选项。安装相关库：在命令提示符中运行以下命令来安装所需的库。pipinstallrequests：用于发送HTTP请求获取网页内容。pipinstallbeautifulsoup4：用于解析HTML页面。二、分析
    

    • 

  • Python爬虫代理池
极客李华
python授课python爬虫开发语言

    Python爬虫代理池网络爬虫在数据采集和信息抓取方面起到了关键作用。然而，为了应对网站的反爬虫机制和保护爬虫的真实身份，使用代理池变得至关重要。1.代理池的基本概念：代理池是一组包含多个代理IP地址的集合。通过在爬虫中使用代理池，我们能够隐藏爬虫的真实IP地址，实现一定程度的匿名性。这有助于防止被目标网站封锁或限制访问频率。2.为何使用代理池：匿名性：代理池允许爬虫在请求目标网站时使用不同的IP
    

    • 

  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
2401_84572577
程序员大数据hadoop人工智能

    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
    

    • 

  • 10个高效的Python爬虫框架，你用过几个？
进击的C语言
python

    小型爬虫需求，requests库+bs4库就能解决；大型爬虫数据，尤其涉及异步抓取、内容管理及后续扩展等功能时，就需要用到爬虫框架了。下面介绍了10个爬虫框架，大家可以学习使用！1.Scrapyscrapy官网：https://scrapy.org/scrapy中文文档：https://www.osgeo.cn/scrapy/intro/oScrapy是一个为了爬取网站数据，提取结构性数据而编写的
    

    • 

  • python爬虫(5)之CSDN
It is a deal️
小项目pythonjson爬虫

    CSDN的爬虫相对于doubatop250更加简单，一般只需要title和url即可下面是相关的代码：#爬虫之csdn#分析urlhttps://www.csdn.net/api/articles?type=more&category=python&shown_offset=0（firstpage）#https://www.csdn.net/api/articles?type=more&categ
    

    • 

  • python学习第七节：正则表达式
一只会敲代码的小灰灰
python学习python学习正则表达式

    python学习第七节：正则表达式正则表达式基本上在所有开发语言中都会使用到，在python中尤为重要。当我们使用python开发爬虫程序将目标网页扒下来之后我们要从网页中解析出我们想要的信息，这个时候就需要正则表达式去进行匹配。importrere的常量re模块中有9个常量，常量的值都是int类型！（知道就行）修饰符描述re.l使匹配对大小写不敏感re.L做本地化识别(locale-aware)
    

    • 

  • 分布式框架Celery七(Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警)
yjjpp2301
Celery分布式djangopython后端

    Django中集成方式安装模块pipinstallDjango==3.2.22pipinstallcelerypipinstallredispipinstalleventlet#在windows环境下需要安装eventlet包-----------pipinstalldjango-celery-beatpipinstalldjango-celery-resultspipinstalldjango-
    

    • 

  • 生产者消费者模式_Labview基础之生产者消费者设计模式（事件）
weixin_39532699
生产者消费者模式

    1绪论近期，开了一个QQ群，刚开始的目的也是想多拉写软件相关的大神，有问题的时候也可以交流交流。记得当时有个软件在写的时候遇到了一个棘手的问题，outlook邮箱配置账户密码的问题，到现在也没解决，算了，也不是很迫切。2000人群就留在那里爬虫发单吧！建群以后才发现，原来这一块的小白还挺多，总结起来就一个原因：做这个软件的大多数都不是软件出生，都是因为临时要搭建一个上位机平台，匆匆入门......
    

    • 

  • Python——爬虫
星和月
python

    当编写一个Python爬虫时，你可以使用BeautifulSoup库来解析网页内容，使用requests库来获取网页的HTML代码。下面是一个简单的示例，演示了如何获取并解析网页内容：importrequestsfrombs4importBeautifulSoup#发送HTTP请求获取网页内容url='https://www.example.com'#要爬取的网页的URLresponse=requ
    

    • 

  • Python数据分析之股票信息可视化实现matplotlib
Blogfish
Python3大数据python可视化数据分析

    今天学习爬虫技术数据分析对于股票信息的分析及结果呈现，目标是实现对股票信息的爬取并对数据整理后，生成近期成交量折线图。首先，做这个案例一定要有一个明确的思路。知道要干啥，知道用哪些知识，有些方法我也记不住百度下知识库很强大，肯定有答案。有思路以后准备对数据处理，就是几个方法使用了。接口地址参考：Tushare数据涉及知识库：tushare-一个财经数据开放接口；pandas-实现将数据整理为表格，
    

    • 

  • log4j对象改变日志级别
3213213333332132
javalog4jlevellog4j对象名称日志级别

    log4j对象改变日志级别可批量的改变所有级别，或是根据条件改变日志级别。
log4j配置文件：
log4j.rootLogger=ERROR,FILE,CONSOLE,EXECPTION
#log4j.appender.FILE=org.apache.log4j.RollingFileAppender
log4j.appender.FILE=org.apache.l
    

    • 

  • elk+redis 搭建nginx日志分析平台
ronin47
elasticsearchkibanalogstash

                 elk+redis 搭建nginx日志分析平台
logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队 列，redis的l
    

    • 

  • Yii2设置时区
dcj3sjt126com
PHPtimezoneyii2

    时区这东西，在开发的时候，你说重要吧，也还好，毕竟没它也能正常运行，你说不重要吧，那就纠结了。特别是linux系统，都TMD差上几小时，你能不痛苦吗？win还好一点。有一些常规方法，是大家目前都在采用的1、php.ini中的设置，这个就不谈了，2、程序中公用文件里设置，date_default_timezone_set一下时区3、或者。。。自己写时间处理函数，在遇到时间的时候，用这个函数处理（比较
    

    • 

  • js实现前台动态添加文本框，后台获取文本框内容
171815164
文本框

    
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://w
    

    • 

  • 持续集成工具
g21121
持续集成

            持续集成是什么？我们为什么需要持续集成？持续集成带来的好处是什么？什么样的项目需要持续集成？...        持续集成(Continuous integration ,简称CI)，所谓集成可以理解为将互相依赖的工程或模块合并成一个能单独运行
    

    • 

  • 数据结构哈希表(hash)总结
永夜-极光
数据结构

    1.什么是hash
来源于百度百科:
Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入，通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。
 

    

    • 

  • 乱七八糟
程序员是怎么炼成的

    eclipse中的jvm字节码查看插件地址：
http://andrei.gmxhome.de/eclipse/
安装该地址的outline 插件  后重启，打开window下的view下的bytecode视图
http://andrei.gmxhome.de/eclipse/
 
jvm博客：
http://yunshen0909.iteye.com/blog/2
    

    • 

  • 职场人伤害了“上司” 怎样弥补
aijuans
职场

     由于工作中的失误，或者平时不注意自己的言行“伤害”、“得罪”了自己的上司，怎么办呢？
　　在职业生涯中这种问题尽量不要发生。下面提供了一些解决问题的建议：
　　一、利用一些轻松的场合表示对他的尊重
　　即使是开明的上司也很注重自己的权威，都希望得到下属的尊重，所以当你与上司冲突后，最好让不愉快成为过去，你不妨在一些轻松的场合，比如会餐、联谊活动等，向上司问个好，敬下酒，表示你对对方的尊重，
    

    • 

  • 深入浅出url编码
antonyup_2006
应用服务器浏览器servletweblogicIE

    出处：http://blog.csdn.net/yzhz  杨争  
http://blog.csdn.net/yzhz/archive/2007/07/03/1676796.aspx
一、问题：
        编码问题是JAVA初学者在web开发过程中经常会遇到问题，网上也有大量相关的
    

    • 

  • 建表后创建表的约束关系和增加表的字段
百合不是茶
标的约束关系增加表的字段

     
下面所有的操作都是在表建立后操作的,主要目的就是熟悉sql的约束,约束语句的万能公式
 
1,增加字段(student表中增加 姓名字段)
 
alter table 增加字段的表名 add 增加的字段名 增加字段的数据类型
alter table student add name varchar2(10);
 
&nb
    

    • 

  • Uploadify 3.2 参数属性、事件、方法函数详解
bijian1013
JavaScriptuploadify

    一.属性
属性名称
默认值
说明
auto
true
设置为true当选择文件后就直接上传了，为false需要点击上传按钮才上传。
buttonClass
”
按钮样式
buttonCursor
‘hand’
鼠标指针悬停在按钮上的样子
buttonImage
null
浏览按钮的图片的路
    

    • 

  • 精通Oracle10编程SQL(16)使用LOB对象
bijian1013
oracle数据库plsql

    /*
*使用LOB对象
*/
--LOB(Large Object)是专门用于处理大对象的一种数据类型，其所存放的数据长度可以达到4G字节
--CLOB/NCLOB用于存储大批量字符数据，BLOB用于存储大批量二进制数据，而BFILE则存储着指向OS文件的指针
/*
*综合实例
*/
--建立表空间
--#指定区尺寸为128k,如不指定，区尺寸默认为64k
CR
    

    • 

  • 【Resin一】Resin服务器部署web应用
bit1129
resin

    工作中，在Resin服务器上部署web应用，通常有如下三种方式：
 
配置多个web-app
配置多个http id
为每个应用配置一个propeties、xml以及sh脚本文件
配置多个web-app
 
在resin.xml中,可以为一个host配置多个web-app
 
<cluster id="app&q
    

    • 

  • red5简介及基础知识
白糖_
基础

     
简介
 
Red5的主要功能和Macromedia公司的FMS类似，提供基于Flash的流媒体服务的一款基于Java的开源流媒体服务器。它由Java语言编写，使用RTMP作为流媒体传输协议，这与FMS完全兼容。它具有流化FLV、MP3文件，实时录制客户端流为FLV文件，共享对象，实时视频播放、Remoting等功能。用Red5替换FMS后,客户端不用更改可正
    

    • 

  • angular.fromJson
boyitech
AngularJSAngularJS 官方APIAngularJS API

    angular.fromJson 描述: 把Json字符串转为对象 使用方法: angular.fromJson(json); 参数详解: Param Type Details json
string
JSON 字符串 返回值: 对象, 数组, 字符串 或者是一个数字 示例:
<!DOCTYPE HTML>
<h
    

    • 

  • java-颠倒一个句子中的词的顺序。比如： I am a student颠倒后变成：student a am I
bylijinnan
java

    
public class ReverseWords {
/**
* 题目：颠倒一个句子中的词的顺序。比如： I am a student颠倒后变成：student a am I.词以空格分隔。
* 要求：
* 1.实现速度最快,移动最少
* 2.不能使用String的方法如split,indexOf等等。
* 解答：两次翻转。
*/
publ
    

    • 

  • web实时通讯
Chen.H
Web浏览器socket脚本

    关于web实时通讯，做一些监控软件。
由web服务器组件从消息服务器订阅实时数据，并建立消息服务器到所述web服务器之间的连接，web浏览器利用从所述web服务器下载到web页面的客户端代理与web服务器组件之间的socket连接，建立web浏览器与web服务器之间的持久连接；利用所述客户端代理与web浏览器页面之间的信息交互实现页面本地更新，建立一条从消息服务器到web浏览器页面之间的消息通路
    

    • 

  • [基因与生物]远古生物的基因可以嫁接到现代生物基因组中吗?
comsci
生物

    
      大家仅仅把我说的事情当作一个IT行业的笑话来听吧..没有其它更多的意思
    如果我们把大自然看成是一位伟大的程序员,专门为地球上的生态系统编制基因代码,并创造出各种不同的生物来,那么6500万年前的程序员开发的代码,是否兼容现代派的程序员的代码和架构呢?
  
    

    • 

  • oracle 外部表
daizj
oracle外部表external tables

        oracle外部表是只允许只读访问，不能进行DML操作，不能创建索引，可以对外部表进行的查询，连接，排序，创建视图和创建同义词操作。
you can select, join, or sort external table data. You can also create views and synonyms for external tables. Ho
    

    • 

  • aop相关的概念及配置
daysinsun
AOP

    切面(Aspect):
通常在目标方法执行前后需要执行的方法（如事务、日志、权限），这些方法我们封装到一个类里面，这个类就叫切面。
连接点（joinpoint）
spring里面的连接点指需要切入的方法，通常这个joinpoint可以作为一个参数传入到切面的方法里面（非常有用的一个东西）。
通知（Advice）
通知就是切面里面方法的具体实现，分为前置、后置、最终、异常环
    

    • 

  • 初一上学期难记忆单词背诵第二课
dcj3sjt126com
englishword

    middle 中间的，中级的
well 喔，那么；好吧
phone 电话，电话机
policeman 警察
ask 问
take 拿到；带到
address 地址
glad 高兴的，乐意的
why 为什么 
China 中国
family 家庭
grandmother (外)祖母
grandfather (外)祖父
wife 妻子
husband 丈夫
da
    

    • 

  • Linux日志分析常用命令
dcj3sjt126com
linuxlog

    1.查看文件内容
cat
-n 显示行号 2.分页显示
more
Enter 显示下一行
空格 显示下一页
F 显示下一屏
B 显示上一屏
less
/get 查询"get"字符串并高亮显示 3.显示文件尾
tail
-f 不退出持续显示
-n 显示文件最后n行 4.显示头文件
head
-n 显示文件开始n行 5.内容排序
sort
-n 按照
    

    • 

  • JSONP 原理分析
fantasy2005
JavaScriptjsonpjsonp 跨域

    转自 http://www.nowamagic.net/librarys/veda/detail/224
JavaScript是一种在Web开发中经常使用的前端动态脚本技术。在JavaScript中，有一个很重要的安全性限制，被称为“Same-Origin Policy”（同源策略）。这一策略对于JavaScript代码能够访问的页面内容做了很重要的限制，即JavaScript只能访问与包含它的
    

    • 

  • 使用connect by进行级联查询
234390216
oracle查询父子Connect by级联

    使用connect by进行级联查询
 
       connect by可以用于级联查询，常用于对具有树状结构的记录查询某一节点的所有子孙节点或所有祖辈节点。
 
       来看一个示例，现假设我们拥有一个菜单表t_menu，其中只有三个字段：
    

    • 

  • 一个不错的能将HTML表格导出为excel,pdf等的jquery插件
jackyrong
jquery插件

    发现一个老外写的不错的jquery插件，可以实现将HTML
表格导出为excel,pdf等格式，
地址在：
https://github.com/kayalshri/
下面看个例子，实现导出表格到excel,pdf
<html>
<head>
<title>Export html table to excel an
    

    • 

  • UI设计中我们为什么需要设计动效
lampcy
UIUI设计

    关于Unity3D中的Shader的知识
首先先解释下Unity3D的Shader，Unity里面的Shaders是使用一种叫ShaderLab的语言编写的，它同微软的FX文件或者NVIDIA的CgFX有些类似。传统意义上的vertex shader和pixel shader还是使用标准的Cg/HLSL 编程语言编写的。因此Unity文档里面的Shader，都是指用ShaderLab编写的代码，
    

    • 

  • 如何禁止页面缓存
nannan408
htmljspcache

    禁止页面使用缓存~
------------------------------------------------
jsp:页面no cache：
response.setHeader("Pragma","No-cache");
response.setHeader("Cache-Control","no-cach
    

    • 

  • 以代码的方式管理quartz定时任务的暂停、重启、删除、添加等
Everyday都不同
定时任务管理spring-quartz

          【前言】在项目的管理功能中，对定时任务的管理有时会很常见。因为我们不能指望只在配置文件中配置好定时任务就行了，因为如果要控制定时任务的 “暂停” 呢？暂停之后又要在某个时间点 “重启” 该定时任务呢？或者说直接 “删除” 该定时任务呢？要改变某定时任务的触发时间呢？ “添加” 一个定时任务对于系统的使用者而言，是不太现实的，因为一个定时任务的处理逻辑他是不
    

    • 

  • EXT实例
tntxia
ext

     
（1） 增加一个按钮
 
JSP:
 
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<%
String path = request.getContextPath();
Stri
    

    • 

  • 数学学习在计算机研究领域的作用和重要性
xjnine
Math

    最近一直有师弟师妹和朋友问我数学和研究的关系，研一要去学什么数学课。毕竟在清华，衡量一个研究生最重要的指标之一就是paper,而没有数学，是肯定上不了世界顶级的期刊和会议的，这在计算机学界尤其重要！你会发现，不论哪个领域有价值的东西，都一定离不开数学！在这样一个信息时代，当google已经让世界没有秘密的时候，一种卓越的数学思维，绝对可以成为你的核心竞争力.  无奈本人实在见地
    

    •