haptony
haptony

Springdata-mongodb的基本使用

文章目录

  • 一、 SpringData介绍
  • 二、 SpringData操作MongoDB的两种方式及实战
    • 1. MongoTemplate
      • 1.1 Mongodb Driver Api操作MongoDB
        • 1.1.2 基本CRUD
        • 1.1.3 连接选项
      • 1.2 MongoTemplate的基本CRUD
      • 1.3 MongoTemplate的聚合查询
        • 1.3.1 Aggregate
        • 1.3.2 MapReduce
        • 1.3.3 聚合操作和MapReduce对比
        • 1.3.4 Group操作
        • 1.3.5 Bucket聚合
    • 2. MongoRepository
      • 2.1 简介
      • 2.2 基本CRUD
    • 3. MongoTemplate和MongoRepository对比

一、 SpringData介绍

**SpringData****是为了提供一个常见的、一致的数据访问模型，也就是说，它的目标就是为了能为所有数据库（包括关系型和非关系型）提供一致的数据操作接口，并且这些接口名非常通俗易懂，让人一看便知。**它也是基于Spring框架的，即可以直接使用Spring的IoC和AOP等特性。

它的一致性接口是怎么做到的呢？

我们知道，Java对于数据库（关系和非关系型）的操作，最原始的API都是数据库厂商在驱动里提供的，然后java对这些API进行直接使用或者进行封装，形成相应的Java层面的API，例如对于各个关系型数据库，Java将驱动API，封装成JDBC（使得对各个数据库的操作保持统一），对于MongoDB和Redis，Java是直接用驱动里的API，等等。对于每一种数据库，Java层面的API都是不一样的，开发人员使用一种数据库就要记住一套Api，SpringData就是想消除这种不一致性，使得对各种数据库的操作用同一套Api即可。具体来说，它是使用Repository接口来实现的，每一种类型的数据库，都对应一种Repository，这样接口就一致了。例如，JDBC对应SimpleJdbcRepository，MongoDB对应MongoRepository，等等。SpringData的架构如下图：

Springdata-mongodb的基本使用_第1张图片

二、 SpringData操作MongoDB的两种方式及实战

1. MongoTemplate

1.1 Mongodb Driver Api操作MongoDB

mongoTemplate是对mongodb java driver api的封装，我们先了解一下使用mongodb driver api操作mongodb。

1.1.2 基本CRUD

  • 引入依赖


    
        mongodb
        mongodb
        1.0.0-SNAPSHOT
    
    4.0.0

    springdata-mongodb
    
        
            org.mongodb
            mongo-java-driver
            3.8.2
        
        
            junit
            junit
            4.12
  • 实体类
package cs.entity;

import java.util.List;

public class User {
    private String id;
    private String name;
    private int age;
    private String gender;
    private List address;

    public String getGender() {
        return gender;
   }

    public void setGender(String gender) {
        this.gender = gender;
   }

    public List getAddress() {
        return address;
   }

    public void setAddress(List address) {
        this.address = address;
   }

    public String getId() {
        return id;
   }

    public void setId(String id) {
        this.id = id;
   }

    public String getName() {
        return name;
   }

    public void setName(String name) {
        this.name = name;
   }

    public int getAge() {
        return age;
   }

    public void setAge(int age) {
        this.age = age;
   }

    public User(String name, int age) {
        this.name = name;
        this.age = age;
   }

    public User(String id, String name, int age, String gender, List address) {
        this.id = id;
        this.name = name;
        this.age = age;
        this.gender = gender;
        this.address = address;
   }

    public User(){}

    @Override
    public String toString() {
        return "[id:" + this.id + "; name:" + this.name + "; age:"+ this.age +"; gender:" + this.gender +
                "; address:" + this.address + "]";
   }
}
  • 连接配置信息

在mongodb3.7以后，MongoClient做了一次升级，由原来的com.mongodb.MongoClient升级为com.mongodb.client.MongoClient，它们的区别可以查阅官网，这里不作讨论，推荐直接用新版的，下面例子中新旧版都有，仅作参考，后续只以新版为例讲解。

package cs.connection;

import com.mongodb.MongoClient;
import com.mongodb.MongoClientOptions;
import com.mongodb.MongoCredential;
import com.mongodb.ServerAddress;
import com.mongodb.WriteConcern;
import com.mongodb.client.MongoClients;


public class ConnectionManager {
    public static MongoClient connect(){
        // 1. 方式1
        MongoCredential credential = MongoCredential.createCredential(USERNAME,
                AUTH_DB, PWD.toCharArray());
        com.mongodb.MongoClient mongoClient = new com.mongodb.MongoClient(new ServerAddress(HOST, PORT),
                credential, MongoClientOptions.builder().sslEnabled(false).writeConcern(WriteConcern.ACKNOWLEDGED).build());
//       // 2. 方式2
//       String uri = String.format("mongodb://%s:%s@%s:%d/?authSource=%s", USERNAME, PWD, HOST, PORT, AUTH_DB);
//       MongoClient mongoClient = new MongoClient(new MongoClientURI(uri));
        return mongoClient;
   }

    public static com.mongodb.client.MongoClient connect2(){
        // 3. 方式3
        com.mongodb.client.MongoClient mongoClient = MongoClients.create(String.format(
                "mongodb://%s:%s@%s:%d/?authSource=%s", USERNAME, PWD, HOST, PORT,
                AUTH_DB));
        return mongoClient;
   }

    /**
     * 服务器
     */
    public static final String HOST = "localhost";

    /**
     * 端口
     */
    public static final int PORT = 26501;

    /**
     * 验证数据库
     */
    public static final String AUTH_DB = "admin";

    /**
     * 用户名
     */
    public static final String USERNAME = "admin";

    /**
     * 密码
     */
    public static final String PWD = "fiberhome";
}
  • Crud

  1. 增加

    @Test
public void testInsert(){
    /**
     * 连接数据库
     */
    MongoClient mongoClient = ConnectionManager.connect();

    MongoDatabase user = mongoClient.getDatabase("user");
    MongoCollection userCollection = user.getCollection("user");

    /**
     * 1. 插入单个
     */
    Document doc1 = new Document("name", "bbb").append("age", 35);
    userCollection.insertOne(doc1);

    System.out.println("单个插入成功！");

    //       /**
    //         * 2. 批量插入
    //         */
    //       Document doc2 = new Document("name", "aaa").append("age", 51);
    //       Document doc3 = new Document("name", "bb").append("age", 52);
    //       Document doc4 = new Document("name", "ccc").append("age", 60);
    //       Document doc5 = new Document("name", "dddd").append("age", 73);
    //       Document doc6 = new Document("name", "eeee").append("age", 82);
    //       Document doc7 = new Document("name", "eeee").append("age", 23);
    //       Document doc8 = new Document("name", "eeee").append("age", 32);
    //       Document doc9 = new Document("name", "eeee").append("age", 46);
    //       userCollection.insertMany(Arrays.asList(doc2, doc3, doc4, doc5, doc6, doc7, doc8, doc9));
    //       System.out.println("批量插入成功！");
}

  2. 查询

    @Test
public void testQuery(){
    /**
     * 连接数据库
     */
    MongoClient mongoClient = ConnectionManager.connect();
    //       com.mongodb.client.MongoClient mongoClient = ConnectionManager.connect2();

    /**
     * 1. 查询
     * 1.1 查询所有
     */
    // 获取数据库
    MongoDatabase user = mongoClient.getDatabase("user");
    for (String collectionName : user.listCollectionNames()) {
        System.out.println(collectionName);
   }

    // 获取user集合
    MongoCollection users = user.getCollection("user");
    // 几种遍历方式
    // 1. 使用for遍历
    System.out.println("--------------------方式1--------------------");
    for (Document document : users.find()) {
        // 这里可以将document封装成业务对象
        // 对于自生成的id，必须用get().toString, 不能用getString()
        String id = document.get("_id").toString();
        String name = document.getString("name");
        int age = document.getInteger("age");
        String gender = document.getString("gender");
        List address = (ArrayList)document.get("address");
        User user2  = new User(id, name, age, gender, address);
        System.out.println(user2);
   }
    // 2.使用foreach遍历，以下2种均可
    System.out.println("--------------------方式2--------------------");
    users.find().forEach((Block)doc -> {
        // 这里可以将document封装成业务对
        System.out.println(doc.toJson());
        //封装过程略...
   });
    System.out.println("--------------------方式3--------------------");
    users.find().forEach(new Block() {
        @Override
        public void apply(Document document) {
            // 这里可以将document封装成业务对象
            System.out.println(document.toJson());
            //封装过程略...

       }
   });

    // 3.使用指针
    System.out.println("--------------------方式4--------------------");
    MongoCursor cursor = users.find().iterator();
    while (cursor.hasNext()) {
        // 这里可以将document封装成业务对象
        System.out.println(cursor.next().toJson());
        //封装过程略...
   }

    System.out.println("--------------------条件查询--------------------");

    /**
     * 1.2 条件查询
     */
    // 查询名字为aaa的
    FindIterable docs = users.find(eq("name", "aaa"));
    // 同样可以对docs进行一些遍历操作

    // 查询年龄在50-60岁之间的
    users.find(and(gte("age", 50), lte("age", 60)));

    /**
     * 2. 关闭连接
     */
    mongoClient.close();
}

  3. 更新

    @Test
public void testUpdate(){
    /**
     * 连接数据库
     */
    MongoClient mongoClient = ConnectionManager.connect();

    MongoDatabase user = mongoClient.getDatabase("user");
    MongoCollection userCollection = user.getCollection("user");

    /**
     * 1. 更新单个
     */
//       userCollection.updateOne(eq("name", "bbb"), combine(set("age", 30), set("gender", "f")));
//       System.out.println("更新单个成功！");

    /**
     * 2. 更新多个
     */
    userCollection.updateMany(eq("name", "bbb"), combine(set("age", 20), set("gender", "f")));
    System.out.println("更新多个成功！");

//       /**
//         * 3. 替换，当需要更新的字段很多时，宜用替换
//         */
//       userCollection.replaceOne(eq("name", "bbb"), new Document("name", "bbb").append("age", 60));
    System.out.println("替换成功！");
}

  4. 删除

    @Test
public void testDel(){
    /**
     * 连接数据库
     */
    MongoClient mongoClient = ConnectionManager.connect();
 
    MongoDatabase user = mongoClient.getDatabase("user");
    MongoCollection userCollection = user.getCollection("user");
    /**
     * 1. 删除单个
     */
    userCollection.deleteOne(eq("name", "zhangh"));
    System.out.println("删除单个成功！");
 
    /**
     * 2. 批量删除
     */
//        userCollection.deleteMany(gt("age", 50));
//        System.out.println("批量删除成功！");
}

1.1.3 连接选项

可以使用连接字符串或者MongoClientSettings类设置连接选项，例如，设置ssl连接和最大连接池数：

  • 使用连接字符串：
MongoClient mongoClient = MongoClients.create("mongodb://admin:fiberhome@localhost:26501/?authSource=admin&ssl=true");
  • 使用MongoClientSettings类：
MongoCredential credential = MongoCredential.createCredential("admin", "admin", "fiberhome".toCharArray());
MongoClientSettings mongoClientSettings = MongoClientSettings.builder()
    .credential(credential)
    .applyToClusterSettings(builder -> builder.hosts(Arrays.asList(new ServerAddress("localhost", 26501))))
    .applyToConnectionPoolSettings(builder -> builder.maxSize(100)) // 最大连接数
    .applyToSslSettings(builder -> builder.enabled(true))   // 启用ssl连接
    .build();
MongoClient mongoClient2 = MongoClients.create(mongoClientSettings);
  • 混用：
MongoClientSettings mongoClientSettings = MongoClientSettings.builder()
                .applyToConnectionPoolSettings(builder -> builder.maxSize(100)) // 最大连接数                .applyToSslSettings(builder -> builder.enabled(true))   // 启用ssl连接
                .applyConnectionString(new ConnectionString("mongodb://admin:fiberhome@localhost:26501/?authSource=admin")).build(); 
MongoClient mongoClient2 = MongoClients.create(mongoClientSettings);

注：

一个MongoClient代表了一个连接池，所以对于一个mongodb服务实例（例如一个单体部署的服务实例），只需要一个MongoClient实例即可，即使是在多线程环境中。如果确实使用了多个MongoClient实例，那么：

  1. 所有的资源使用限制（例如最大连接数等）将作用于每个实例上；

  2. 使用MongoClient.close()方法关闭MongoClient，释放资源。

可以设置连接池的最大连接数，和超时时间等。上面例子中设置了最大连接数，其他有关线程池的设置，可以参考 官网。

1.2 MongoTemplate的基本CRUD

现在回过头来看MongoTemplate的操作。MongoTemplate的bean的配置，可以用spring xml或者注解@Configuration的方式，其实本质一样，这里只介绍注解方式，本节末附上xml配置。

  • 引入依赖：


    
        mongodb
        mongodb
        1.0.0-SNAPSHOT
    
    4.0.0
 
    springdata-mongodb
    
        
        
            org.springframework
            spring-context
            5.2.9.RELEASE
        
        
            org.mongodb
            mongo-java-driver
            3.8.2
        
        
        
            org.springframework.data
            spring-data-mongodb
            2.2.10.RELEASE
        
        
        
            org.springframework
            spring-test
            5.1.3.RELEASE
        
        
            junit
            junit
            4.12
  • 配置类
·         package cs.config;
·          
·         import cs.connection.ConnectionManager;
·         import org.springframework.context.annotation.Bean;
·         import org.springframework.context.annotation.Configuration;
·         import org.springframework.data.mongodb.MongoDbFactory;
·         import org.springframework.data.mongodb.core.MongoTemplate;
·         import org.springframework.data.mongodb.core.SimpleMongoClientDbFactory;
·         import org.springframework.data.mongodb.core.SimpleMongoDbFactory;
·         import org.springframework.data.mongodb.repository.config.EnableMongoRepositories;
·          
·         @Configuration
·         @EnableMongoRepositories("cs.dao")  //添加MongoRepository的扫描包，如果不定义，将扫描当前配置类所在的包
·         public class AppConfig {
·             @Bean
·             public MongoDbFactory mongoDbFactory(){
·                 return new SimpleMongoDbFactory(ConnectionManager.connect(), "user");
·             }
·          
·             @Bean
·             public MongoDbFactory mongoDbFactory2(){
·                 return new SimpleMongoClientDbFactory(ConnectionManager.connect2(), "user");
·             }
·          
·             @Bean
·             public MongoTemplate mongoTemplate() {
·         //        return new MongoTemplate(ConnectionManager.connect(), "user");
·                 return new MongoTemplate(ConnectionManager.connect2(), "user");
·         //        return new MongoTemplate(mongoDbFactory());
·         //        return new MongoTemplate(mongoDbFactory2());
·             }
·          
·          
}
  • Crud
  1. 增删查改：
2.  @Autowired
3.  private MongoTemplate mongoTemplate;
4.  @Test
5.  public void testCrud(){
6.      /**
7.       * insert, save的区别：
8.       * 1. save会根据id对象是否存在，存在则进行update，而insert在对象存在时不进行操作；
9.       * 2. save插入时，会进行遍历，insert不需要，因此效率高；
10.     *
11.     * save, upsert, update区别：
12.     * 它们都可以进行更新，但update只在对象存在时才更新，否则什么也不做；save和upsert在对象不存在时，会插入
13.     * save和upsert之间的区别是，save只会根据pojo的id来判定对象是否存在，更新的内容也是pojo的所有属性；
14.     * upsert可以指定匹配条件来判定，并且可以指定要更新的内容
15.     */
16.    /**
17.     * 1. 插入
18.     * 1.1 插入单个
19.     */
20.//        User oneUser = new User("lh", 31);
21.//        mongoTemplate.insert(oneUser);
22. 
23.    /**
24.     * 1.2 批量插入
25.     */
26.    User user1 = new User("1", "aa", 13, "f", Arrays.asList("daye", "wuhan"));
27.    User user2 = new User("2", "bb", 33, "f", Arrays.asList("daye", "wuhan"));
28.    User user3 = new User("3", "cc", 45, "m", Arrays.asList("daye", "wuhan"));
29.    User user4 = new User("4", "dd", 23, "f", Arrays.asList("daye", "wuhan"));
30.    User user5 = new User("5", "ee", 50, "m", Arrays.asList("daye", "wuhan"));
31.    mongoTemplate.insertAll(Arrays.asList(user1, user2, user3, user4, user5));
32. 
33.    /**
34.     * 2. 查询
35.     */
36.    User user = mongoTemplate.findOne(query(where("name").is("aaa")), User.class);
37.    System.out.println(user);
38. 
39.    User user22 = mongoTemplate.findById("3", User.class);
40.    System.out.println(user22);
41. 
42.    List users = mongoTemplate.findAll(User.class);
43.    for (User userObj : users) {
44.        System.out.println(userObj);
45.    }
46. 
47.    /**
48.     * 3. 更新
49.     * 3.1 使用update
50.     */
51.//        mongoTemplate.updateFirst(query(where("name").is("zs")), update("age", "26"), User.class);
52.//        mongoTemplate.updateMulti(query(where("name").is("zs")), update("age", "26"), User.class);
53. 
54.    /**
55.     * 3.2 使用upsert
56.     */
57.    /**
58.     * upsert和updateFirst类似，查找到文档然后进行更新，但是如果不存在就插入新的数据，插入的数据是
59.     * query中的文档和update中的文档的结合。
60.     */
61.    mongoTemplate.upsert(query(where("name").is("jwli")), update("age", 26), User.class);
62. 
63.    /**
64.     * 3.3 使用findAndModify
65.     */
66.//        /**
67.//         * findAndModify功能更强大，集成了updateFirst和upsert，并且可以设置是否返回新设置的值
68.//         */
69.//        User newUser = mongoTemplate.findAndModify(query(where("name").is("jwli")), update("age", 31),
70.//                new FindAndModifyOptions().returnNew(true).upsert(true), User.class);
71.//
72. 
73.    /**
74.     * 4. 删除
75.     */
76.    User user33 = mongoTemplate.findOne(query(where("name").is("jwli")), User.class);
77.    System.out.println(user33);
78.    mongoTemplate.remove(user33);
79. 
80. 
81.    /**
82.     * 还有findAndReplace, remove等各种API，大家可以去官网上查阅
83.     */
84. 
}
  • MongoTemplate****的bean xml配置
·         
·         
·             
·             
·             
·                 
·                 
·             
·             
·             
·               
·                 
·                 
·                 
·             
·

1.3 MongoTemplate的聚合查询

1.3.1 Aggregate

  • 2****个概念：pipeline（管道）和stage（阶段）

mongodb中的Aggregate的管道其实就是一个操作的流水线，每个操作对应一个stage（阶段），每个stage的输出，作为下一stage的输入。如下图：

Springdata-mongodb的基本使用_第2张图片

管道做的事归结起来就两点：重新映射文档，产生聚合数据，后面的介绍中可以看到。

  • 聚合操作

聚合操作就是一系列的过滤、分组、排序等stage的集合（也即一个管道操作）。下图展示最简单的聚合操作：

Springdata-mongodb的基本使用_第3张图片

  • 代码实现

o 例1：基本使用

·         @Test
·         public void testAggregate01(){
·             /**
·              * 1. 形式1
·              */
·         //        ProjectionOperation.ProjectionOperationBuilder projectionOperationBuilder =
·         //                Aggregation.project("name", "age", "gender").and("address");
·         //        GroupOperation groupOp = Aggregation.group("name").count().as("num");
·         //        ProjectionOperation projectionOperation2 = Aggregation.project("num").and("name2").previousOperation();
·         //        SortOperation sortOperation = Aggregation.sort(DESC, "num");
·         //        List aggregationOperation =
·         //                Arrays.asList(projectionOperationBuilder, groupOp, projectionOperation2, sortOperation);
·         //        Aggregation agg = newAggregation(aggregationOperation);
·          
·             /**
·              * 2. 形式2
·              */
·             Aggregation agg = newAggregation(
·                     project("name", "age", "gender").and("address"),    // 选出哪些列参与聚合
·                     group("name").count().as("num"),  // 对name字段进行分组并进行count计数，统计结果取名num
·                     project("num").and("name2").previousOperation(),    // 选出聚合结果中的num列，将上一个聚合操作gruop的id列（name）也选出来并取名为name2
·                     sort(DESC, "num")
·             );
·             // 聚合操作
·             AggregationResults results = mongoTemplate.aggregate(agg, "user", UserAggInfo.class);
·             List mappedResults = results.getMappedResults();
·             for (UserAggInfo mappedResult : mappedResults) {
·                 System.out.println(mappedResult);
·             }
}

实体类：

package cs.entity;
 
public class UserAggInfo{
    String num;
    String name2;
 
    public String getNum() {
        return num;
    }
 
    public void setNum(String num) {
        this.num = num;
    }
 
    public String getName2() {
        return name2;
    }
 
    public void setName2(String name2) {
        this.name2 = name2;
    }
 
    @Override
    public String toString() {
        return "[" + this.name2 + ":" + this.num + "]";
    }
}

o 例2：模拟项目中的一个类型转换错误

o    @Test
o    public void testAggregate02(){
o        Aggregation agg = newAggregation(
o                match(where("age").gt(30)),
o                unwind("address"),     // 将类型为数组的列拆分成多个文档，每个文档的字段名为原字段名，值为每个数组元素。unwind之后投影的列名还是保持原样
o                group("name").addToSet("address").as("addss") ,  // 对name字段进行分组并进行count计数，统计结果取名num
o                // 这一步只会产生一个列名addss，name只是作为分组id，不会作为列名
o                project("addss").and("name2").previousOperation(),    // 选出聚合结果中的addss列，将上一个聚合操作gruop id列（name）也选出来并取名为name2
o                sort(DESC, "name2")
o        );
o        /**
o         * 模拟List转为String错误
o         */
o        AggregationResults results = mongoTemplate.aggregate(agg, "user", UserAggInfo2.class);
o        List mappedResults = results.getMappedResults();
o        for (UserAggInfo2 mappedResult : mappedResults) {
o            System.out.println(mappedResult);
o        }
}

实体：

package cs.entity;
 
import java.util.List;
 
public class UserAggInfo2{
    List addss;
    String name2;
 
    public List getAddss() {
        return addss;
    }
 
    public void setAddss(List addss) {
        this.addss = addss;
    }
 
    public String getName() {
        return name2;
    }
 
    public void setName(String name2) {
        this.name2 = name2;
    }
 
    @Override
    public String toString() {
        return "[" + this.name2 + ":" + this.addss + "]";
    }
}

注：

GroupOperation.push和addToSet方法，对应mongodb的 g r o u p 中 的 group中的 group中的push和$addToSet，这2个操作符作用类似，故只以push为例。类比关系型数据库的group by，分组后，select能选择的列，都只能是与分组相关的数据，比如最大值最小值平均值或者是分组的key值，但是push是将操作得到的结果生成数组，并且取一个别名，具体地，是将push后面的表达式作用于分组中的每条记录，得到一个数组，将此数组作为一个结果返回，这个结果就和平均值最大值最小值一样，都是【分组相关的数据】了。push和addToSet的区别，前者不对数组元素去重，后者去重。

1.3.2 MapReduce

  • 简介

MapReduce****是一种并行计算的编程模型，对于复杂任务，总是能抽象成map和reduce两个处理流程。所谓map操作，就是对一批实体数据的字段和值进行重新映射（字段和值就是一对映射），所谓reduce，就是将map的的结果进行聚合操作，如求最大值，最小值，平均值等。将map和reduce均拆分成多个子任务，使它们均能被多个处理程序并行处理。例如，统计1000万份文档中的词频（假设所有文档中出现的单词只有3000个），那么最终我们想得到3000个{“单词N”: 数量}这种数据，怎么做呢？在横向上，将1000万个文档分配到10000台机器（mapper）上，每台机器只负责1000个文档的统计，各个mapper的处理过程是并行的， 所以理论上时间会压缩10000倍；在纵向上，3000个单词分配到100台机器（reducer）上，每个机器只处理其中30个单词的统计，各个reducer的处理过程也是并行的，所以理论上时间会再压缩1000倍。如下图：

Springdata-mongodb的基本使用_第4张图片

mongodb中的map-reduce也借鉴了这一模型，不过我们更关注它的map和reduce操作，并行计算并没有涉及，可以理解成上面例子中的单个mapper和单个reducer，简言之，就是使用map方法重新映射字段和值，然后使用reduce方法进行聚合。如下图：

Springdata-mongodb的基本使用_第5张图片

  • Mongodb****中使用mapreduce
·         var mapFunction2 = function() {
·            for (var idx = 0; idx < this.items.length; idx++) {
·               var key = this.items[idx].sku;
·               var value = { count: 1, qty: this.items[idx].qty };
·          
·               emit(key, value);
·            }
·         };
·         // 注意，如果key只有1个，不会走reduce方法！
·         var reduceFunction2 = function(keySKU, countObjVals) {
·           // 注意，这里取名必须与map函数中的一致，也就是必须是count， qty！
·           reducedVal = { count: countObjVals[0].count, qty: countObjVals[0].qty, info:"aaa" };
·          
·           for (var idx = 1; idx < countObjVals.length; idx++) {
·               reducedVal.count += countObjVals[idx].count;
·               reducedVal.qty += countObjVals[idx].qty;
·           }
·          
·           return reducedVal;
·         };
·          
·         var finalizeFunction2 = function (key, reducedVal) {
·          reducedVal.avg = reducedVal.qty/reducedVal.count;
·          return reducedVal;
·         };
·          
·         db.orders.mapReduce(
·           mapFunction2,
·           reduceFunction2,
·           {
·             out: { merge: "map_reduce_example2" },
·             query: { ord_date: { $gte: new Date("2020-03-01") } }, 
·             finalize: finalizeFunction2
·           }
);
  • 代码实现
·         @Test
·         public void testMapReduce02() throws Exception {
·             // java的Date类型与mongodb的Date类型对应
·             Date date = new SimpleDateFormat("yyyy-MM-dd").parse("2020-03-10");
·             MapReduceResults results = mongoTemplate.mapReduce(query(where("ord_date").gte(date)),
·                     "orders", "classpath:map02.js", "classpath:reduce02.js",
·                     options().outputCollection("map_reduce_out2").finalizeFunction("function(key, countVals){\n" +
·                             "    countVals.avg = countVals.qty / countVals.count;\n" +
·                             "    return countVals;\n" +
·                             "}"), ValueObject02.class);
·         //        MapReduceResults results = mongoTemplate.mapReduce(query(where("ord_date").gte(date)),
·         //                "orders", "classpath:map02.js", "classpath:reduce02.js",
·         //                options().outputCollection("map_reduce_out2").finalizeFunction("classpath:finalize02.js"),
·         //                ValueObject02.class);
·             for (ValueObject02 result : results) {
·                 System.out.println(result);
·             }
·          
}

1.3.3 聚合操作和MapReduce对比

Aggregation pipeline****比mapreduce有更好的性能和更清晰的语法，并且大量的mapreduce操作都和aggregate中的操作等价，但是mapreduce的很多操作都更灵活，例如，处理一个文档时，map-reduce可以有多个key-value映射，也可以一个都没有； mapreduce还可以使用自定义的js函数对处理的结果进行最终的处理等。

在项目中，可以根据具体场景来选用。

1.3.4 Group操作

Mongodb官网上说了，group方法（不是 g r o u p 操 作 符 ） 从 3.4 版 开 始 ， 被 废 弃 了 ， 可 以 用 聚 合 操 作 中 的 group操作符）从3.4版开始，被废弃了，可以用聚合操作中的 group操作符）从3.4版开始，被废弃了，可以用聚合操作中的group或者Mapreduce取代，所以这里不再讲解，之所以提一下，是因为我有看到springdata-mongodb有group方法，我很好奇它和聚合操作有什么区别。有兴趣的可以研究下mongodb官网3.4版本以前的group方法以及spring官网中mongoTemplate的group方法。

1.3.5 Bucket聚合

Mongodb中还有一种聚合bucket（桶）聚合聚合，对应mongodb的aggregate操作中的$bucket阶段。

前面讲的聚合都是根据分组字段的具体值进行分组的，而bucket****是根据分组字段的区间进行分组的，具体地，是将每个区间作为一个分组（桶），Mongodb会自动遍历每个文档，决定每个文档属于哪个分组（桶）（落在哪个区间），然后我们对分组（桶）内的文档进行聚合，聚合后，每个分组（桶）以一个文档输出，文档的id值就是区间的下界值。

  • Mongodb****中使用$bucket语法：
  1. 语法：
2.  {
3.   $bucket: {
4.       groupBy: ,
5.       boundaries: [ , , ... ],
6.       default: ,
7.       output: {
8.          : { <$accumulator expression> },
9.          ...
10.        : { <$accumulator expression> }
11.     }
12.  }
}

13.使用

14.db.user.aggregate([
15.   {
16.           $bucket: {
17.                   groupBy: "$age", 
18.                   boundaries: [10, 20, 30], 
19.                   default: "other", 
20.                   output: {
21.                          "count": {$sum: 1},
22.                          "maxAge": {$max: "$age"},
23.                          "name": {$addToSet: "$name"}
24.                   }
25.           }
26.   }
])
// 多面bucket操作
db.user.aggregate([
   {
           $facet: {
                   info1: [
                          {
                                  $bucket: {
                                         groupBy: "$age", 
                                         boundaries: [0, 30, 60, 100], 
                                         default: "other", 
                                         output: {
                                                 "name": {$addToSet: "$name"}, 
                                                 "maxAge": {$max: "$age"}
                                         }
                                  }
                          }
                   ], 
                   info2: [
                          {
                                  $bucket: {
                                         groupBy: "$age", 
                                         boundaries: [0, 50, 100], 
                                         default: "other", 
                                         output: {
                                                 "info": { 
                                                   $addToSet: {$concat: ["$name", ":", "_id"]}
                                                   
                                                 }
                                         }
                                  }
                          }
                   ]
           }
   }
])

**注：**这两段脚本的运行结果最好用json视图查看，不然会很晕。

·

· 代码实现

·         @Test
·         public void testBucket(){
·             Aggregation agg = newAggregation(
·                     bucket("age").withBoundaries(10, 20, 30).withDefaultBucket("other")
·                             .andOutputCount().as("count2").andOutput("age").max().as("maxAge")
·                             .andOutput("name").addToSet().as("name")
·             );
·             // 聚合操作
·             AggregationResults results = mongoTemplate.aggregate(agg, "user", Object.class);
·             results.getMappedResults();
}
@Test
/**
 * 多面bucket操作
 */
public void testBucket02(){
    Aggregation agg = newAggregation(
            facet(bucketAuto("age", 4)
                    .andOutput("name").addToSet().as("name")
                    .andOutput("age").max().as("maxAge"))
                    .as("info1")
                    .and(bucketAuto("age", 3).andOutput("_id" + ":" + "name").addToSet()
                            .as("infoinfo"))
                    .as("info2")
 
    );
    // 聚合操作
    AggregationResults results = mongoTemplate.aggregate(agg, "user", Object.class);
    results.getMappedResults();
}
 
  
bucketAuto不需要手动指定边界，它会根据我们指定的个数，来自动划定区间，并且以区间的左右临界值组成文档后作为id的值，形如“_id”: {“min”:0, “max”:40}。
 
  
· group****聚合和桶聚合的区别是什么？
 
  
前者是根据分组字段的某个具体的值进行分组，后者是根据分组字段的区间进行分组，而它们内部的聚合操作本质上是一样的。
 
  
2. MongoRepository
 
  
2.1 简介
 
  
MongoRepository对MongoTemplate进行了封装，前面讲的都是MongoTemplate的用法，现在再看看MongoRepository的用法。使用MongoRepository，我们只需要自己写一个接口（其实是一个代理），继承MongoRepository接口，然后就可以直接使用了， 之所以可以直接使用，是因为MongoRepository有如下的继承结构：
 
  
Springdata-mongodb的基本使用_第6张图片
 
  
并且，我们的自定义接口实际上是一个动态代理，代理的MongoRepository，具体是SimpleMongoRepository对象。进行数据库操作时，代理对象内部会调用目标对象SimpleMongoRepository中的相应方法。
 
  
定义了接口后，我们可以直接使用的方法（以查询方法为例），包括一系列增删改查，分页，排序等方法，如下：
 
  
findAll, findOne, findById, find, findAndRemove
 
  
以及一些符合命名规范的方法，如下：
 
  
Springdata-mongodb的基本使用_第7张图片
 
  
Springdata-mongodb的基本使用_第8张图片
 
  
还可以自己使用@Query注解来自定义查询方法（见后面的例子）。
 
  
哪里能看出来MongoRepository封装了MongoTemplate呢，看下面源码：
 
  
ArticleDao:
 
  
在这里插入图片描述
 
  
CrudRepository:
 
  
在这里插入图片描述
 
  
SimpleMongoRepository
 
  
在这里插入图片描述
 
  
2.2 基本CRUD
 
  
· dao
 
  
·         package cs.dao;
·          
·         import cs.entity.Article;
·         import org.springframework.data.mongodb.repository.MongoRepository;
·         import org.springframework.data.mongodb.repository.Query;
·          
·         import java.util.List;
·          
·        
·         /**
·          * 注意，由于spring会使用动态代理产生实现类，所以并不需要我们自己注册该接口的子类对象到spring容器中，
·          * spring底层会将代理子类的对象注册到spring容器中。
·          */
·         public interface ArticleDao extends MongoRepository {
·             // 根据Repository的命名规则，可以自定义查询方法
·             List
 findArticleByTitleLike(String title);
·             List
 findByContentIsStartingWith(String startContent);
·             @Query(value = "{$and: [{'_id': ?0}, {'title': /?1/}]}")
·             List
 findArticle(String id, String title);
}

 
  
· Crud
 
  
·         package cs.test;
·          
·         import cs.config.AppConfig;
·         import cs.dao.ArticleDao;
·         import cs.entity.Article;
·         import org.junit.Test;
·         import org.junit.runner.RunWith;
·         import org.springframework.beans.factory.annotation.Autowired;
·         import org.springframework.data.domain.Page;
·         import org.springframework.data.domain.PageRequest;
·         import org.springframework.data.domain.Pageable;
·         import org.springframework.data.domain.Sort;
·         import org.springframework.test.context.ContextConfiguration;
·         import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
·          
·         import java.util.Arrays;
·         import java.util.List;
·          
·         import static org.springframework.data.domain.Sort.Direction.DESC;
·          
·    
·         @RunWith(SpringJUnit4ClassRunner.class)
·         //@ContextConfiguration("classpath:applicationContext.xml")
·         @ContextConfiguration(classes = AppConfig.class)
·         public class TestMongoRepository {
·             @Autowired
·             private ArticleDao articleDao;
·             @Test
·             public void testSave(){
·                 Article article = new Article();
·                 article.setId("1");
·                 article.setTitle("China is developing fast.");
·                 article.setContent("Now, china is developing fast, it will exceed America soon.");
·                 // 当id已经存在时，save方法，会进行覆盖
·                 articleDao.save(article);
·             }
·          
·             @Test
·             public void testSaveBatch(){
·                 Article article = new Article();
·                 article.setId("2");
·                 article.setTitle("Good Fly.");
·                 article.setContent("Look! the bird is flying happily.");
·          
·                 Article article3 = new Article();
·                 article3.setId("3");
·                 article3.setTitle("Yes you can.");
·                 article3.setContent("You can do it!");
·                 articleDao.saveAll(Arrays.asList(article, article3));
·             }
·          
·             @Test
·             public void testUpdate(){
·                 Article article = articleDao.findById("1").get();
·                 article.setTitle("Go well.");
·                 article.setContent("Don't be afraid, all will go well.");
·                 articleDao.save(article);
·             }
·          
·             @Test
·             public void testDelete(){
·         //        articleDao.deleteById("2");
·                 Article article = new Article();
·                 article.setId("3");
·                 // 只需要id相同即可删除
·                 articleDao.delete(article);
·          
·         //        articleDao.deleteAll();
·             }
·          
·             @Test
·             /**
·              * 使用MongoRepository自带的查询方法
·              */
·             public void testFind(){
·          
·                 Article article = articleDao.findById("1").get();
·                 System.out.println(article);
·             }
·          
·             @Test
·             /**
·              * 使用根据命名规则定义的查询方法
·              */
·             public void testQuryByConvention(){
·                 // like方法里不需要加%%
·                 List
 articles = articleDao.findArticleByTitleLike("China");
·                 for (Article article : articles) {
·                     System.out.println(article);
·                 }
·          
·                 List
 articles1 = articleDao.findByContentIsStartingWith("You");
·                 for (Article article : articles1) {
·                     System.out.println(article);
·                 }
·          
·                 List
 articles2 = articleDao.findArticle("1", "China");
·                 for (Article article : articles2) {
·                     System.out.println(article);
·                 }
·             }
·          
·             @Test
·             /**
·              * 使用MongoRepository自动的方法进行分页和排序
·              */
·             public void testFindAllWithPage(){
·                 // 按title降序排列
·                 Sort sort = Sort.by(DESC, "titile");
·                 // 第2页，最大大小为1，页数从0开始，并排序
·                 Pageable pageable = PageRequest.of(0, 1, sort);
·                 Page
 pageData = articleDao.findAll(pageable);
·                 List
 articles = pageData.getContent();     // 获取当前页的内容
·                 long totalElements = pageData.getTotalElements();   // 获取全部元素的数量
·                 int totalPages = pageData.getTotalPages();  // 获取总页数
·                 for (Article article : articles) {
·                     System.out.println(article);
·                 }
·             }
·         }

 
  
3. MongoTemplate和MongoRepository对比
 
  
前面我们知道了，MongoRepository是对MongoTemplate的封装，但是实际开发中，这两者还是会存在选型问题的，该怎么选呢？通过上面的操作，我们看到，作为Dao层时，使用MongoRepository，我们不用自己写实现类就可以实现简单的增删改查，分页，排序等，但是复杂的操作，就比较费劲了；而使用MongoTemplate时，需要自己去写CRUD操作，但是这些操作都可以自己控制，所以可以拼很复杂的查询，并且它支持聚合操作。
 
  
所以在实际开发中，对于简单的操作，可以直接使用MongoRepository; 对于复杂的操作和聚合查询等，就使用MongoTemplate，或者有的情境下，可以两者混用。
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(Java,mongodb,java,数据库)

        

            

                
    
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • LocalDateTime 转 String
                        igotyback
java开发语言
                        
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
    
                    
    • 
                    
  • Linux下QT开发的动态库界面弹出操作（SDL2）
                        13jjyao
QT类qt开发语言sdl2linux
                        
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    
                    
    • 
                    
  • Google earth studio 简介
                        陟彼高冈yu
旅游
                        
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
    
                    
    • 
                    
  • 关于提高复杂业务逻辑代码可读性的思考
                        编程经验分享
开发经验java数据库开发语言
                        
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
    
                    
    • 
                    
  • SQL Server_查询某一数据库中的所有表的内容
                        qq_42772833
SQLServer数据库sqlserver
                        
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
    
                    
    • 
                    
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    
                    
    • 
                    
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team
                        若博豆
java算法华为javascript
                        
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
    
                    
    • 
                    
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
                        nseejrukjhad
数据库python
                        
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
    
                    
    • 
                    
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
                        二挡起步
web前端期末大作业javascripthtmlcss旅游风景
                        
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    
                    
    • 
                    
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    
                    
    • 
                    
  • MongoDB Oplog 窗口
                        喝醉酒的小白
MongoDB运维
                        
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
    
                    
    • 
                    
  • node.js学习
                        小猿L
node.jsnode.js学习vim
                        
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
    
                    
    • 
                    
  • python os 环境变量
                        CV矿工
python开发语言numpy
                        
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    
                    
    • 
                    
  • 【PG】常见数据库、表属性设置
                        江无羡
数据库
                        
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
    
                    
    • 
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • insert into select 主键自增_mybatis拦截器实现主键自动生成
                        weixin_39521651
insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
                        
    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
    
                    
    • 
                    
  • Java 重写(Override)与重载(Overload)
                        叨唧唧的

                        
    Java重写(Override)与重载(Overload)重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写,返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如：父类的一个方法申明了一个检查异常IOExceptio
    
                    
    • 
                    
  • 简单了解 JVM
                        记得开心一点啊
jvm
                        
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
    
                    
    • 
                    
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解
                        秋刀prince
mysqlmysql数据库
                        
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
    
                    
    • 
                    
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven
                        Energet!c
开发语言
                        
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
    
                    
    • 
                    
  • Java企业面试题3
                        马龙强_
java
                        
    1.break和continue的作用(智*图)break：用于完全退出一个循环（如for,while）或一个switch语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在for循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。2.if分支语句和switch分
    
                    
    • 
                    
  • JVM、JRE和 JDK：理解Java开发的三大核心组件
                        Y雨何时停T
Javajava
                        
    Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
    
                    
    • 
                    
  • Java面试题精选：消息队列(二)
                        芒果不是芒
Java面试题精选javakafka
                        
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
    
                    
    • 
                    
  • 白骑士的Java教学基础篇 2.5 控制流语句
                        白骑士所长
Java教学java开发语言
                        
    欢迎继续学习Java编程的基础篇！在前面的章节中，我们了解了Java的变量、数据类型和运算符。接下来，我们将探讨Java中的控制流语句。控制流语句用于控制程序的执行顺序，使我们能够根据特定条件执行不同的代码块，或重复执行某段代码。这是编写复杂程序的基础。通过学习这一节内容，你将掌握如何使用条件语句和循环语句来编写更加灵活和高效的代码。条件语句条件语句用于根据条件的真假来执行不同的代码块。if语句‘
    
                    
    • 
                    
  • python语法——三目运算符
                        HappyRocking
pythonpython三目运算符
                        
    在java中，有三目运算符，如：intc=(a>b)?a:b表示c取两者中的较大值。但是在python，不能直接这样使用，估计是因为冒号在python有分行的关键作用。那么在python中，如何实现类似功能呢？可以使用ifelse语句，也是一行可以完成，格式为：aifbelsec表示如果b为True，则表达式等于a，否则等于c。如：c=(aif(a>b)elseb)同样是完成了取最大值的功能。
    
                    
    • 
                    
  • ArrayList 源码解析
                        程序猿进阶
Java基础ArrayListListjava面试性能优化架构设计idea
                        
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
    
                    
    • 
                    
  • Java爬虫框架（一）--架构设计
                        狼图腾-狼之传说
java框架java任务html解析器存储电子商务
                        
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    
                    
    • 
                    
  • Java：爬虫框架
                        dingcho
Javajava爬虫
                        
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
    
                    
    • 
                    
  • MongoDB知识概括
                        GeorgeLin98
持久层mongodb
                        
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
    
                    
    • 
                                
  • 分享100个最新免费的高匿HTTP代理IP
                                    mcj8089
代理IP代理服务器匿名代理免费代理IP最新代理IP
                                    
      
推荐两个代理IP网站： 
  
1. 全网代理IP：http://proxy.goubanjia.com/ 
  
2. 敲代码免费IP：http://ip.qiaodm.com/ 
  
  
120.198.243.130:80,中国/广东省
58.251.78.71:8088,中国/广东省
183.207.228.22:83,中国/
    
                                
    • 
                                
  • mysql高级特性之数据分区
                                    annan211
java数据结构mongodb分区mysql
                                    
    


mysql高级特性
  1 以存储引擎的角度分析，分区表和物理表没有区别。是按照一定的规则将数据分别存储的逻辑设计。器底层是由多个物理字表组成。
  
  2 分区的原理
     分区表由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们可以直接访问各个分区。存储引擎管理分区的各个底层
	 表和管理普通表一样(所有底层表都必须使用相同的存储引擎)，分区表的索引只是
    
                                
    • 
                                
  • JS采用正则表达式简单获取URL地址栏参数
                                    chiangfai
js地址栏参数获取
                                    
    GetUrlParam:function GetUrlParam(param){
		var reg = new RegExp("(^|&)"+ param +"=([^&]*)(&|$)");
		var r = window.location.search.substr(1).match(reg);
		if(r!=null
    
                                
    • 
                                
  • 怎样将数据表拷贝到powerdesigner (本地数据库表)
                                    Array_06
powerDesigner
                                    
    ================================================== 
 
1、打开PowerDesigner12，在菜单中按照如下方式进行操作 
file->Reverse Engineer->DataBase 
点击后，弹出 New Physical Data Model 的对话框 
2、在General选项卡中 
Model name:模板名字，自
    
                                
    • 
                                
  • logbackのhelloworld
                                    飞翔的马甲
日志logback
                                    
    一、概述 
 
1.日志是啥？ 
当我是个逗比的时候我是这么理解的：log.debug()代替了system.out.print(); 
当我项目工作时，以为是一堆得.log文件。 
这两天项目发布新版本，比较轻松，决定好好地研究下日志以及logback。 
传送门1：日志的作用与方法： 
http://www.infoq.com/cn/articles/why-and-how-log 
上面的作
    
                                
    • 
                                
  • 新浪微博爬虫模拟登陆
                                    随意而生
新浪微博
                                    
    转载自：http://hi.baidu.com/erliang20088/item/251db4b040b8ce58ba0e1235 
  
  
近来由于毕设需要，重新修改了新浪微博爬虫废了不少劲，希望下边的总结能够帮助后来的同学们。 
     现行版的模拟登陆与以前相比，最大的改动在于cookie获取时候的模拟url的请求
    
                                
    • 
                                
  • synchronized
                                    香水浓
javathread
                                    
        Java语言的关键字，可用来给对象和方法或者代码块加锁，当它锁定一个方法或者一个代码块的时候，同一时刻最多只有一个线程执行这段代码。当两个并发线程访问同一个对象object中的这个加锁同步代码块时，一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。然而，当一个线程访问object的一个加锁代码块时，另一个线程仍然
    
                                
    • 
                                
  • maven 简单实用教程
                                    AdyZhang
maven
                                    
    1. Maven介绍  1.1. 简介 java编写的用于构建系统的自动化工具。目前版本是2.0.9，注意maven2和maven1有很大区别，阅读第三方文档时需要区分版本。 1.2. Maven资源 见官方网站；The 5 minute test，官方简易入门文档；Getting Started Tutorial，官方入门文档；Build Coo
    
                                
    • 
                                
  • Android 通过 intent传值获得null
                                    aijuans
android
                                    
    我在通过intent 获得传递兑现过的时候报错，空指针,我是getMap方法进行传值，代码如下        1   2   3   4   5   6   7   8   9      
public 
void 
getMap(View view){       
         
Intent i =
    
                                
    • 
                                
  • apache 做代理 报如下错误：The proxy server received an invalid response from an upstream
                                    baalwolf
response
                                    
    网站配置是apache＋tomcat,tomcat没有报错，apache报错是： 
The proxy server received an invalid response from an upstream server. The proxy server could not handle the request GET /. Reason: Error reading fr
    
                                
    • 
                                
  • Tomcat6 内存和线程配置
                                    BigBird2012
tomcat6
                                    
    1、修改启动时内存参数、并指定JVM时区 （在windows server 2008 下时间少了8个小时） 
在Tomcat上运行j2ee项目代码时，经常会出现内存溢出的情况，解决办法是在系统参数中增加系统参数：  
window下， 在catalina.bat最前面 
  set JAVA_OPTS=-XX:PermSize=64M -XX:MaxPermSize=128m -Xms5
    
                                
    • 
                                
  • Karam与TDD
                                    bijian1013
KaramTDD
                                    
    一.TDD 
        测试驱动开发（Test-Driven Development,TDD）是一种敏捷（AGILE）开发方法论，它把开发流程倒转了过来，在进行代码实现之前，首先保证编写测试用例，从而用测试来驱动开发（而不是把测试作为一项验证工具来使用）。 
        TDD的原则很简单： 
a.只有当某个
    
                                
    • 
                                
  • [Zookeeper学习笔记之七]Zookeeper源代码分析之Zookeeper.States
                                    bit1129
zookeeper
                                    
        public enum States {
        CONNECTING, //Zookeeper服务器不可用，客户端处于尝试链接状态
        ASSOCIATING, //？？？
        CONNECTED, //链接建立，可以与Zookeeper服务器正常通信
        CONNECTEDREADONLY, //处于只读状态的链接状态，只读模式可以在
    
                                
    • 
                                
  • 【Scala十四】Scala核心八：闭包
                                    bit1129
scala
                                    
    Free variable A free variable of an expression is a variable that’s used inside the expression but not defined inside the expression. For instance, in the function literal expression (x: Int) => (x
    
                                
    • 
                                
  • android发送json并解析返回json
                                    ronin47
android
                                    
    package com.http.test; 
 
 
import org.apache.http.HttpResponse; 
import org.apache.http.HttpStatus; 
import org.apache.http.client.HttpClient; 
import org.apache.http.client.methods.HttpGet; 
import 
    
                                
    • 
                                
  • 一份IT实习生的总结
                                    brotherlamp
PHPphp资料php教程php培训php视频
                                    
    今天突然发现在不知不觉中自己已经实习了 3 个月了，现在可能不算是真正意义上的实习吧，因为现在自己才大三，在这边撸代码的同时还要考虑到学校的功课跟期末考试。让我震惊的是，我完全想不到在这 3 个月里我到底学到了什么，这是一件多么悲催的事情啊。同时我对我应该 get 到什么新技能也很迷茫。所以今晚还是总结下把，让自己在接下来的实习生活有更加明确的方向。最后感谢工作室给我们几个人这个机会让我们提前出来
    
                                
    • 
                                
  • 据说是2012年10月人人网校招的一道笔试题-给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。 将重物放到天平左侧，问在两边如何添加砝码
                                    bylijinnan
java
                                    
    
public class ScalesBalance {

	/**
	 * 题目：
	 * 给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。 （假设N无限大，但一种重量的砝码只有一个）
	 * 将重物放到天平左侧，问在两边如何添加砝码使两边平衡
	 * 
	 * 分析：
	 * 三进制
	 * 我们约定括号表示里面的数是三进制，例如 47=(1202
    
                                
    • 
                                
  • dom4j最常用最简单的方法
                                    chiangfai
dom4j
                                    
    要使用dom4j读写XML文档,需要先下载dom4j包,dom4j官方网站在 http://www.dom4j.org/目前最新dom4j包下载地址:http://nchc.dl.sourceforge.net/sourceforge/dom4j/dom4j-1.6.1.zip 
解开后有两个包,仅操作XML文档的话把dom4j-1.6.1.jar加入工程就可以了,如果需要使用XPath的话还需要
    
                                
    • 
                                
  • 简单HBase笔记
                                    chenchao051
hbase
                                    
     一、Client-side write buffer 客户端缓存请求   描述：可以缓存客户端的请求，以此来减少RPC的次数，但是缓存只是被存在一个ArrayList中，所以多线程访问时不安全的。   可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。      二、Scan的Caching   描述： next( )方法请求一行就要使用一次RPC,即使
    
                                
    • 
                                
  • mysqldump导出时出现when doing LOCK TABLES
                                    daizj
mysqlmysqdump导数据
                                    
    　　执行　mysqldump -uxxx -pxxx -hxxx -Pxxxx database tablename > tablename.sql　 
导出表时，会报 
 
mysqldump: Got error: 1044: Access denied for user 'xxx'@'xxx' to database 'xxx' when doing LOCK TABLES 
 
解决
    
                                
    • 
                                
  • CSS渲染原理
                                    dcj3sjt126com
Web
                                    
       从事Web前端开发的人都与CSS打交道很多，有的人也许不知道css是怎么去工作的，写出来的css浏览器是怎么样去解析的呢？当这个成为我们提高css水平的一个瓶颈时，是否应该多了解一下呢？   
  
       一、浏览器的发展与CSS      
  
   
    
                                
    • 
                                
  • 《阿甘正传》台词
                                    dcj3sjt126com

                                    
    Part Ⅰ: 
《阿甘正传》Forrest Gump经典中英文对白 
Forrest: Hello! My names Forrest. Forrest Gump. You wanna Chocolate? I could eat about a million and a half othese. My momma always said life was like a box ochocol
    
                                
    • 
                                
  • Java处理JSON
                                    dyy_gusi
json
                                    
    Json在数据传输中很好用，原因是JSON 比 XML 更小、更快，更易解析。 
在Java程序中，如何使用处理JSON，现在有很多工具可以处理，比较流行常用的是google的gson和alibaba的fastjson，具体使用如下： 
1、读取json然后处理 
class ReadJSON
{
    public static void main(String[] args)
    
    
                                
    • 
                                
  • win7下nginx和php的配置
                                    geeksun
nginx
                                    
    1.  安装包准备 
nginx :  从nginx.org下载nginx-1.8.0.zip 
php： 从php.net下载php-5.6.10-Win32-VC11-x64.zip， php是免安装文件。 
RunHiddenConsole: 用于隐藏命令行窗口 
  
2. 配置 
# java用8080端口做应用服务器，nginx反向代理到这个端口即可 
p
    
                                
    • 
                                
  • 基于2.8版本redis配置文件中文解释
                                    hongtoushizi
redis
                                    
    转载自： http://wangwei007.blog.51cto.com/68019/1548167 
       在Redis中直接启动redis-server服务时, 采用的是默认的配置文件。采用redis-server   xxx.conf 这样的方式可以按照指定的配置文件来运行Redis服务。下面是Redis2.8.9的配置文
    
                                
    • 
                                
  • 第五章 常用Lua开发库3-模板渲染
                                    jinnianshilongnian
nginxlua
                                    
    动态web网页开发是Web开发中一个常见的场景，比如像京东商品详情页，其页面逻辑是非常复杂的，需要使用模板技术来实现。而Lua中也有许多模板引擎，如目前我在使用的lua-resty-template，可以渲染很复杂的页面，借助LuaJIT其性能也是可以接受的。 
  
如果学习过JavaEE中的servlet和JSP的话，应该知道JSP模板最终会被翻译成Servlet来执行；而lua-r
    
                                
    • 
                                
  • JZSearch大数据搜索引擎
                                    颠覆者
JavaScript
                                    
    系统简介： 
 
 大数据的特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。大数据搜索引
    
                                
    • 
                                
  • 10招让你成为杰出的Java程序员
                                    pda158
java编程框架
                                    
    如果你是一个热衷于技术的  
Java 程序员， 那么下面的 10 个要点可以让你在众多 Java 开发人员中脱颖而出。   　　 
1. 拥有扎实的基础和深刻理解 OO 原则   　　对于 Java 程序员，深刻理解 Object Oriented Programming（面向对象编程）这一概念是必须的。没有 OOPS 的坚实基础，就领会不了像 Java 这些面向对象编程语言
    
                                
    • 
                                
  • tomcat之oracle连接池配置
                                    小网客
oracle
                                    
    tomcat版本7.0 
配置oracle连接池方式： 
修改tomcat的server.xml配置文件： 
 <GlobalNamingResources>
 
			  <Resource name="utermdatasource" auth="Container"  
 type="javax.sql.DataSou
    
                                
    • 
                                
  • Oracle 分页算法汇总
                                    vipbooks
oraclesql算法.net
                                    
        这是我找到的一些关于Oracle分页的算法，大家那里还有没有其他好的算法没？我们大家一起分享一下！ 
 
 

-- Oracle 分页算法一
select * from (
       select page.*,rownum rn from (select * from help) page 
       -- 20 = (currentPag
    
                                
    •