紫晶葫芦
紫晶葫芦

MongoDB

1.Mongodb介绍

Mongodb：是一个nosql的数据库的一种数据库，他是介于关系型数据库与非关系型数据库之间的一种数据库，也可以理解为它是介于Redis与Mysql之间的一种数据库。它是由大数据时代的3V，与互联网需求的三高而产生出来的。

  1. 3V:海量Volume ，多样Variety ，实时Velocity
  2. 高并发，高可扩，高性能

1. 与传统数据库的对比

统数据库 Mongodb
datebase（数据库） datebase
table（表） collecttion（集合）可以理解成泛型集合
row（行） document（文档）可理解为对象序列化的结果

注：

  1. Mongodb 数据10亿加的数据处理不了了，的使用HBASE。
  2. 是关系型数据库和非关系型数据库的一种。

2. Docker 下的安装

docker run -d --name mongo1 -p 27017:27017 mongo

进入：docker exec -it  容器id /bin/bash

2.数据操作

1. 基本操作

查询数据库
show databases
切换数据库
use test
查询当前数据库下面的集合
show  collections
创建集合
db.createCollection("集合名称")
删除集合
db.集合名称.drop()
删除数据库
db.dropDatabase() //首先要通过use切换到当前的数据库

2. Mongodb增删改查(CURD)

id 系统会自动加一个

时间戳+机器码 生成

1. 增（insert）
新增一条
db.userinfo.insert({name:"贾宝玉",age:25,gander:"男",address:'贾府'})
新增多条
db.userinfo.insert([{name:"贾宝玉",age:25,gander:"男",address:'贾府'}
,{name:"林黛玉",age:16,gander:"女",address:'林府'}])
可不可以快速插入10条数据
for(var i=1;i<=10;i++)
{
 db.userinfo.insert({name:"clay"+i,age:i})
 }
2. 查（find）
查询所有的数据
db.集合名称.find({})
查询top条数
db.集合名称.find({}).limit(条数)
条件查询
 db.userinfo.find({name:"clay1",age:1},{name:1,_id:0})

排序&分页

db.c1.insert({_id:1,name:"a",sex:1,age:1})
db.c1.insert({_id:2,name:"a",sex:1,age:2})
db.c1.insert({_id:3,name:"b",sex:2,age:3})
db.c1.insert({_id:4,name:"c",sex:2,age:4})
db.c1.insert({_id:5,name:"d",sex:2,age:5})

db.c1.find()
正序
db.c1.find({}).sort({age:1})
降序
 db.c1.find({}).sort({age:-1})
 分页查询 跳过两条查询两条
 db.c1.find({}).sort({age:1}).skip(2).limit(2)

运算符

运算符 作用
$gt 大于
$gte 大于等于
$lt 小于
$lte 小于等于
$ne 不等于
$in in
$nin not in 
//年龄大于1
db.c1.find({age:{$gt:1}})
//年龄是 3,4,5的
db.c1.find({age:{$in:[3,4,5]}})
3. 改（update）

db.集合名.update（条件， 新数据） {修改器: {键:值}}

修改器 作用
$inc 递增
$rename 重命名列
$set 修改列值
$unset 删除列 
 准备数据
 
 db.c1.insert({name:"8888",age:1,addr:'address',flag:true})
  db.c1.update({name:"8888"}, {name:"99"})
 db.c1.update({name:"8888"}, 
 {
  $set:{name: "zs44"},
  $inc:{age:10},
  $rename:{addr:"address"} ,
  $unset:{flag:""}
   }
 )
 db.c1.find({name:"zs44"})
4. 删（delete）
//全部移除
db.userinfo.deleteMany({})
db.userinfo.deleteMany({age:1})
5. 聚合查询

顾名思义就是把数据聚起来，然后统计

语法

db.集合名称.aggregate([
    {管道:{表达式}}
     ....
])

常用管道

$group 将集合中的文档分组，用于统计结果
$match 过滤数据，只要输出符合条件的文档
$sort  聚合数据进一步排序
$skip  跳过指定文档数
$limit 限制集合数据返回文档数
....

常用表达式

$sum  总和  $sum:1同count表示统计
$avg  平均
$min  最小值
$max  最大值
...

准备

use test4
db.c1.insert({_id:1,name:"a",sex:1,age:1})
db.c1.insert({_id:2,name:"a",sex:1,age:2})
db.c1.insert({_id:3,name:"b",sex:2,age:3})
db.c1.insert({_id:4,name:"c",sex:2,age:4})
db.c1.insert({_id:5,name:"d",sex:2,age:5})

练习

  • 统计男生、女生的总年龄
db.c1.aggregate([
{
  $group:{
_id: "$sex",
rs: {$sum: "$age"}
  }
}
])
  • 统计男生、女生的总人数
db.c1.aggregate([
{
  $group:{
_id: "$sex",
rs: {$sum:1}
  }
}
])
  • 求学生总数和平均年龄
db.c1.aggregate([
{
  $group:{
_id: null,
total_num: {$sum:1},
total_avg: {$avg: "$age"}
  }
}
])
  • 查询男生、女生人数，按人数升序
db.c1.aggregate([
{$group:{_id: "$sex",rs: {$sum: 1}}},
{$sort:{rs: -1}}
])

3. 事务

4.X版本之后，支持了事务，支持事务之前，必须要搭建集群，如果不是集群，则也不会支持事务。

use test
db.createCollection("userinfo");

s=db.getMongo().startSession();
s.startTransaction();
s.getDatabase("test").userinfo.insert({name:"a"});
s.commitTransaction();//提交
s.abortTransaction();//回滚

4. 使用JavaScript

1. 创建 Javascript 函数

现在，我们创建函数 getNextSequenceValue 来作为序列名的输入， 指定的序列会自动增长 1 并返回最新序列值。在本文的实例中序列名为 productid 。

>function getNextSequenceValue(sequenceName){
   var sequenceDocument = db.counters.findAndModify(
      {
         query:{_id: sequenceName },
         update: {$inc:{sequence_value:1}},
         "new":true
      });
   return sequenceDocument.sequence_value;
}
2. 使用 Javascript 函数

接下来我们将使用 getNextSequenceValue 函数创建一个新的文档， 并设置文档 _id 自动为返回的序列值：

>db.products.insert({
   "_id":getNextSequenceValue("productid"),
   "product_name":"Apple iPhone",
   "category":"mobiles"})

>db.products.insert({
   "_id":getNextSequenceValue("productid"),
   "product_name":"Samsung S3",
   "category":"mobiles"})

就如你所看到的，我们使用 getNextSequenceValue 函数来设置 _id 字段。

为了验证函数是否有效，我们可以使用以下命令读取文档：

>db.products.find()

以上命令将返回以下结果，我们发现 _id 字段是自增长的：

{ "_id" : 1, "product_name" : "Apple iPhone", "category" : "mobiles"}

{ "_id" : 2, "product_name" : "Samsung S3", "category" : "mobiles" }

5. 自增ID

#创建序列
db.counters.insert({_id:"productid",sequence_value:0})

3. 代码对接

1. 使用驱动包

MongoDB.Driver

连接数量可以通过配置文件修改

2. 直接对JSON操作
var client = new MongoClient("mongodb://192.168.3.202:27017");
var database = client.GetDatabase("mongodbDemo");
var document = BsonDocument.Parse("{ a: 1, b: [{ c: 1 }],c: 'ff'}");
database.GetCollection("order").InsertOne(document);
3. 操作对象

帮助类：

public class DBbase where T : class, new()
{
    MongoClient client;
    IMongoDatabase database;
    public IMongoCollection collection;
    public DBbase()
    {
        //创建连接
        //var client = new MongoClient("mongodb://host:27017,host2:27017/?replicaSet=rs0");//集群的连接方式
        client = new MongoClient("mongodb://81.70.91.63:27017");
        //创建数据库
        database = client.GetDatabase("test");
        //创建集合
        Type type = typeof(T);
        collection = database.GetCollection(type.Name.ToLower());
    }
    public void DropDatabase()
    {
        client.DropDatabase("test");
    }
    public void InsertOne(T model)
    {
        collection.InsertOne(model);
    }
    public void InsertMany(params T[] modes)
    {
        collection.InsertMany(modes);
    }
    public IMongoQueryable Select()
    {
        return collection.AsQueryable();
    }
    public IMongoQueryable Select(int pageIndex, int pageSize)
    {
        return collection.AsQueryable().Skip(pageSize * (pageIndex - 1)).Take(pageSize);
    }
    public IMongoQueryable Select(Expression> predicate, Expression> keySelector, int pageIndex, int pageSize)
    {
        return collection.AsQueryable().Where(predicate).OrderBy(keySelector).Skip(pageSize * (pageIndex - 1)).Take(pageSize);
    }
    public void UpdateMany(Expression> filter, UpdateDefinition update)
    {
        collection.UpdateMany(filter, update);
    }

    public void UpdateOne(Expression> filter, T update)
    {
        collection.ReplaceOne(filter, update);
    }

    public void DeleteMany(Expression> filter)
    {
        collection.DeleteMany(filter);
    }
}

dBbase.InsertOne(new Userinfo()
            {
                Id = Guid.NewGuid().ToString(),
                Name = "诸葛亮",
                Address = "蜀国",
                Age = 27,
                Sex = "男",
                DetpInfo = new DetpInfo()
                {
                    DeptId = 1,
                    DeptName = "蜀国集团"
                }
            });
var pagelist = dBbase.Select(m => m.Sex == "男", m => m.Age, 2, 2);
            foreach (var item in pagelist)
            {
                Console.WriteLine(item.Name + ":" + item.Age);
            }

            var query = from p in dBbase.collection.AsQueryable()
                        where (p.Sex == "男") && p.Age > 18
                        select p;
            foreach (var item in query)
            {
                Console.WriteLine(item.Name + ":" + item.Age);
            }
var daqiaod = dBbase.Select().Where(m => m.Name == "大乔").FirstOrDefault();
            daqiaod.Age = 18;
            dBbase.UpdateOne(m => m.Id == daqiaod.Id, daqiaod);
            Console.WriteLine("修改完成");
dBbase.DeleteMany(m => m.Name == "大乔");
            Console.WriteLine("删除完成");
            //全部删除
            dBbase.DeleteMany(m => 1 == 1);
            Console.WriteLine("全部删除完成");
var groups = dBbase.collection.AsQueryable().GroupBy(m => new { m.DetpInfo.DeptId, m.DetpInfo.DeptName }).Select(t => new
            {
                DeptId = t.Key.DeptId,
                DeptName = t.Key.DeptName,
                number = t.Count(),
                ages = t.Sum(s => s.Age)
            }).Take(0).Skip(10);
            foreach (var item in groups)
            {
                Console.WriteLine(item.DeptName + ":" + item.number + ":" + item.ages);
            }

4. 缺点与需要注意地方

  1. 想要严格的操作mongo，可以创建一个map。net代码写的类要和map里面对字段类型要一致，如果多了一个字段或者少一个字段又或者类型不对，则写入失败。
  2. 与mysql区别，mongodb它不能做两和集合连查。可以通过数据冗余的办法，实现连查的效果。如果一个文档（json）16M会报错。如果超过把数据存在多个文档，然后根据一个关联字段去关联就行。比较特殊一般的业务完全够用。
  3. 多表关联：仅仅支持Left Outer Join
  4. SQL 语句支持：查询为主 部分支持
  5. 多表原子事务：不支持
  6. 多文档原子事务：不支持
  7. 16MB 大小限制超过报错，不支持中文排序，服务端JavaScript性能不好

5. 使用条件与场景###

  • 使用条件

    1. 使用数据有亿万级或者需要不断的扩容。
    2. 需要2000-3000的每秒读写速度。
    3. 新应用需求会变，数据模型无法确定。
    4. 需要整合多个外部数据源。
    5. 系统需要99.999的高可用。
    6. 系统需要大量的地理位置查询。
    7. 系统需要提供最小的延迟。
    8. 管理的主要对象小于10。

  • 使用场景

    1. 日志收集
    2. 传感器
    3. 网络爬虫

6. 慎用场景

慎用场景 原因
PB数据持久存储大数据分析数据湖 Hadoop、Spark提供更多分析运算功能和工具，并行计算能力更强 Mongodb+hadoop /Spark
搜素场景：文档有十几个字段，需要按照任意字段搜索并排序限制等 不建索引查询太慢，索引太多影响写入和更新操作
ERP、CRM或者类似负责应用，几十上百个对象互相关联 关联支持较弱，事务较弱
需要参与远程事务，需要跨表、跨文档原子性更新 MongoDB 事务支持仅限于本机的单文档事务
100%写可用：任何时间写入不能停 MongoDB 换主节点时候会有短暂的不可写设计所限

7. 原理

1.png

8. 持久化

2.png

NOSQL:特性速度写入速度快 ，使用的是刷盘机制。写数据的时候，先把数据写入到内存，然后根据异步刷盘机制把数据存放到硬盘。

刷盘机制：先把数据保存到缓冲中，然后在保存到日志文件中，最后通过日志文件保存到磁盘中。如果直接由缓存保存到磁盘会造成随机性，消耗性能。

当从新打开mongodb的时候，程序先从Datafile 中读入数据，然后再从 log 中读入数据。

注意：

  1. mongodb 也会造成数据的丢失，丢失数据的原因再缓存区的数据没有来的及写入log 中，最大丢失数据的时间是99 ms之内产生的。
  2. 增加缓存区，增大刷盘时间可以提高mongodb 的处理数据速度。

9. 集群

1. 副本集

一个主库两个从库组成，主库把数据备份到从库中，从库之间有心跳，主库宕机时，这两个从库自动竞争选为主库，实现为高可用。主从架构：主节点负责写，从节点负责读。

1. 老版本搭建

结构如图：

4.png

  1. 一主一从

    version: '2'
services:
  master:
    image: mongo:3.4
    volumes:
      - /data/mongodbml/master:/data/db
    command: mongod --dbpath /data/db --master
  slaver:
    image: mongo:3.4
    volumes:
      - /data/mongodbml/slaver:/data/db
    command: mongod --dbpath /data/db --slave --source master:27017
    links:
      - master

    运行测试

    //运行
docker-compose  up -d
//进入主节点测试
docker-compose exec master mongo
//创建数据库
use test
//插入数据
db.test.insert({msg: "this message is from master", ts: new Date()})

//进入从节点
docker-compose exec slaver mongo

rs.slaveOk()：
//查询数据
use test
db.test.find();
//获得结果:证明主从架构建立完成。

    注意：

    1. 一主一丛，当主节点宕机，不会把从节点切换成主节点。只能实现数据的备份，不能实现高可用。

  2. 一主多从

    架构如图：


    5.png 
version: '2'
services:
  rs1:
    image: mongo:3.4
    volumes:
      - /data/mongodbtest/replset/rs1:/data/db
    command: mongod --dbpath /data/db --replSet myset
  rs2:
    image: mongo:3.4
    volumes:
      - /data/mongodbtest/replset/rs2:/data/db
    command: mongod --dbpath /data/db --replSet myset
  rs3:
    image: mongo:3.4
    volumes:
      - /data/mongodbtest/replset/rs3:/data/db
    command: mongod --dbpath /data/db --replSet myset

运行测试

![6](F:\learn\2021Mongodb\笔记\image\6.png)//运行
docker-compose up -d
//进入rs1
docker-compose exec rs1 mongo
//初始化
rs.initiate()
//把rs2 添加到rs1 中
rs.add('rs2:27017')
//把rs3 添加到rs1 中
rs.add('rs3:27017')
//查看副本状态
rs.conf() 
rs.status() 

//插入信息到主节点
docker-compose exec rs1 mongo
use test
db.test.insert({msg: 'this is from primary', ts: new Date()})

//在rs2副本查看信息
docker-compose exec rs2 mongo
rs.slaveOk()
use test
db.test.find()

//在rs3副本查看信息
docker-compose exec rs3 mongo
rs.slaveOk() //副本集默认仅primary可读写
use test
db.test.find()

注意：

  1. 当主节点宕机后，从节点主节点，一个主多个从是可以实现高可用。
  2. 宕机后的主节点回来后，变成了新的主节点。
6.png

  1. 问题：一主多从，其中一主宕机后，从节点之间的数据交流只是心跳，没有数据的转移，所有从中选择出主节点，可能是主观的，但是这样不是我们想要的，所有又提供了一种新的方式：一主一从一仲裁。

  2. 一主一从一仲裁

    仲裁的一方记录副本的：网络，备份数据如何，计算机性能等，这都是从节点竞争主节点的依据。当存在仲裁arbiter节点（只是仲裁，不存储数据）。仲裁可以搭建一个或是多个。

架构如图：


7.png 
version: '2'
services:
  master:
    image: mongo:3.4
    volumes:
      - /data/mongodb3node/replset/rs1:/data/db
    command: mongod --dbpath /data/db --replSet newset --oplogSize 128
  slave:
    image: mongo:3.4
    volumes:
      - /data/mongodb3node/replset/rs2:/data/db
    command: mongod --dbpath /data/db --replSet newset --oplogSize 128
  myarbiter:
    image: mongo:3.4
    command: mongod --dbpath /data/db --replSet newset --smallfiles --oplogSize 128

运行测试：

//运行
docker-compose exec master mongo
//设置
rs.initiate()
rs.add('slave:27017')//slave 可以是IP
rs.add('myarbiter:27017',true)//设置为仲裁节点

//查看配置
rs.conf() 
rs.status() 
//插入信息到主节点：
docker-compose exec master mongo
use test
db.test.insert({msg: 'this is from primary', ts: new Date()})
//在副本集中检测信息是否同步
docker-compose exec slave mongo
rs.slaveOk()
use test
db.test.find()

主节点宕机处理:


8.png
2. 新版本搭建

推介使用最新的

  1. 加入仲裁的

    #三台节点安装实例
docker run --name mongo1 -p 27017:27017  -d mongo mongod --replSet "rs0"
docker run --name mongo2 -p 27017:27017  -d mongo mongod --replSet "rs0"
docker run --name mongo3 -p 27017:27017  -d mongo mongod --replSet "rs0"

    #进入mongo1容器
docker exec -ti mongo1 /bin/bash
#连接mondb
mongo 
#初始化副本集
rs.initiate({"_id": "rs0", "members": [{"_id":0, "host":"192.168.3.202:27017"}, {"_id":1, "host":"192.168.3.203:27017","arbiterOnly":true}, {"_id":2, "host":"192.168.3.204:27017"}]})
# 加这个字段,说明该节点就是仲裁不存放数据
"arbiterOnly":true

#查看副本集配置信息
rs.conf()

#从节点开启读数据模式
db.getMongo().setSlaveOk(); 

    //代码测试
MongoClient client = new MongoClient("mongodb://39.96.34.52:27017,47.95.2.2:27017,39.96.82.51:27017");
//事务
var session = client.StartSession();
var database = session.Client.GetDatabase("test");
session.StartTransaction(new TransactionOptions( readConcern: ReadConcern.Snapshot,writeConcern: WriteConcern.WMajority));
try
{
    IMongoCollection collection = database.GetCollection("userinfo");
    IMongoCollection weiguocollection = database.GetCollection("deptindo");
    Userinfo daqiao = new Userinfo()
    {
        Id = Guid.NewGuid().ToString(),
        Address = "吴国",
        Name = "大乔",
        Sex = "女",
        DetpInfo = new DetpInfo()
        {
            DeptId = 1,
            DeptName = "蜀国集团"
        }
    };

    collection.InsertOne(session, daqiao);
    //throw new Exception("取消事务");

    DetpInfo weiguo = new DetpInfo() { DeptId = 1, DeptName = "魏国" };
    weiguocollection.InsertOne(session,weiguo);
    session.CommitTransaction();
}
catch (Exception ex)
{
    //回滚
    session.AbortTransaction();
    Console.WriteLine(ex.Message);
}

    以下是docker-compose

    version: '2'
services:
  rs1:
    image: mongo
    volumes:
     - /data/mongodbtest/replset/rs1:/data/db
    ports:
     - 27017:27017
    command: mongod --dbpath /data/db --replSet rs0

  rs2:
    image: mongo
    volumes:
     - /data/mongodbtest/replset/rs2:/data/db
    ports:
     - 27018:27017
    command: mongod --dbpath /data/db --replSet rs0

  rs3:
    image: mongo
    volumes:
     - /data/mongodbtest/replset/rs3:/data/db
    ports:
     - 27019:27017
    command: mongod --dbpath /data/db --replSet rs0

    运行

    进入mongo1容器
docker exec -ti mongodb_rs1_1 /bin/bash
#连接mondb
mongo 
#初始化副本集 注意的是rs0是启动节点的时候--replSet rs0 的名字
rs.initiate({"_id": "rs0", "members": [{"_id":0, "host":"192.168.3.204:27017"}, {"_id":1, "host":"192.168.3.204:27018","arbiterOnly":true}, {"_id":2, "host":"192.168.3.204:27019"}]})
# 加这个字段,说明该节点就是仲裁不存放数据
"arbiterOnly":true

#查看副本集配置信息
rs.conf()

#从节点开启读数据模式
db.getMongo().setSlaveOk();

2. 分片

1. 概念

分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。通过一个名为mongos的路由进程进行操作，mongos知道数据和片的对应关系（通过配置服务器）。大部分使用场景都是解决磁盘空间的问题，对于写入有可能会变差，查询则尽量避免跨分片查询。使用分片的时机：

1，机器的磁盘不够用了。使用分片解决磁盘空间的问题。

2，单个mongod已经不能满足写数据的性能要求。通过分片让写压力分散到各个分片上面，使用分片服务器自身的资源。

3，想把大量数据放到内存里提高性能。和上面一样，通过分片使用分片服务器自身的资源。

2. 分片集群架构
3.png

上图中主要有如下所述三个主要组件：

Shard:分片服务器

用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障

Config Server:配置服务器

mongod实例，存储了整个 分片群集的配置信息，其中包括 chunk信息。

Query Routers:前端路由

客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用

这里的两个shard(分片)相当于mongodb节点服务器，内部的块是将order集合再切割的结果，随着数据量的的增大,分片会分割和迁移,以满足数据的均匀分布。

请求分流：通过路由节点将请求分发到对应的分片和块中

数据分流：内部提供平衡器保证数据的均匀分布，这是数据平均分布式、请求平均分布的前提

块的拆分：3.4版本块的最大容量为64M或者10w的数据，当到达这个阈值，触发块的拆分，一分为二

块的迁移：为保证数据在分片节点服务器分片节点服务器均匀分布，块会在节点之间迁移。一般相差8个分块的时候触发

MongoDB分片优势：

减少单个分片需要处理的请求数，提高群集的存储容量和吞吐量 比如，当插入一条数据时，应用只需要访问存储这条数据的分片 减少单分片存储的数据，提高数据可用性，提高大型数据库查询服务的性能。 当MongoDB单点数据库服务器存储和性能成为瓶颈，或者需要部署大型应用以充分利用内存时，可以使用分片技术

环境准备

docker、docker-compose、lunux。版本问题应该不大，我用的是Docker version 18.09.0, build 4d60db4、docker-compose version 1.23.0-rc3, buildea3d406e、centos7.2。

本套Mongodb搭建分片集群是基于mongodb4.0.5,直接从官方镜像仓库拉取docker pull mongo:4.0.5即可

完成准备之后，docker images看一下，mongodb.镜像是否搞定了。

技术分享图片
3. 搭建

编写yml文件，docker-compose.yml

version: '2'
services:
  shard1:
    image: mongo:4.0.5
    container_name: mongo_shard1
    # --shardsvr: 这个参数仅仅只是将默认的27017端口改为27018,如果指定--port参数，可用不需要这个参数
    # --directoryperdb：每个数据库使用单独的文件夹
    command: mongod --shardsvr --directoryperdb --replSet shard1
    volumes:
      - /etc/localtime:/etc/localtime
      - /data/base/fates/mongo/shard1:/data/db
    privileged: true 
    networks:
      - mongo   

  shard2:
    image: mongo:4.0.5
    container_name: mongo_shard2
    command: mongod --shardsvr --directoryperdb --replSet shard2
    volumes:
      - /etc/localtime:/etc/localtime
      - /data/base/fates/mongo/shard2:/data/db
    privileged: true 
    networks:
      - mongo

  shard3:
    image: mongo:4.0.5
    container_name: mongo_shard3
    command: mongod --shardsvr --directoryperdb --replSet shard3
    volumes:
      - /etc/localtime:/etc/localtime
      - /data/base/fates/mongo/shard3:/data/db
    privileged: true 
    networks:
      - mongo

  config1:
    image: mongo:4.0.5
    container_name: mongo_config1
    # --configsvr: 这个参数仅仅是将默认端口由27017改为27019, 如果指定--port可不添加该参数
    command: mongod --configsvr --directoryperdb --replSet fates-mongo-config --smallfiles
    volumes:
      - /etc/localtime:/etc/localtime
      - /data/base/fates/mongo/config1:/data/configdb
    networks:
      - mongo

  config2:
    image: mongo:4.0.5
    container_name: mongo_config2
    command: mongod --configsvr --directoryperdb --replSet fates-mongo-config --smallfiles
    volumes:
      - /etc/localtime:/etc/localtime
      - /data/base/fates/mongo/config2:/data/configdb
    networks:
      - mongo

  config3:
    image: mongo:4.0.5
    container_name: mongo_config3
    command: mongod --configsvr --directoryperdb --replSet fates-mongo-config --smallfiles
    volumes:
      - /etc/localtime:/etc/localtime
      - /data/base/fates/mongo/config3:/data/configdb
    networks:
      - mongo

  mongos:
    image: mongo:4.0.5
    container_name: mongo_mongos
    # mongo3.6版默认绑定IP为127.0.0.1，此处绑定0.0.0.0是允许其他容器或主机可以访问
    command: mongos --configdb fates-mongo-config/config1:27019,config2:27019,config3:27019 --bind_ip 0.0.0.0 --port 27017
    ports:
     - 27017:27017
    volumes:
      - /etc/localtime:/etc/localtime
    depends_on:
      - config1
      - config2
      - config3
    networks:
      - mongo    
networks:
  mongo:
    driver: bridge

编写deploy-and-start.sh脚本

#!/bin/sh

docker-compose  up -d

#鐫＄湢涓ゅ垎閽燂紝绛夊緟mongodb鎵€鏈夊ㄨ捣鏉ヤ箣鍚庡皢瀹冧滑閰嶇疆鍔犲叆鍒嗙墖
sleep 30s

docker-compose  exec config1 bash -c "echo 'rs.initiate({_id: \"fates-mongo-config\",configsvr: true, members: [{ _id : 0, host : \"config1:27019\" },{ _id : 1, host : \"config2:27019\" }, { _id : 2, host : \"config3:27019\" }]})' | mongo --port 27019"
docker-compose  exec shard1 bash -c "echo 'rs.initiate({_id: \"shard1\",members: [{ _id : 0, host : \"shard1:27018\" }]})' | mongo --port 27018"
docker-compose  exec shard2 bash -c "echo 'rs.initiate({_id: \"shard2\",members: [{ _id : 0, host : \"shard2:27018\" }]})' | mongo --port 27018"
docker-compose  exec shard3 bash -c "echo 'rs.initiate({_id: \"shard3\",members: [{ _id : 0, host : \"shard3:27018\" }]})' | mongo --port 27018"
docker-compose  exec mongos bash -c "echo 'sh.addShard(\"shard1/shard1:27018\")' | mongo"
docker-compose  exec mongos bash -c "echo 'sh.addShard(\"shard2/shard2:27018\")' | mongo"
docker-compose  exec mongos bash -c "echo 'sh.addShard(\"shard3/shard3:27018\")' | mongo"

该脚本流程详细描述一下

1）先启动mongodb分片容器组

  1. 睡眠30s等待容器全部完全启动（可能不需要30s）

3)操作config1，配置config副本集，将config*容器组作为config角色,此时config1作为config副本集里的主节点

4)操作shard1、shard2、shard3，将shard*容器组作为shard角色。

5)将shard1、shard2、shard3加入分片集群组。

执行脚本

#提交进去使用notepad++ 修过为utf8格式 (mobaxterm 选择文件右击open with--选择notepad++打开 ) 
#替换文本的换行等字符串 ，
sed -i 's/\r$//'  deploy-and-start.sh

sh deploy-and-start.sh

# sh deploy-and-start.sh 等待脚本启动完成，如果出现connect fail报错，检查一下网络，再次启动一次脚本即可。

到这里，单机版的mongodb的分片集群，就搭建好了，一般真正的运维环境，Mongodb集群应该分布在不同的机器，但是只要熟悉这套部署方案的机制，只要稍作修改，就可以实现。

但是，Mongodb库默认是不会将你的表进行分片的，是需要手动配置的，如果不配置，数据都会全部存放在主节点，不会均匀分配到各个分片。

现在手动将一个表做分片，就拿order表作为例子

docker exec -it mongo_mongos bash
mongo --host 192.168.3.202 --port 27017

#数据库 启用 分片
sh.enableSharding("mongodbDemo")
# _id 字段进行哈希分片：
sh.shardCollection("mongodbDemo.order", {"_id": "hashed" }) 
#刷新路由
db.adminCommand("flushRouterConfig")
#让当前分片支持平衡
sh.enableBalancing("mongodbDemo.order")
#开启平衡
sh.startBalancer() 
#查看详细分片信息
sh.status({"verbose":1})
#插入数据
use mongodbDemo
for (i = 1;i <= 100;i=i+1){
db.order.insert({'price': 1})
}
#查看该表分片数据信息
db.order.getShardDistribution()
4. 可视化工具
docker run -it --rm \
    --name mongo-express \
    -p 8081:8081 \
    -e ME_CONFIG_OPTIONS_EDITORTHEME="ambiance" \
    -e ME_CONFIG_MONGODB_SERVER="192.168.3.202" \
  -e ME_CONFIG_MONGODB_PORT="27017"          \
    -e ME_CONFIG_BASICAUTH_USERNAME="admin" \
    -e ME_CONFIG_BASICAUTH_PASSWORD="admin" \
    mongo-express

10. 索引

db.c1.createIndex({age:1},{background:true,expireAfterSeconds:

150,name:"ix_age",unique:true});

db.c1.find({age:18}).explain('executionStats'); //查看执行计划

db.c1.getIndexes()

COLLSCAN 全表扫描 最慢的，没有走索引

IXSCAN 索引扫描

FETCH 根据索引去检索指定document

11. 注意

  1. redis与mongodb对比，redis速度要快，redis的纯内存的。

12. 扩展

MongoDB处理的数据是小于10亿的.

当达到了PB级别的数据:使用的NoSql是:hbase .
大数据本质:让数据又价值值钱,而让数据有意义首先经过以下步骤: 1:收集数据(各式各样的数据)->2.清洗数据(格式化处理数据)->3.分析统计.

hbase:列数据库：k:v
1.对数据随机读写，数据增删改查
2.高并发操作，一秒能对PB级别的数据，进行上千次不等操作
3.读和写都是简单的操作。

松散存储--nosql---列族 （一个列族里面可以存放多个字段）
创建数据库的时候，只要把列族创建好就行，至于你这列族里面几个字段，随便你。。

高效查询只能通过rowkey：1001 这个，要么直接=rowkey,要么给rowkey范围非常重要，设计者rowkey(包含了使用了它的60%思想思维)

hbase,分片是根据rowkey来分配

  1. 尽量让我们的rowkey分配均匀，还有松散， 可以利用多个节点.

  2. 业务有时候，需要查询的时候，可能需要尽量让查询的这个数据在一个节点上面。

    例如: 具体的业务具体分析：保存(123123412340) 保存到30 不同的分片上去,并且做到均衡,可以对(12312341234 + 202101 (年与月))%30保存

HBase安装:

docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16016 -p 16201:16201 -p 16301:16301 --name hbase1.3 harisekhon/hbase:1.3

访问地址:[http://IP:16010/master-status](http://IP:16010/master-status)

//进入
docker exec -it 容器id /bin/bash
hbase shell
//查看list 
list
//创建list 
create 'table' 'info1' 'info2'
//插入数据
put 'student','1001','info1:name','sss'
//查看数据
scan 'student'

你可能感兴趣的:(MongoDB)

  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • springboot整合MongoDB时碰到的问题 生产队队长 DatabaseSpringAllmongodbspring
    1.账号总是不对，导致查不出数据，报错Auth…权鉴错误这次，我也是第一次接触MongoDB，非常的生疏springboot整合MongoDB，要在properties文件中配置账号mongodb基本语法：useDATABASE_NAME;--创建数据库showdbs;--查看我们所有的库，注意，我们刚创建的库，如果没有数据，是不会被显示的showusers;--查看当前库所有拥有的账号db.cr
  • java mongodb group分组使用 yank1225 mongodbjavamongodbgroup
    mongodb的关键字及介绍.mongodb的查询是有一定规则的,刚开始接触老是各种错误,参照以下内容有很多帮助https://docs.mongodb.com/manual/reference/sql-aggregation-comparison/另外出现这种错误时Apipelinestagespecificationobjectmustcontainexactlyonefield是因为条件不对
  • MongoDB Atlas与LangChain集成指南 afTFODguAKBF mongodblangchain数据库python
    引言MongoDBAtlas是一款全托管的云数据库解决方案,可在AWS、Azure和GCP上使用。最新版本支持在MongoDB文档数据上进行原生向量搜索。本文将介绍如何使用LangChain将MongoDBAtlas与语言模型集成,以实现高效的向量搜索和语义缓存。安装和设置1.安装langchain-mongodb包pipinstalllangchain-mongodb向量存储LangChain提
  • 数据库管理的利器Navicat —— 全面测评与热门产品推荐 界面开发小八哥 数据库Navicat数据库开发sqlmysql
    在数据库管理领域，Navicat无疑是一款深受欢迎的软件。作为一个强大的数据库管理和开发工具，它支持多种数据库类型，包括MySQL、MariaDB、MongoDB、SQLServer、Oracle、PostgreSQL等。本文将全面测评Navicat的核心功能，同时推荐几款热门的Navicat产品。Navicat的主要特点1.跨平台支持：Navicat支持Windows、Mac和Linux平台，可
  • MongoDB C++库编译，windows平台+VS2015（QT中也可以用） hp_cpp C++
    编译准备工作：（1）mongo-c-driver下载地址：https://github.com/mongodb/mongo-c-driver/releases下载最新版：mongo-c-driver1.12.0的Soucecode版（2）mongodb/mongo-cxx-driver下载地址：https://github.com/mongodb/mongo-cxx-driver/releases
  • 使用docker部署MongoDB数据库 数据小白的进阶之路 数据库dockermongodb
    最近由于工作需要搭建MongoDB数据库：将解析的车端采集的数据写入到数据库，由于MongoDB高可用、海量扩展、灵活数据的模型，因此选用MongoDB数据库；由于现公司只有服务器，因此考虑容器化部署MongoDB数据，特此记录一下~一、镜像拉取使用如下命令拉取最新MongoDB镜像dockerpullmongo二、创建MongoDB容器2.1创建宿主机目录执行如下代码：mkdir-p/home/
  • MongoDB数据库 weixin_34104341 数据库jsonshell
    一简介MongoDB是一款强大、灵活、且易于扩展的通用型数据库1.易用性MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“行“（row）的概念取而代之的是更为灵活的“文档”（document）模型。通过在文档中嵌入文档和数组，面向文档的方法能够仅使用
  • 【Docker】MongoDB 容器化部署 轻云UC 运维部署mongodbdocker数据库
    MongoDBdocker容器化部署MongoDB标准软件基于BitnamiMongoDB构建。当前版本未7.0.5你可以通过轻云UC部署工具直接安装部署，也可以手动按如下文档操作配置文件地址:https://gitee.com/qingplus/qingcloud-platformQinghubStudio在线体验初始化一个新实例使用Docker容器网络，应用程序容器可以轻松访问容器内运行的Mo
  • MongoDB ：第五章：MongoDB 插入更新删除查询文档 2401_84558091 作者\/mongodb数据库
    “_id”:ObjectId(“56064f89ade2f21f36b03136”),“title”:“MongoDB”,“description”:“MongoDB是一个Nosql数据库”,“by”:“菜鸟教程”,“url”:“http://www.runoob.com”,“tags”:[“mongodb”,“database”,“NoSQL”],“likes”:100}可以看到标题(title
  • 数据库有关c语言 h海棠溪 数据库学习c语言linux
    数据库的概念SQL（StructuredQueryLanguage）是一种专门用来与数据库进行交互的编程语言，它允许用户查询、更新和管理关系型数据库中的数据。关系型数据库是基于表（Table）的数据库，其中表由行（Row）和列（Column）组成，每一行代表一个记录（Record），每一列代表一个字段（Field）。非关系型数据库MongoDB1、分类：大型中型小型ORACLEMYSQL/MSSQ
  • 使用 MongoDB 构建 AI：Patronus 如何自动进行大语言模型评估来增强对生成式 AI 的信心 MongoDB 数据平台 AI应用客户案例人工智能mongodb
    大语言模型可能不可靠，这几乎算不上头条新闻。对于某些用例，这可能会带来不便。而对于其他行业，尤其是受监管行业，后果则要严重得多。于是，业内首个大语言模型自动评估平台PatronusAI应运而生。PatronusAI由MetaAI和MetaRealityLabs的机器学习专家创立，旨在增强企业对生成式AI应用程序的信心，在塑造值得信赖的AI生态方面处于领先地位。Patronus联合创始人兼首席技术官
  • MongoDB-副本集PSA架构搭建配置手册 玩亚索的小孔 MongoDBMongoDB副本集PSA
    1安装配置------------------------------------------------------------------------------------机器准备：•系统：RedHatEnterpriseLinuxServerrelease7.3(Maipo)•MongoDB版本：mongodb-linux-x86_64-rhel70-3.4.16•下载地址:http://
  • 解决方案| MongoDB PSA 架构痛点以及如何应对？ MongoDB中文社区 MongoDBmongodb架构数据库
    一.背景最近MongoDB群里面有群友遇到2次重启MongoDB后一直处于实例恢复状态(应用OPLOG)，多达几天甚至更长才完成重启，通常MongoDB副本集三个实例作为标准，重启主库会发生重新选出新主节点(通常在12s内完成)重新对外服务，通常不符合官方标准化或者内部发生异常导致的。经过了解副本集采用PSA架构且存在一个数据从节点不可达的情况(甚至有的从节点宕机几个月没有发现)，来分析这些情况以
  • MongoDB之写关注及PSA架构相关问题 吃饭端住碗 MongoDBmongodb架构数据库
    MongoDB的写关注主要指定了写入操作的确认级别。具体来讲就是客户端在向MongoDB执行比如delete、insert、update等相关写入操作时，MongoDB的写入行为，比如是否立刻刷盘、是否需要等待Secondary节点确认等。写关注说明写关注配置主要包含以下3个字段：{w:,j:,wtimeout:}w选项指定了写入操作需要等待确认的副本集成员个数。取值如下：“majority”：写
  • mongoDB 对一个做了索引的字段，要不要给默认值？ hongkid mongodb数据库
    引言在设计数据库模式时，如何处理字段的默认值是一个值得深入探讨的话题。对于MongoDB这样的NoSQL数据库来说，灵活性是其一大特点，但这同时也意味着开发者需要更加谨慎地考虑数据的一致性和完整性。本文将探讨在一个已创建索引的字段上，在插入文档时是否应该显式设置默认值的问题，并给出具体的建议。MongoDB中的索引与字段设置在MongoDB中，索引可以帮助提高查询性能，特别是在处理大规模数据集时。
  • MongoDB-聚合查询操作介绍 侯晓阳丶 MongoDBmongodb数据库linuxdba经验分享
    目录前言db.collection.aggregate()db.collection.aggregate()示例一db.collection.aggregate()示例二复杂的聚合操作通过mongoimport导入测试数据复杂的聚合操作示例聚合操作的偏好设置-project函数聚合操作的偏好设置-unwind函数前言MongoDB聚合操作相当于关系型数据库SQL语句的"groupby"、“orde
  • Docker搭建MongoDB Replica Set高可用集群+数据丢失&被黑解决+自动备份与恢复脚本+持久化慢查询记录 秋风お亦冷 运维企业实战笔录运维dockermongodb数据库
    文章目录引节点规划配置文件创建持久化目录创建并推送证书启动临时容器修改配置文件单节点参考mongod.confdocker-compose.ymlReplicaSet参考mongod.confdocker-compose.yml部署与配置部署集群配置集群验证集群增删节点增加节点删除节点查看节点常用命令重置集群备份数据关闭服务删除持久化数据启动集群配置集群验证集群创建用户验证集群用户管理权限说明创建
  • vue+jsonrpc+mongoDB文件传输解决方案（任意格式文件） weideng_san 前端java文件传输jsonrpcmongoDBvue
    环境及需求：前端采用vue；后端采用spring，但是只用到了spring的对象注入功能，未使用springweb相关功能。前后端通信采用jsonrpc，现需要在前端选中文件（格式未知，上传到后端，后端将其存储在mongoDB中）。背景：springweb可以直接使用controller接受MultipartFile对象；但是jsonrpc不能直接传输文件类型，jsonrpc是轻量级通信框架，擅长
  • mongodb 在 Windows 环境下迁移数据库的问题 Eagsen CEO 数据库mongodb
    mongodb是一款非常优秀的文档数据库，它的社区版本是免费的。但是mongodb的迁移和其他传统的关系数据库不太一样，通过官方提供的图形化的客户端工具无法备份和迁移，需要下载命令行工具进行。首先下载命令行工具：DownloadMongoDBCommandLineDatabaseTools|MongoDBWindows安装后，使用管理员身份打开cmd命令窗口，导航到安装目录的bin目录下，如果是默
  • python网络爬虫（五）——爬取天气预报 光电的一只菜鸡 pythonpython爬虫开发语言
    1.注册高德天气key  点击高德天气，然后按照开发者文档完成key注册；作为爬虫练习项目之一。从高德地图json数据接口获取天气，可以获取某省的所有城市天气，高德地图的这个接口还能获取县城的天气。其天气查询API服务地址为https://restapi.amap.com/v3/weather/weatherInfo?parameters，若要获取某城市的天气推荐2.安装MongoDB  Mong
  • Spring常用中间件 贺仙姑 spring中间件java
    1.数据库中间件（1）MySQL:常用的关系型数据库，支持JDBC和JPA。（2）PostgreSQL:功能强大的开源关系型数据库，支持复杂查询。（3）MongoDB:NoSQL数据库，适合存储非结构化数据。（4）Redis:内存数据结构存储，常用于缓存和消息队列。2.消息队列（1）RabbitMQ:开源消息代理，支持多种消息协议，适合异步处理。（2）Kafka:分布式流处理平台，适合处理大规模数
  • Node.js 数据库操作详解：构建高效的数据持久化层 Switch616 前端node.js数据库运维服务器系统架构前端框架前端
    Node.js数据库操作详解：构建高效的数据持久化层目录MongoDB使用mongoose连接MongoDB定义模型和数据验证实现CRUD操作️MySQL使用mysql或mysql2模块连接MySQL执行SQL查询处理结果和错误SQLite使用sqlite3模块连接SQLite执行SQL查询处理事务MongoDB使用mongoose连接MongoDBmongoose是一个为MongoDB提供对象数
  • MongoDB的WiredTiger存储引擎 云掣YUNCHE mongodb数据库
    作者：太阳从MongoDB3.2开始，MongoDB实例默认的存储引擎为WiredTiger，WiredTiger存储引擎具体以下几大优点：文档级并发将数据持久化到磁盘快照和checkpoint数据压缩本地数据加密一、文档级别并发1、WiredTiger使用文档级别并发，意味着在同一时间，MongoDB实例允许多个对不同文档间的写操作并发执行（复制应用oplog时同样可以做到文档级并发应用）。2、
  • mongodb中常用的运算符和正则表达式 手搓二十四种设计模式 mongodb
    在mongodb中不能>=，----$gt=----$gte<=----$lte!==----$ne例如：查询id比三大的所有记录db.students.find({id:{$gt:3}});2.逻辑运算符：$or逻辑或例如：查询年龄为十岁或九岁的数据db.students.find({$or:[{age:10},{age:9}]});$and逻辑与：例如：查询年龄大于十一岁且小于二十四的db.s
  • SpringCloud 结合 MongoTemplate 打印执行语句log kikiki1
    在调度MongoTemplate的时候，我们无法确定我们写的方法是否能发出正确的语句,这时候我们需要将语句给打印出来。springcloud使用方法在application.yml文件中增加如下配置即可logging:level:org.springframework.data.mongodb.core.MongoTemplate:DEBUG
  • 2024年Python最新Python爬虫教程-新浪微博分布式爬虫分享(2) 2401_84584682 程序员python爬虫新浪微博
    开发语言：Python2.7开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。数据库：MongoDB3.2.0、Redis3.0.501（Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）爬虫框架使用Scrapy，使用scrapy_redis和Redis实现分布式。分布式中有一台机充当Maste
  • 如何用ruby来写hadoop的mapreduce并生成jar包 wudixiaotie mapreduce
    ruby来写hadoop的mapreduce，我用的方法是rubydoop。怎么配置环境呢： 1.安装rvm：     不说了 网上有 2.安装ruby：     由于我以前是做ruby的，所以习惯性的先安装了ruby，起码调试起来比jruby快多了。 3.安装jruby：     rvm install jruby然后等待安
  • java编程思想 -- 访问控制权限 百合不是茶 java访问控制权限单例模式
    访问权限是java中一个比较中要的知识点,它规定者什么方法可以访问,什么不可以访问   一:包访问权限;   自定义包: package com.wj.control; //包 public class Demo { //定义一个无参的方法 public void DemoPackage(){ System.out.println("调用
  • [生物与医学]请审慎食用小龙虾 comsci 生物
         现在的餐馆里面出售的小龙虾,有一些是在野外捕捉的,这些小龙虾身体里面可能带有某些病毒和细菌,人食用以后可能会导致一些疾病,严重的甚至会死亡.....      所以,参加聚餐的时候,最好不要点小龙虾...就吃养殖的猪肉,牛肉,羊肉和鱼,等动物蛋白质     
  • org.apache.jasper.JasperException: Unable to compile class for JSP: 商人shang maven2.2jdk1.8
    环境： jdk1.8    maven  tomcat7-maven-plugin  2.0 原因： tomcat7-maven-plugin  2.0 不知吃 jdk 1.8，换成 tomcat7-maven-plugin  2.2就行，即     <plugin>
  • 你的垃圾你处理掉了吗?GC oloz GC
    前序:本人菜鸟，此文研究学习来自网络，各位牛牛多指教　 1.垃圾收集算法的核心思想 　　Java语言建立了垃圾收集机制，用以跟踪正在使用的对象和发现并回收不再使用(引用)的对象。该机制可以有效防范动态内存分配中可能发生的两个危险：因内存垃圾过多而引发的内存耗尽，以及不恰当的内存释放所造成的内存非法引用。 　　垃圾收集算法的核心思想是：对虚拟机可用内存空间，即堆空间中的对象进行识别
  • shiro 和 SESSSION 杨白白 shiro
    shiro 在web项目里默认使用的是web容器提供的session，也就是说shiro使用的session是web容器产生的，并不是自己产生的，在用于非web环境时可用其他来源代替。在web工程启动的时候它就和容器绑定在了一起，这是通过web.xml里面的shiroFilter实现的。通过session.getSession()方法会在浏览器cokkice产生JESSIONID，当关闭浏览器，此
  • 移动互联网终端 淘宝客如何实现盈利 小桔子 移動客戶端淘客淘寶App
           2012年淘宝联盟平台为站长和淘宝客带来的分成收入突破30亿元，同比增长100%。而来自移动端的分成达1亿元，其中美丽说、蘑菇街、果库、口袋购物等App运营商分成近5000万元。 可以看出，虽然目前阶段PC端对于淘客而言仍旧是盈利的大头，但移动端已经呈现出爆发之势。而且这个势头将随着智能终端(手机，平板)的加速普及而更加迅猛
  • wordpress小工具制作 aichenglong wordpress小工具
    wordpress 使用侧边栏的小工具，很方便调整页面结构 小工具的制作过程 1 在自己的主题文件中新建一个文件夹(如widget)，在文件夹中创建一个php(AWP_posts-category.php) 小工具是一个类,想侧边栏一样，还得使用代码注册，他才可以再后台使用，基本的代码一层不变 <?php class AWP_Post_Category extends WP_Wi
  • JS微信分享 AILIKES js
    // 所有功能必须包含在 WeixinApi.ready 中进行    WeixinApi.ready(function(Api) {        // 微信分享的数据            var wxData = {       &nb
  • 封装探讨 百合不是茶 JAVA面向对象 封装
    //封装   属性 方法 将某些东西包装在一起，通过创建对象或使用静态的方法来调用，称为封装；封装其实就是有选择性地公开或隐藏某些信息，它解决了数据的安全性问题，增加代码的可读性和可维护性   在 Aname类中申明三个属性，将其封装在一个类中：通过对象来调用   例如   1： //属性 将其设为私有 姓名 name 可以公开
  • jquery radio/checkbox change事件不能触发的问题 bijian1013 JavaScriptjquery
    我想让radio来控制当前我选择的是机动车还是特种车，如下所示：  <html> <head> <script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js" type="text/javascript"><
  • AngularJS中安全性措施 bijian1013 JavaScriptAngularJS安全性XSRFJSON漏洞
            在使用web应用中，安全性是应该首要考虑的一个问题。AngularJS提供了一些辅助机制，用来防护来自两个常见攻击方向的网络攻击。 一.JSON漏洞         当使用一个GET请求获取JSON数组信息的时候（尤其是当这一信息非常敏感，
  • [Maven学习笔记九]Maven发布web项目 bit1129 maven
    基于Maven的web项目的标准项目结构 user-project     user-core     user-service     user-web        src      
  • 【Hive七】Hive用户自定义聚合函数(UDAF) bit1129 hive
    用户自定义聚合函数，用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。 问题：UDF也可以提供输入多个参数然后输出一个结果的运算，比如加法运算add(3，5)，add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么？   Double evaluate(Double a, Double b)  
  • 通过 nginx-lua 给 Nginx 增加 OAuth 支持 ronin47
    前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGeek 在过去几年中取得了发展，我们已经积累了不少针对各种任务的不同管理接口。我们通常为新的展示需求创建新模块，比如我们自己的博客、图表等。我们还定期开发内部工具来处理诸如部署、可视化操作及事件处理等事务。在处理这些事务中，我们使用了几个不同的接口来认证： &n
  • 利用tomcat-redis-session-manager做session同步时自定义类对象属性保存不上的解决方法 bsr1983 session
    在利用tomcat-redis-session-manager做session同步时，遇到了在session保存一个自定义对象时，修改该对象中的某个属性，session未进行序列化，属性没有被存储到redis中。 在 tomcat-redis-session-manager的github上有如下说明： Session Change Tracking As noted in the &qu
  • 《代码大全》表驱动法-Table Driven Approach-1 bylijinnan java算法
    关于Table Driven Approach的一篇非常好的文章： http://www.codeproject.com/Articles/42732/Table-driven-Approach package com.ljn.base; import java.util.Random; public class TableDriven { public
  • Sybase封锁原理 chicony Sybase
           昨天在操作Sybase IQ12.7时意外操作造成了数据库表锁定，不能删除被锁定表数据也不能往其中写入数据。由于着急往该表抽入数据，因此立马着手解决该表的解锁问题。     无奈此前没有接触过Sybase IQ12.7这套数据库产品，加之当时已属于下班时间无法求助于支持人员支持，因此只有借助搜索引擎强大的
  • java异常处理机制 CrazyMizzz java
    java异常关键字有以下几个，分别为 try catch final throw throws 他们的定义分别为 try：    Opening exception-handling statement. catch：  Captures the exception. finally： Runs its code before terminating
  • hive 数据插入DML语法汇总 daizj hiveDML数据插入
    Hive的数据插入DML语法汇总1、Loading files into tables语法：1) LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]解释：1)、上面命令执行环境为hive客户端环境下： hive>l
  • 工厂设计模式 dcj3sjt126com 设计模式
      使用设计模式是促进最佳实践和良好设计的好办法。设计模式可以提供针对常见的编程问题的灵活的解决方案。 工厂模式 工厂模式（Factory）允许你在代码执行时实例化对象。它之所以被称为工厂模式是因为它负责“生产”对象。工厂方法的参数是你要生成的对象对应的类名称。 Example #1 调用工厂方法（带参数） <?phpclass Example{ 
  • mysql字符串查找函数 dcj3sjt126com mysql
      FIND_IN_SET(str,strlist) 假如字符串str 在由N 子链组成的字符串列表strlist 中，则返回值的范围在1到 N 之间。一个字符串列表就是一个由一些被‘,’符号分开的自链组成的字符串。如果第一个参数是一个常数字符串，而第二个是type SET列，则   FIND_IN_SET() 函数被优化，使用比特计算。如果str不在strlist 或st
  • jvm内存管理 easterfly jvm
    一、JVM堆内存的划分 分为年轻代和年老代。年轻代又分为三部分：一个eden,两个survivor。 工作过程是这样的：e区空间满了后，执行minor gc，存活下来的对象放入s0, 对s0仍会进行minor gc，存活下来的的对象放入s1中，对s1同样执行minor gc，依旧存活的对象就放入年老代中； 年老代满了之后会执行major gc，这个是stop the word模式，执行
  • CentOS-6.3安装配置JDK-8 gengzg centos
    JAVA_HOME=/usr/java/jdk1.8.0_45 JRE_HOME=/usr/java/jdk1.8.0_45/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export JAVA_HOME
  • 【转】关于web路径的获取方法 huangyc1210 Web路径
    假定你的web application 名称为news,你在浏览器中输入请求路径：  http://localhost:8080/news/main/list.jsp  则执行下面向行代码后打印出如下结果：  1、 System.out.println(request.getContextPath()); //可返回站点的根路径。也就是项
  • php里获取第一个中文首字母并排序 远去的渡口 数据结构PHP
    很久没来更新博客了，还是觉得工作需要多总结的好。今天来更新一个自己认为比较有成就的问题吧。 最近在做储值结算，需求里结算首页需要按门店的首字母A-Z排序。我的数据结构原本是这样的： Array ( [0] => Array ( [sid] => 2885842 [recetcstoredpay] =&g
  • java内部类 hm4123660 java内部类匿名内部类成员内部类方法内部类
         　在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类。内部类仍然是一个独立的类，在编译之后内部类会被编译成独立的.class文件，但是前面冠以外部类的类名和$符号。内部类可以间接解决多继承问题,可以使用内部类继承一个类，外部类继承一个类，实现多继承。      &nb
  • Caused by: java.lang.IncompatibleClassChangeError: class org.hibernate.cfg.Exten zhb8015
    maven pom.xml关于hibernate的配置和异常信息如下，查了好多资料，问题还是没有解决。只知道是包冲突，就是不知道是哪个包....遇到这个问题的分享下是怎么解决的。。   maven pom:   <dependency> <groupId>org.hibernate</groupId> <ar
  • Spark 性能相关参数配置详解－任务调度篇 Stark_Summer sparkcachecpu任务调度yarn
    随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。   由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便
  • css3滤镜 wangkeheng htmlcss
    经常看到一些网站的底部有一些灰色的图标，鼠标移入的时候会变亮，开始以为是js操作src或者bg呢，搜索了一下，发现了一个更好的方法：通过css3的滤镜方法。 html代码： <a href='' class='icon'><img src='utv.jpg' /></a> css代码： .icon{-webkit-filter: graysc
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他