chen长记
chen长记

千万级别数据迁移从耗时3天优化到半个个小时

项目背景：公司对现有系统做重构，新系统上线前需要将老系统的全量数据迁移到新的系统，其中有10几张表的数据有1千多万的数据量需要全量迁移过来，但是新老系统的表结构不是一样的，所以我们需要将老系统的数据全部转化为新系统的数据结构

过程：

   项目开始时是从简单的版本开始做，并没有考虑速度问题，按照简单的单线程开发，数据分页读取然后做数据转化后通过mybatis批量写入数据库。第一版只是完成业务逻辑上的开发，保证数据不会有误。完成之后开始第一次测试，测试过程中发现数据迁移很慢，读取一次需要几十秒，批量写入时每次写入1000条，批量插入，发现写入1000条居然要等上半个小时，这个肯定是不行的。于是对写入做了第一次整改，将写入由一次写入1000条改为每次写入100条，测试后发现写入速度快了，由开始的半个小时优化了20-30秒就能完成1000条数据的写入。接着就开始了多线程的操作，将系统有开始的单个线程读取转化写入过程改成了多线程模式，用一个线程来负责每次从数据库中读取1000条，然后把数据分给多线程去处理这1000天数据的转化并写入。第一次尝试我使用了10个线程，结果测试一跑起来傻眼了，发现数据写库由之前的单线程每1000条20-30秒变成100秒以上了，线程越多写入的性能还越来越慢了。这样肯定是不行的，于是经过高手的请教，使用单条插入，批量commit。这里的多线程写入变慢是因为在批量写入的时候需要大量的数据库临时空间去装载大sql，并发越多，临时空间就越不够用，这也就出现了线程越多，写入越慢的情况了。经过指点后通过单条提交，分批commit之后数据写入性能有了质的飞越，1000条写入耗时只要7左右秒就能完成，而且多线程也不会影响速度。于是开启了第二版的飞越，测试一次之后在写入到了200万之后速度满了下来，而且是越来越慢，通过日期观察写的数据没有问题，那就只有读的问题了。通过日志分析发现，当数据读取到了100万以后，后面的数据读取越来越慢了，想起了数据库分页读取后面的页数需要翻过前面一堆数据之后才能读到，于是我们有队数据读取表做了修改，加入了一个自增顺序的id，这样我们就不用分页读取了，每次读取完以后取最后一个数据id，后面的数据从这个之后读取就不需要分页了。每次读取的速度都是在一个稳定的值。这样之后我们的性能提升到了只需要几个小时就能完成了。但是老板对这个速度还不是很满意，于是我们引入了多机器，其中一个机器负责读取id，然后发送到mq中，其他机器从mq中读取id，根据id来获取数据并转化落库，整个迁移过程就在1小时左右完成了。

心得： 这次全量数据的迁移，学到了2个点，第一点：数据插入并不是批量比单个快，批量sql需要消耗临时空间，sql越长需要的空间越大。单条插入通过手动控制事物提交到达的性能效果比批量的好；第二点数据读取分页到后面会越来越慢

 

你可能感兴趣的:(java,mybaits)

  • 深入理解Java集合框架：构建高效、灵活的数据管理方案 PsG喵喵 java开发语言
    深入理解Java集合框架：构建高效、灵活的数据管理方案引言Java集合框架（JavaCollectionsFramework,JCF）是Java语言提供的一套用于表示和操作集合的统一架构。它包含了一系列的接口和类，用于存储和操作对象集合，如列表（List）、集合（Set）、映射（Map）和队列（Queue）等。集合框架的设计初衷是为了提供一套灵活、可重用且类型安全的集合数据结构，帮助开发者以统一和
  • protubuf序列化和反序列化原理 要好好养胃 c++11c++开发语言算法linux服务器
    文章目录protubuf序列化和反序列化原理序列化：将数据结构或者对象转换成二进制字节流判断每个字段是否有设置值，有值才进行编码根据字段表示号与实际类型将字段值通过不容的编码方式进行编码将编码后的数据块按照字段类型采用不同的存储方式封装成二进制数据流反序列化：将二进制字节流转换回数据结构或者对象解析读取的二进制字节数据流将解析出来的数据存储到c++、java等对应的数据结构中varint编码：整形
  • Java常用集合与映射的线程安全问题深度解析 misschen888 java安全开发语言
    Java常用集合与映射的线程安全问题深度解析一、线程安全基础认知在并发编程环境下，当多个线程同时操作同一集合对象时，若未采取同步措施，可能导致以下典型问题：数据竞争：多个线程同时修改数据导致结果不可预测状态不一致：部分线程看到集合的中间状态内存可见性：线程本地缓存与主内存数据不同步死循环风险：特定操作引发无限循环（如JDK7的HashMap扩容）二、典型非线程安全集合问题分析1.ArrayList
  • Java常用集合与映射的线程安全问题深度解析 longdong7889 java安全开发语言
    Java常用集合与映射的线程安全问题深度解析一、线程安全基础认知在并发编程环境下，当多个线程同时操作同一集合对象时，若未采取同步措施，可能导致以下典型问题：数据竞争：多个线程同时修改数据导致结果不可预测状态不一致：部分线程看到集合的中间状态内存可见性：线程本地缓存与主内存数据不同步死循环风险：特定操作引发无限循环（如JDK7的HashMap扩容）二、典型非线程安全集合问题分析1.ArrayList
  • Java常用集合与映射的线程安全问题深度解析 jiajia651304 java安全开发语言
    Java常用集合与映射的线程安全问题深度解析一、线程安全基础认知在并发编程环境下，当多个线程同时操作同一集合对象时，若未采取同步措施，可能导致以下典型问题：数据竞争：多个线程同时修改数据导致结果不可预测状态不一致：部分线程看到集合的中间状态内存可见性：线程本地缓存与主内存数据不同步死循环风险：特定操作引发无限循环（如JDK7的HashMap扩容）二、典型非线程安全集合问题分析1.ArrayList
  • 深入理解Java集合框架：构建高效、灵活的数据管理方案 漏洞猎人001 java开发语言
    深入理解Java集合框架：构建高效、灵活的数据管理方案引言Java集合框架（JavaCollectionsFramework,JCF）是Java语言提供的一套用于表示和操作集合的统一架构。它包含了一系列的接口和类，用于存储和操作对象集合，如列表（List）、集合（Set）、映射（Map）和队列（Queue）等。集合框架的设计初衷是为了提供一套灵活、可重用且类型安全的集合数据结构，帮助开发者以统一和
  • 单例模式详解（java） 搞不懂语言的程序员 重拾javajava基础知识单例模式java开发语言
    以下是一个线程安全、防反射攻击、防序列化破坏的单例模式完整实现，结合真实场景问题解决方案，附带逐行中文注释：importjava.io.Serializable;importjava.lang.reflect.Constructor;/***单例模式终极实现方案（解决：线程安全、反射攻击、序列化破坏问题）*/publicclassUltimateSingletonimplementsSeriali
  • Java学习--关键字 月色很柔 Java学习java
    Java学习--关键字前言关键字finalstaticsuperthis实现前言本文主要参考：here;若需要可直接前往学习。关键字final、Static、super、this…final区分final、finally、finalize：理解final的含义：final意为最终的含义，用来修饰类、方法和变量。修饰类：publicfinalclassClassName{}被final修饰的类不能被
  • 【Java】ReadWriteLock浅谈 风起云涌~ java开发语言jvm
    一，概述在多读少写的场景下，可以使用读写锁优化性能。读锁本质是一种共享锁，即，如果ReadLock获取锁成功，只会阻塞WriteLock锁的获取，不会阻塞其它线程ReadLock锁的获取。而写锁就是正常的独占锁。二，简单实例一个简单demo，读者可体会。publicstaticvoidmain(String[]args){ReadWriteLocklock=newReentrantReadWrit
  • 【Java】StampedLock浅谈 风起云涌~ java开发语言
    1，概述在多读少写的环境，相比于ReadWriteLoock，StampedLock性能更胜一筹。试着想一下，如果使用ReadWriteLoock，当1万个读请求过来时，写的操作插入，就会被阻塞。但StampedLock不会，后者不基于AQS实现，它采用乐观锁的思维。所谓的乐观，即读取的时候，不会阻塞当前线程，相应会返回一个邮票，state。读取完毕后，只要验证手上的邮票判断数据是否变化即可，随后
  • java------方法的覆盖[重写],super和final关键字 从未止步.. JavaSE基础java开发语言jvm
    方法覆盖（也称为方法的重写，Override）定义：它是多态性的重要体现之一，是动态多态性的表现形式，他是指子类中可以定义名称，参数列表，返回值类型均与父类中某个方法完全相同的方法，我们就说子类中定义的这个方法覆盖了父类中的同名方法。举例：//anmial为父类packageanmial;publicclassAnimal{publicvoidshow
  • Android 面试（Java 篇） 约翰先森不喝酒 面试java面试android
    Android面试（Java篇）一Java的继承机制二进程跟线程，以及线程的创建三简述wait()和sleep()的区别四如何终止一个线程五Synchronized（内置锁，线程同步）六Synchronized修饰的静态和非静态方法时为什么可以异步执行？七线程同步除了Synchronized还有别的方法么，区别在哪里八死锁产生的原因以及预防措施九Synchronized和Lock的区别十Handl
  • Android 高频面试必问之Java基础 2401_83641443 程序员android面试java
    BootstrapClassLoader：Bootstrap类加载器负责加载rt.jar中的JDK类文件，它是所有类加载器的父加载器。Bootstrap类加载器没有任何父类加载器，如果调用String.class.getClassLoader()，会返回null，任何基于此的代码会抛出NUllPointerException异常，因此Bootstrap加载器又被称为初始类加载器。ExtClassL
  • Java学习------static、final、this、super关键字 日暮南城故里 Java学习记录java学习
    1.static关键字static修饰的变量叫做静态变量。当所有对象的某个属性的值是相同的，建议将该属性定义为静态变量，来节省内存的开销。静态变量在类加载时初始化，存储在堆中。static修饰的方法叫做静态方法。所有静态变量和静态方法，统一使用“类名.”调用。静态方法中不能使用this关键字。因此无法直接访问实例变量和调用实例方法。静态代码块在类加载时执行，一个类中可以编写多个静态代码块，遵循自上
  • YARN 的任务提交流程是怎样的？思维导图 代码示例（java 架构) 用心去追梦 java架构开发语言
    YARN的任务提交流程是一个复杂但有序的过程，它涉及到多个组件之间的交互。以下是详细的任务提交流程描述、思维导图结构化描述以及Java代码示例，帮助你理解如何在YARN中提交任务。YARN任务提交流程客户端提交应用程序客户端通过YARN的API向ResourceManager提交一个新应用程序。提交时需要提供ApplicationMaster的启动信息（如JAR包路径、主类名等）以及其他配置参数。
  • Android第三次面试（Java基础） 每次的天空 面试职场和发展javaandroid
    面试题一：在Android里，Array和ArrayList区别？定义与大小：数组声明时要指定大小，之后固定；ArrayList动态，无需提前定大小。性能：二者访问元素快，时间复杂度O(1)；数组插入删除繁琐，ArrayList尾部添加快，其他位置操作慢。数据类型：数组能存基本类型和对象，ArrayList只能存对象，存基本类型需用包装类。方法功能：数组自身方法少，靠Arrays类；ArrayLi
  • 基于 ArkTS 的混合式开发示例：静态页面与本地数据交互 qq_55376032 harmonyos华为鸿蒙
    一、实现效果1、H5段混合式开发效果图2、静态页面与本地数据交互效果图二、技术栈分析ArkTS：用于构建页面结构和逻辑，支持声明式UI和组件化开发。WebView：通过@ohos.web.webview调用H5页面，支持JavaScript交互。资源管理：使用@kit.ArkTS的util模块读取并解析本地JSON文件。自定义对话框：通过@CustomDialog实现自定义弹窗，支持动态数据加载。
  • 如何用Java轻松解析DNS报文 字节王德发 java技术javapython开发语言
    在网络编程中，DNS（域名系统）是一个至关重要的部分。它负责将人类易于记忆的域名转换为计算机可以识别的IP地址。了解如何解析DNS报文，对于网络开发和调试都很有帮助。今天，我们就来聊聊如何利用Java来解析DNS报文，帮助你轻松理解这一过程。DNS报文的基本结构在开始之前，先简单介绍一下DNS报文的结构。DNS报文分为请求和响应两种类型，通常包含以下几个部分：头部（Header）：包含一些基本信息
  • 如何在Spring Boot中配置和使用MyBatis-Plus 字节王德发 java技术springbootmybatis后端
    在当今的Java开发中，SpringBoot已经成为了一个非常流行的框架，而MyBatis-Plus则是一个强大的ORM框架，为开发人员提供了更简便的数据库操作方式。很多开发者都在使用SpringBoot和MyBatis-Plus的组合来快速构建高效的应用。今天就来聊聊如何在SpringBoot项目中配置和使用MyBatis-Plus，帮助你更好地理解这两者的结合。创建SpringBoot项目首先
  • 【Spring Boot 中 `@Value` 注解的使用】 武帝为此 前后端springbootpython后端
    文章目录一、前言二、@Value注解简介三、@Value注解的常见用法1.读取`application.properties`或`application.yml`配置值（1）配置文件示例（2）Java代码示例（3）测试输出2.使用`@Value`设置默认值3.读取系统环境变量和Java运行时参数4.结合SpringExpressionLanguage(SpEL)（1）基本SpEL表达式（2）引用B
  • 结构型模式之桥接模式：解耦抽象和实现 菜就多练少说 设计模式桥接模式java网络
    在面向对象设计中，我们经常遇到需要扩展某些功能，但又不能修改现有代码的情况。为了避免继承带来的复杂性和维护难度，桥接模式（BridgePattern）应运而生。桥接模式是一种结构型设计模式，旨在解耦抽象部分和实现部分，使得两者可以独立变化。通过桥接模式，可以避免由于功能扩展而导致的类爆炸问题。本文将详细介绍桥接模式，讲解其概念、应用场景、优缺点，并通过Java代码示例帮助大家理解如何在实际开发中使
  • 2025年毕设ssm校园二手电瓶车交易网站论文+源码 SSM毕设程序源码JAVA 课程设计
    本系统（程序+源码）带文档lw万字以上文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容选题背景关于校园二手交易平台的现有研究，多以综合类商品交易或书籍循环为主，而专门针对电瓶车这类高价值、强监管的校园二手交易研究较少。当前高校内电瓶车交易存在信息不对称、交易流程不规范、车牌管理脱节等问题，缺乏系统化的解决方案。部分高校虽尝试通过论坛或社群进行交易，但存在用户身份难核实、
  • JavaScript基础-获取元素 難釋懷 javascript开发语言
    在Web开发中，使用JavaScript动态地访问和操作网页上的元素是一项基本技能。通过获取页面上的特定元素，我们可以对其进行各种操作，比如修改内容、样式或属性等。本文将详细介绍几种获取DOM元素的方法，并探讨它们的特点及适用场景。一、为什么需要获取元素？在现代Web应用中，交互性是关键。无论是响应用户的输入、更新页面内容还是实现动画效果，首先都需要定位到相关的HTML元素。掌握不同的获取元素的方
  • LeetCode——1864. 构成交替字符串需要的最小交换次数(Minimum Number of Swaps to Make the Binary...)[中等]——分析及代码（Java） 江南土豆 数据结构与算法LeetCodeJava题解
    LeetCode——1864.构成交替字符串需要的最小交换次数[MinimumNumberofSwapstoMaketheBinaryStringAlternating][中等]——分析及代码[Java]一、题目二、分析及代码1.模拟（1）思路（2）代码（3）结果三、其他一、题目给你一个二进制字符串s，现需要将其转化为一个交替字符串。请你计算并返回转化所需的最小字符交换次数，如果无法完成转化，返回
  • 让人感到疑惑的const 浪裡遊 javascript开发语言ecmascript前端
    const关键字在不同的编程语言中有着不同的含义和限制，但通常它被用来声明一个常量或只读变量。然而，在JavaScript中，const的行为有时可能会让人感到困惑，因为它并不总是意味着“不可变”（immutable）。让我们详细探讨一下这个问题。JavaScript中的const在JavaScript中，当你使用const声明一个变量时，你实际上是创建了一个不能重新赋值的绑定。这意味着一旦给这个
  • (LeetCode每日一题) 1963. 使字符串平衡的最小交换次数(贪心、双指针) 岁忧 java版刷题LeetCodeleetcode算法职场和发展javac++
    题目：1963.使字符串平衡的最小交换次数方法一：对于符合要求的字符串，需要任何[0,i]部分，“[”都不比“]”少。[视为+1，]视为-1，那么任何前缀和sum都不能出现sum0){sum--;}else{while(s[j]!='['){j--;}s[j]=']';sum++;ans++;}}}returnans;}};JAVA版本：classSolution{publicintminSwap
  • JavaScript 性能优化实战：数据结构选择对性能的影响 deying0865423 开发语言javascript
    目录数组（Array）特点与适用场景性能短板链表（LinkedList）特点与适用场景性能短板集合（Set）特点与适用场景性能短板映射（Map）特点与适用场景性能短板栈（Stack）与队列（Queue）特点与适用场景性能短板在JavaScript开发中，数据结构的选择如同搭建房屋时选择合适的建筑材料，对程序性能起着决定性作用。合理的数据结构能显著提升代码执行效率，减少资源消耗，反之则可能导致性能瓶
  • JavaScript 性能优化实战：优化 DOM 操作提升交互响应 deying0865423 javascript开发语言ecmascript
    目录一、理解DOM操作的性能损耗二、减少DOM操作次数（一）批量操作DOM（二）缓存DOM查询结果三、优化DOM查询（一）使用更高效的查询方法（二）利用事件委托四、减少回流与重绘（一）批量修改样式（二）使用requestAnimationFrame在现代Web应用开发中，JavaScript与DOM（文档对象模型）的交互极为频繁。无论是创建动态界面、响应用户操作，还是更新页面内容，DOM操作都扮演
  • Java方法详解 NaclarbCSDN java开发语言
    Java方法详解方法基本概念 packagecom.arbedu.method; ​ publicclassDemo01{   //main方法   publicstaticvoidmain(String[]args){     inta;     intb;     intsum=add(1,2);//实际参数，用来调用传递的参数     System.out.println(sum);    
  • 【华为OD-E卷 -123 判断一组不等式是否满足约束并输出最大差 100分（python、java、c++、js、c）】 CodeClimb 算法题华为od（A+B+C+D+E卷）收录分享华为odpythonjavajavascriptc++
    【华为OD-E卷-判断一组不等式是否满足约束并输出最大差100分（python、java、c++、js、c）】题目给定一组不等式，判断是否成立并输出不等式的最大差(输出浮点数的整数部分)要求:不等式系数为double类型，是一个二维数组不等式的变量为int类型，是一维数组;不等式的目标值为double类型，是一维数组不等式约束为字符串数组，只能是:“>”,“>=”,“<”,“<=”,“=”，例如，
  • Dom 周华华 JavaScripthtml
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • 【Spark九十六】RDD API之combineByKey bit1129 spark
    1. combineByKey函数的运行机制   RDD提供了很多针对元素类型为(K,V)的API，这些API封装在PairRDDFunctions类中，通过Scala隐式转换使用。这些API实现上是借助于combineByKey实现的。combineByKey函数本身也是RDD开放给Spark开发人员使用的API之一   首先看一下combineByKey的方法说明：
  • msyql设置密码报错：ERROR 1372 (HY000): 解决方法详解 daizj mysql设置密码
    MySql给用户设置权限同时指定访问密码时，会提示如下错误： ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number；   问题原因：你输入的密码是明文。不允许这么输入。   解决办法：用select password('你想输入的密码');查询出你的密码对应的字符串， 然后
  • 路漫漫其修远兮 吾将上下而求索 周凡杨 学习 思索
    王国维在他的《人间词话》中曾经概括了为学的三种境界古今之成大事业、大学问者，罔不经过三种之境界。“昨夜西风凋碧树。独上高楼，望尽天涯路。”此第一境界也。“衣带渐宽终不悔，为伊消得人憔悴。”此第二境界也。“众里寻他千百度，蓦然回首，那人却在灯火阑珊处。”此第三境界也。学习技术，这也是你必须经历的三种境界。第一层境界是说，学习的路是漫漫的，你必须做好充分的思想准备，如果半途而废还不如不要开始。这里，注
  • Hadoop(二)对话单的操作 朱辉辉33 hadoop
    Debug： 1、 A = LOAD '/user/hue/task.txt' USING PigStorage(' ') AS (col1,col2,col3); DUMP A; //输出结果前几行示例： (>ggsnPDPRecord(21),,) (-->recordType(0),,) (-->networkInitiation(1),,)
  • web报表工具FineReport常用函数的用法总结（日期和时间函数） 老A不折腾 finereport报表工具web开发
    web报表工具FineReport常用函数的用法总结（日期和时间函数）   说明：凡函数中以日期作为参数因子的，其中日期的形式都必须是yy/mm/dd。而且必须用英文环境下双引号(" ")引用。   DATE DATE(year,month,day):返回一个表示某一特定日期的系列数。 Year:代表年，可为一到四位数。 Month:代表月份。
  • c++ 宏定义中的##操作符 墙头上一根草 C++
    #与##在宏定义中的--宏展开 #include <stdio.h> #define f(a,b) a##b #define g(a)   #a #define h(a) g(a) int main() {       &nbs
  • 分析Spring源代码之，DI的实现 aijuans springDI现源代码
    (转) 分析Spring源代码之，DI的实现 2012/1/3 by tony                 接着上次的讲，以下这个sample [java]  view plain copy print
  • for循环的进化 alxw4616 JavaScript
    // for循环的进化 // 菜鸟 for (var i = 0; i < Things.length ; i++) { // Things[i] } // 老鸟 for (var i = 0, len = Things.length; i < len; i++) { // Things[i] } // 大师 for (var i = Things.le
  • 网络编程Socket和ServerSocket简单的使用 百合不是茶 网络编程基础IP地址端口
      网络编程;TCP/IP协议   网络:实现计算机之间的信息共享,数据资源的交换   协议:数据交换需要遵守的一种协议,按照约定的数据格式等写出去   端口:用于计算机之间的通信      每运行一个程序，系统会分配一个编号给该程序，作为和外界交换数据的唯一标识 0~65535   查看被使用的
  • JDK1.5 生产消费者 bijian1013 javathread生产消费者java多线程
    ArrayBlockingQueue：        一个由数组支持的有界阻塞队列。此队列按 FIFO（先进先出）原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素。队列的尾部 是在队列中存在时间最短的元素。新元素插入到队列的尾部，队列检索操作则是从队列头部开始获得元素。 ArrayBlockingQueue的常用方法：
  • JAVA版身份证获取性别、出生日期及年龄 bijian1013 java性别出生日期年龄
            工作中需要根据身份证获取性别、出生日期及年龄，且要还要支持15位长度的身份证号码，网上搜索了一下，经过测试好像多少存在点问题，干脆自已写一个。 CertificateNo.java package com.bijian.study; import java.util.Calendar; import
  • 【Java范型六】范型与枚举 bit1129 java
    首先，枚举类型的定义不能带有类型参数，所以，不能把枚举类型定义为范型枚举类，例如下面的枚举类定义是有编译错的   public enum EnumGenerics<T> { //编译错，提示枚举不能带有范型参数 OK, ERROR; public <T> T get(T type) { return null;
  • 【Nginx五】Nginx常用日志格式含义 bit1129 nginx
    1. log_format 1.1 log_format指令用于指定日志的格式，格式：   log_format name(格式名称) type(格式样式)   1.2 如下是一个常用的Nginx日志格式：   log_format main '[$time_local]|$request_time|$status|$body_bytes
  • Lua 语言 15 分钟快速入门 ronin47 lua 基础
    - - 单行注释 - - [[      [多行注释] - - ]]   - - - - - - - - - - - 1. 变量 & 控制流 - - - - - - - - - - num = 23 - - 数字都是双精度 str = 'aspythonstring'
  • java-35.求一个矩阵中最大的二维矩阵 ( 元素和最大 ) bylijinnan java
    the idea is from: http://blog.csdn.net/zhanxinhang/article/details/6731134 public class MaxSubMatrix { /**see http://blog.csdn.net/zhanxinhang/article/details/6731134 * Q35 求一个矩阵中最大的二维
  • mongoDB文档型数据库特点 开窍的石头 mongoDB文档型数据库特点
    MongoDD: 文档型数据库存储的是Bson文档-->json的二进制 特点：内部是执行引擎是js解释器，把文档转成Bson结构，在查询时转换成js对象。 mongoDB传统型数据库对比    传统类型数据库：结构化数据，定好了表结构后每一个内容符合表结构的。也就是说每一行每一列的数据都是一样的    文档型数据库：不用定好数据结构，
  • [毕业季节]欢迎广大毕业生加入JAVA程序员的行列 comsci java
        一年一度的毕业季来临了。。。。。。。。      正在投简历的学弟学妹们。。。如果觉得学校推荐的单位和公司不适合自己的兴趣和专业，可以考虑来我们软件行业，做一名职业程序员。。。      软件行业的开发工具中，对初学者最友好的就是JAVA语言了，网络上不仅仅有大量的
  • PHP操作Excel – PHPExcel 基本用法详解 cuiyadll PHPExcel
    导出excel属性设置//Include classrequire_once('Classes/PHPExcel.php');require_once('Classes/PHPExcel/Writer/Excel2007.php');$objPHPExcel = new PHPExcel();//Set properties 设置文件属性$objPHPExcel->getProperties
  • IBM Webshpere MQ Client User Issue (MCAUSER) darrenzhu IBMjmsuserMQMCAUSER
    IBM MQ JMS Client去连接远端MQ Server的时候，需要提供User和Password吗？ 答案是根据情况而定，取决于所定义的Channel里面的属性Message channel agent user identifier (MCAUSER)的设置。 http://stackoverflow.com/questions/20209429/how-mca-user-i
  • 网线的接法 dcj3sjt126com
    一、PC连HUB (直连线)A端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 二、PC连PC （交叉线）A端：(568A)： 白绿，绿，白橙，蓝，白蓝，橙，白棕，棕； B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 三、HUB连HUB&nb
  • Vimium插件让键盘党像操作Vim一样操作Chrome dcj3sjt126com chromevim
    什么是键盘党？ 键盘党是指尽可能将所有电脑操作用键盘来完成，而不去动鼠标的人。鼠标应该说是新手们的最爱，很直观，指哪点哪，很听话！不过常常使用电脑的人，如果一直使用鼠标的话，手会发酸，因为操作鼠标的时候，手臂不是在一个自然的状态，臂肌会处于绷紧状态。而使用键盘则双手是放松状态，只有手指在动。而且尽量少的从鼠标移动到键盘来回操作，也省不少事。 在chrome里安装 vimium 插件
  • MongoDB查询（2）——数组查询[六] eksliang mongodbMongoDB查询数组
    MongoDB查询数组 转载请出自出处：http://eksliang.iteye.com/blog/2177292 一、概述  MongoDB查询数组与查询标量值是一样的，例如，有一个水果列表，如下所示： > db.food.find() { "_id" : "001", "fruits" : [ "苹
  • cordova读写文件（1） gundumw100 JavaScriptCordova
    使用cordova可以很方便的在手机sdcard中读写文件。 首先需要安装cordova插件：file 命令为： cordova plugin add org.apache.cordova.file 然后就可以读写文件了，这里我先是写入一个文件，具体的JS代码为： var datas=null;//datas need write var directory=&
  • HTML5 FormData 进行文件jquery ajax 上传 到又拍云 ileson jqueryAjaxhtml5FormData
    html5 新东西：FormData  可以提交二进制数据。 页面test.html <!DOCTYPE> <html> <head> <title> formdata file jquery ajax upload</title> </head> <body> <
  • swift appearanceWhenContainedIn:(version1.2 xcode6.4) 啸笑天 version
      swift1.2中没有oc中对应的方法： + (instancetype)appearanceWhenContainedIn:(Class <UIAppearanceContainer>)ContainerClass, ... NS_REQUIRES_NIL_TERMINATION;  解决方法： 在swift项目中新建oc类如下： #import &
  • java实现SMTP邮件服务器 macroli java编程
    电子邮件传递可以由多种协议来实现。目前，在Internet 网上最流行的三种电子邮件协议是SMTP、POP3 和 IMAP，下面分别简单介绍。 　　◆ SMTP 协议 　　简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)是一个运行在TCP/IP之上的协议，用它发送和接收电子邮件。SMTP 服务器在默认端口25上监听。SMTP客户使用一组简单的、基于文本的
  • mongodb group by having where 查询sql qiaolevip 每天进步一点点学习永无止境mongo纵观千象
    SELECT cust_id, SUM(price) as total FROM orders WHERE status = 'A' GROUP BY cust_id HAVING total > 250 db.orders.aggregate( [ { $match: { status: 'A' } }, { $group: {
  • Struts2 Pojo（六） Luob. POJOstrust2
    注意：附件中有完整案例 1.采用POJO对象的方法进行赋值和传值 2.web配置 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee&q
  • struts2步骤 wuai struts
    1、添加jar包 2、在web.xml中配置过滤器 <filter>        <filter-name>struts2</filter-name>        <filter-class>org.apache.st
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他