剑穹
剑穹

JDBC读写数据优化-分批次读写数据库

最近由于业务上的需求，一张旧表结构中的数据，需要从oracle中提取出来，写入到MySQL表中，由于数据量过大，做了以下优化。

1.在oracle数据库取数的时候时候给jdbc设置FetchSize参数，分批次从表中取数，然后将数据封装到list中。

2.使用设置FetchSize参数的方式解决了读取数据时数据量过大的问题，但是分批次读取的数据存放在list中，在写入到mysql中时，同样面临这数据量过大的问题

3.为了解决上面的问题，解决方案是：开启一个线程，监控list中数据变化，一旦list中有值了，就写入到MySQL中，也就是说主线程负责从oracle中取数存到list中，开启的另一个线程监控list中的值，写入到MySQL中，类似生产者和消费者的关系。

话不多说，直接上代码

jdbc工具类：

/**
     * 分批抓取查询
     * 封装结果集为：List>
     *
     * @param list      封装结果集为：List>
     * @param sql
     * @param params    List
     * @param config    数据库jdbc信息
     * @param fetchSize 游标读取条数
     * @return list>
     * @throws SQLException
     */
public class JDBCUtil {
    private static Logger logger = Logger.getLogger(JDBCUtil.class);
    private Connection conn = null;
    private PreparedStatement pstmt = null;
    private ResultSet rs = null;
    private String driverClassName = "";
    private String url = "";
    private String userName = "";
    private String password = "";

    static {
        try {
            Class.forName("com.mysql.cj.jdbc.Driver");//mysql驱动
            Class.forName("oracle.jdbc.driver.OracleDriver");//oracle驱动
           
        } catch (ClassNotFoundException e) {
            logger.error("数据库驱动类加载异常：" + e.getMessage(), e);
        }
    }

    private void loadConfig(DBConfig config) {
        driverClassName = config.getDriverClassName();
        url = config.getUrl();
        userName = config.getUserName();
        password = config.getPassword();

    }

    public Connection getConn(DBConfig config) throws SQLException {
        try {
            loadConfig(config);
            conn = DriverManager.getConnection(url, userName, password);
        } catch (RuntimeException re) {
            logger.error("获取数据库连接异常：" + re.getMessage(), re);
            throw re;
        }
        return conn;
    }
    /**
     * 分批抓取查询
     * 封装结果集为：List>
     *
     * @param list      封装结果集为：List>
     * @param sql       
     * @param params    List
     * @param config    数据库jdbc信息
     * @param fetchSize 游标读取条数
     * @return list>
     * @throws SQLException
     */
    public List> getListHashMap(String sql, List> list, List params, DBConfig config, int fetchSize) throws SQLException {
        //List>list=new ArrayList>();
        try {
            HashMap hashMap = null;
            conn = getConn(config);
            conn.setAutoCommit(false); //为了设置fetchSize,必须设置为false
            pstmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
            if (params != null && params.size() > 0) {
                for (int i = 0; i < params.size(); i++) {
                    pstmt.setObject(i + 1, params.get(i));
                }
            }
            pstmt.setFetchSize(fetchSize);
            rs = pstmt.executeQuery();
            ResultSetMetaData rsmd = rs.getMetaData();
            int columnCount = rsmd.getColumnCount();
            while (rs.next()) {
                hashMap = new HashMap();
                try {
                    //if(list.size()==fetchSize)
                    while (list.size() > fetchSize) {
                        Thread.sleep(1000);
                    }

                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                for (int i = 0; i < columnCount; i++) {
                    hashMap.put((rsmd.getColumnLabel(i + 1)).toLowerCase(), String.valueOf(rs.getObject(i + 1)));
                }
                list.add(hashMap);
            }
        } catch (RuntimeException re) {
            logger.error("获取查询结果集异常：" + re.getMessage(), re);
            throw re;
        } finally {
            closeAll();
        }
        return list;
    }

    public void closeAll() throws SQLException {
        try {
            if (rs != null) rs.close();
            if (pstmt != null) pstmt.close();
            if (conn != null) conn.close();
        } catch (RuntimeException re) {
            logger.error("数据库关闭项异常：" + re.getMessage(), re);
            throw re;
        }
    }
} 
  
DBConfig类
 
  
public class DBConfig {
    private static Logger logger=Logger.getLogger(DBConfig.class);
    private String driverClassName;
    private String userName;
    private String password;
    private String url;

    public DBConfig() {}

    public DBConfig(String driverClassName, String userName, String password,
                    String url) {
        super();
        this.driverClassName = driverClassName;
        this.userName = userName;
        this.password = password;
        this.url = url;
    }

    public String getDriverClassName() {
        return driverClassName;
    }

    public void setDriverClassName(String driverClassName) {
        this.driverClassName = driverClassName;
    }

    public String getUserName() {
        return userName;
    }

    public void setUserName(String userName) {
        this.userName = userName;
    }

    public String getPassword() {
        return password;
    }

    public void setPassword(String password) {
        this.password = password;
    }

    public String getUrl() {
        return url;
    }

    public void setUrl(String url) {
        this.url = url;
    }
}
 
  
测试类：
 
  
public class test {
    public static void main(String[] args)  throws SQLException {
        JDBCUtil jdbc = new JDBCUtil();
        DBConfig config = new DBConfig();
        String url="jdbc:oracle:thin:@:1521:";
        String username="username";
        String password="password";
        config.setUrl(url);
        config.setUserName(username);
        config.setPassword(password);
        String sql = "select * from table_name";

        //这儿的list集合直接使用new ArrayList() 会有线程安全问题，建议使用Vector集合 或是使用 Collections.synchronizedList(new ArrayList())的方式创建线程安全的集合
        List> list = Collections.synchronizedList(new ArrayList());
        //Vector>  list =  new Vector<>();
        //为了判断线程中的退出while循环标识，如果isExitLoopList长度为0，结束线程
        List isExitLoopList = new ArrayList<>(1);
        isExitLoopList.add(true);
        //开启一个线程
        new Thread(new Runnable() {
            @Override
            public void run() {
                while(true){
                    System.out.println("list的大小==="+list.size());
                    try {
                        if(list.size()==0){
                            Thread.sleep(1000);
                        }

                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                    if(list.size()>0){
                        //从list中取出指定索引的数据，并移除
                        HashMap item = list.remove(0);

                        //todo:这儿是写入数据到MySQL库的代码逻辑，此处省去
                    }

                    if(isExitLoopList.size()==0) break;
                }
            }
        }).start();

        //走jdbc工具类，取数，并存放在list中
        //jdbc游标读取条数
        int fetchSize = 1000;
        jdbc.getListHashMap(sql,list, null, config, 1000);

        while (true){
            if(list.size()==0){
                isExitLoopList.remove(0);
                break;
            }
            try {
                Thread.sleep(2000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
}
 
  
 
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(Java,jdbc,java,多线程)

        

            

                
    
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • LocalDateTime 转 String
                        igotyback
java开发语言
                        
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
    
                    
    • 
                    
  • Linux下QT开发的动态库界面弹出操作（SDL2）
                        13jjyao
QT类qt开发语言sdl2linux
                        
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    
                    
    • 
                    
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    
                    
    • 
                    
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team
                        若博豆
java算法华为javascript
                        
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
    
                    
    • 
                    
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
                        二挡起步
web前端期末大作业javascripthtmlcss旅游风景
                        
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    
                    
    • 
                    
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    
                    
    • 
                    
  • node.js学习
                        小猿L
node.jsnode.js学习vim
                        
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
    
                    
    • 
                    
  • Java 重写(Override)与重载(Overload)
                        叨唧唧的

                        
    Java重写(Override)与重载(Overload)重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写,返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如：父类的一个方法申明了一个检查异常IOExceptio
    
                    
    • 
                    
  • 简单了解 JVM
                        记得开心一点啊
jvm
                        
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
    
                    
    • 
                    
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven
                        Energet!c
开发语言
                        
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
    
                    
    • 
                    
  • Java企业面试题3
                        马龙强_
java
                        
    1.break和continue的作用(智*图)break：用于完全退出一个循环（如for,while）或一个switch语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在for循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。2.if分支语句和switch分
    
                    
    • 
                    
  • JVM、JRE和 JDK：理解Java开发的三大核心组件
                        Y雨何时停T
Javajava
                        
    Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
    
                    
    • 
                    
  • 多线程之——ExecutorCompletionService
                        阿福德

                        
    在我们开发中，经常会遇到这种情况，我们起多个线程来执行，等所有的线程都执行完成后，我们需要得到个线程的执行结果来进行聚合处理。我在内部代码评审时，发现了不少这种情况。看很多同学都使用正确，但比较啰嗦，效率也不高。本文介绍一个简单处理这种情况的方法：直接上代码：publicclassExecutorCompletionServiceTest{@TestpublicvoidtestExecutorCo
    
                    
    • 
                    
  • Java面试题精选：消息队列(二)
                        芒果不是芒
Java面试题精选javakafka
                        
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
    
                    
    • 
                    
  • python多线程程序设计 之一
                        IT_Beijing_BIT
#Python程序设计语言python
                        
    python多线程程序设计之一全局解释器锁线程APIsthreading.active_count()threading.current_thread()threading.excepthook(args,/)threading.get_native_id()threading.main_thread()threading.stack_size([size])线程对象成员函数构造器start/ru
    
                    
    • 
                    
  • 白骑士的Java教学基础篇 2.5 控制流语句
                        白骑士所长
Java教学java开发语言
                        
    欢迎继续学习Java编程的基础篇！在前面的章节中，我们了解了Java的变量、数据类型和运算符。接下来，我们将探讨Java中的控制流语句。控制流语句用于控制程序的执行顺序，使我们能够根据特定条件执行不同的代码块，或重复执行某段代码。这是编写复杂程序的基础。通过学习这一节内容，你将掌握如何使用条件语句和循环语句来编写更加灵活和高效的代码。条件语句条件语句用于根据条件的真假来执行不同的代码块。if语句‘
    
                    
    • 
                    
  • python语法——三目运算符
                        HappyRocking
pythonpython三目运算符
                        
    在java中，有三目运算符，如：intc=(a>b)?a:b表示c取两者中的较大值。但是在python，不能直接这样使用，估计是因为冒号在python有分行的关键作用。那么在python中，如何实现类似功能呢？可以使用ifelse语句，也是一行可以完成，格式为：aifbelsec表示如果b为True，则表达式等于a，否则等于c。如：c=(aif(a>b)elseb)同样是完成了取最大值的功能。
    
                    
    • 
                    
  • spring如何整合druid连接池？
                        惜.己
springspringjunit数据库javaidea后端xml
                        
    目录spring整合druid连接池1.新建maven项目2.新建mavenModule3.导入相关依赖4.配置log4j2.xml5.配置druid.xml1)xml中如何引入properties2)下面是配置文件6.准备jdbc.propertiesJDBC配置项解释7.配置druid8.测试spring整合druid连接池1.新建maven项目打开IDE（比如IntelliJIDEA,Ecl
    
                    
    • 
                    
  • ArrayList 源码解析
                        程序猿进阶
Java基础ArrayListListjava面试性能优化架构设计idea
                        
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
    
                    
    • 
                    
  • Java爬虫框架（一）--架构设计
                        狼图腾-狼之传说
java框架java任务html解析器存储电子商务
                        
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    
                    
    • 
                    
  • Java：爬虫框架
                        dingcho
Javajava爬虫
                        
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
    
                    
    • 
                    
  • python怎么将png转为tif_png转tif
                        weixin_39977276

                        
    发国外的文章要求图片是tif，cmyk色彩空间的。大小尺寸还有要求。比如网上大神多，找到了一段代码，感谢！https://www.jianshu.com/p/ec2af4311f56https://github.com/KevinZc007/image2Tifimportjava.awt.image.BufferedImage;importjava.io.File;importjava.io.Fi
    
                    
    • 
                    
  • JavaScript 中，深拷贝（Deep Copy）和浅拷贝（Shallow Copy）
                        跳房子的前端
前端面试javascript开发语言ecmascript
                        
    在JavaScript中，深拷贝（DeepCopy）和浅拷贝（ShallowCopy）是用于复制对象或数组的两种不同方法。了解它们的区别和应用场景对于避免潜在的bugs和高效地处理数据非常重要。以下是对深拷贝和浅拷贝的详细解释，包括它们的概念、用途、优缺点以及实现方式。1.浅拷贝（ShallowCopy）概念定义：浅拷贝是指创建一个新的对象或数组，其中包含了原对象或数组的基本数据类型的值和对引用数
    
                    
    • 
                    
  • Python多线程实现大规模数据集高效转移
                        sand&wich
网络python服务器
                        
    背景在处理大规模数据集时，通常需要在不同存储设备、不同服务器或文件夹之间高效地传输数据。如果采用单线程传输方式，当数据量非常大时，整个过程会非常耗时。因此，通过多线程并行处理可以大幅提升数据传输效率。本文将分享一个基于Python多线程实现的高效数据传输工具，通过遍历源文件夹中的所有文件，将它们移动到目标文件夹。工具和库这个数据集转移工具主要依赖于以下Python标准库：os：用于文件系统操作，如
    
                    
    • 
                    
  • JAVA·一个简单的登录窗口
                        MortalTom
java开发语言学习
                        
    文章目录概要整体架构流程技术名词解释技术细节资源概要JavaSwing是Java基础类库的一部分，主要用于开发图形用户界面（GUI）程序整体架构流程新建项目，导入sql.jar包（链接放在了文末），编译项目并运行技术名词解释一、特点丰富的组件提供了多种可视化组件，如按钮（JButton）、文本框（JTextField）、标签（JLabel）、下拉列表（JComboBox）等，可以满足不同的界面设计
    
                    
    • 
                    
  • Python实现下载当前年份的谷歌影像
                        sand&wich
python开发语言
                        
    在GIS项目和地图应用中，获取最新的地理影像数据是非常重要的。本文将介绍如何使用Python代码从Google地图自动下载当前年份的影像数据，并将其保存为高分辨率的TIFF格式文件。这个过程涉及地理坐标转换、多线程下载和图像处理。关键功能该脚本的核心功能包括：坐标转换：支持WGS-84与WebMercator投影之间转换，以及处理中国GCJ-02偏移。自动化下载：多线程下载地图瓦片，提高效率。图像
    
                    
    • 
                    
  • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    
                    
    • 
                    
  • 博客网站制作教程
                        2401_85194651
javamaven
                        
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
    
                    
    • 
                    
  • 00. 这里整理了最全的爬虫框架（Java + Python）
                        有一只柴犬
爬虫系列爬虫javapython
                        
    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
    
                    
    • 
                                
  • java线程Thread和Runnable区别和联系
                                    zx_code
javajvmthread多线程Runnable
                                    
    我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。 
 
模拟窗口买票，第一例子继承thread，代码如下 
 
package thread;

public class ThreadTest {
	
	public static void main(String[] args) {
		
		Thread1 t1 = new Thread1(
    
                                
    • 
                                
  • 【转】JSON与XML的区别比较
                                    丁_新
jsonxml
                                    
    1.定义介绍 
(1).XML定义 
扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的标准。 
XML是标
    
                                
    • 
                                
  • c++ 实现五种基础的排序算法
                                    CrazyMizzz
C++c算法
                                    
    #include<iostream>
using namespace std;


//辅助函数，交换两数之值
template<class T>
void mySwap(T &x, T &y){
	T temp = x;
	x = y;
	y = temp;
}

const int size = 10;

//一、用直接插入排
    
                                
    • 
                                
  • 我的软件
                                    麦田的设计者
我的软件音乐类娱乐放松
                                    
         这是我写的一款app软件，耗时三个月，是一个根据央视节目开门大吉改变的，提供音调，猜歌曲名。1、手机拥有者在android手机市场下载本APP，同意权限，安装到手机上。2、游客初次进入时会有引导页面提醒用户注册。（同时软件自动播放背景音乐）。3、用户登录到主页后，会有五个模块。a、点击不胫而走，用户得到开门大吉首页部分新闻，点击进入有新闻详情。b、
    
                                
    • 
                                
  • linux awk命令详解
                                    被触发
linux awk
                                    
    awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 
awk处理过程: 依次对每一行进行处理，然后输出 
awk命令形式: 
awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file 
 [-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=val
    
                                
    • 
                                
  • 各种语言比较
                                    _wy_
编程语言
                                    
                           Java Ruby PHP   擅长领域                      
    
                                
    • 
                                
  • oracle 中数据类型为clob的编辑
                                    知了ing
oracle clob
                                    
    public void updateKpiStatus(String kpiStatus,String taskId){
	Connection dbc=null;
	Statement stmt=null;
	PreparedStatement ps=null;
	try {
		dbc = new DBConn().getNewConnection();
		//stmt = db
    
                                
    • 
                                
  • 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
                                    矮蛋蛋
zookeeper
                                    
    原文地址： 
http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 
安装和配置详解 
本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两
    
                                
    • 
                                
  • tomcat数据源
                                    alafqq
tomcat
                                    
    数据库 
 
 JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。 
 
 
 没有使用JNDI时我用要这样连接数据库： 
 
 
03.  Class.forName("com.mysql.jdbc.Driver");  
04.  conn
    
                                
    • 
                                
  • 遍历的方法
                                    百合不是茶
遍历
                                    
                                                          遍历 
在java的泛
    
                                
    • 
                                
  • linux查看硬件信息的命令
                                    bijian1013
linux
                                    
    linux查看硬件信息的命令 
一.查看CPU： 
cat /proc/cpuinfo 
  
二.查看内存： 
free 
  
三.查看硬盘： 
df 
  
linux下查看硬件信息 
1、lspci 列出所有PCI 设备； 
lspci - list all PCI devices:列出机器中的PCI设备（声卡、显卡、Modem、网卡、USB、主板集成设备也能
    
                                
    • 
                                
  • java常见的ClassNotFoundException
                                    bijian1013
java
                                    
    1.java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory   添加包common-logging.jar2.java.lang.ClassNotFoundException: javax.transaction.Synchronization    
    
                                
    • 
                                
  • 【Gson五】日期对象的序列化和反序列化
                                    bit1129
反序列化
                                    
    对日期类型的数据进行序列化和反序列化时，需要考虑如下问题： 
  
1. 序列化时，Date对象序列化的字符串日期格式如何 
2. 反序列化时，把日期字符串序列化为Date对象，也需要考虑日期格式问题 
3. Date A -> str -> Date B,A和B对象是否equals 
  默认序列化和反序列化 
  
  
import com
    
                                
    • 
                                
  • 【Spark八十六】Spark Streaming之DStream vs. InputDStream
                                    bit1129
Stream
                                    
      1. DStream的类说明文档： 
  
/**
 * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous
 * sequence of RDDs (of the same type) representing a continuous st
    
                                
    • 
                                
  • 通过nginx获取header信息
                                    ronin47
nginx header
                                    
    1. 提取整个的Cookies内容到一个变量，然后可以在需要时引用，比如记录到日志里面， 
  if ( $http_cookie ~* "(.*)$") { 
          set $all_cookie $1; 
  } 
      变量$all_cookie就获得了cookie的值，可以用于运算了 
 

    
                                
    • 
                                
  • java-65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999
                                    bylijinnan
java
                                    
    参考了网上的http://blog.csdn.net/peasking_dd/article/details/6342984 
写了个java版的： 
 
 



public class Print_1_To_NDigit {

	/**
	 * Q65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999
	 * 1.使用字符串
    
                                
    • 
                                
  • Netty源码学习-ReplayingDecoder
                                    bylijinnan
javanetty
                                    
    ReplayingDecoder是FrameDecoder的子类，不熟悉FrameDecoder的，可以先看看 
 
http://bylijinnan.iteye.com/blog/1982618 
 
API说，ReplayingDecoder简化了操作，比如： 
 
FrameDecoder在decode时，需要判断数据是否接收完全： 
 
 

public class IntegerH
    
                                
    • 
                                
  • js特殊字符过滤
                                    cngolon
js特殊字符js特殊字符过滤
                                    
    1.js中用正则表达式 过滤特殊字符, 校验所有输入域是否含有特殊符号function stripscript(s) {    var pattern = new RegExp("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）&mdash;—|{}【】‘；：”“'。，、？]"
    
                                
    • 
                                
  • hibernate使用sql查询
                                    ctrain
Hibernate
                                    
    
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import org.hibernate.Hibernate;
import org.hibernate.SQLQuery;
import org.hibernate.Session;
import org.hibernate.Transa
    
                                
    • 
                                
  • linux shell脚本中切换用户执行命令方法
                                    daizj
linuxshell命令切换用户
                                    
    经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下： 
  
1、执行单个命令：su - user -c "command" 
如：下面命令是以test用户在/data目录下创建test123目录 
[root@slave19 /data]# su - test -c "mkdir /data/test123" 
    
                                
    • 
                                
  • 好的代码里只要一个 return 语句
                                    dcj3sjt126com
return
                                    
    别再这样写了：public boolean foo() {    if (true) {         return true;     } else {          return false;    
    
                                
    • 
                                
  • Android动画效果学习
                                    dcj3sjt126com
android
                                    
    1、透明动画效果 
方法一：代码实现 
	public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState)
		{
			View rootView = inflater.inflate(R.layout.fragment_main, container, fals
    
                                
    • 
                                
  • linux复习笔记之bash shell (4)管道命令
                                    eksliang
linux管道命令汇总linux管道命令linux常用管道命令
                                    
    转载请出自出处：
http://eksliang.iteye.com/blog/2105461   
  bash命令执行的完毕以后，通常这个命令都会有返回结果，怎么对这个返回的结果做一些操作呢？那就得用管道命令‘|’。 
    上面那段话，简单说了下管道命令的作用，那什么事管道命令呢？ 
    答：非常的经典的一句话，记住了，何为管
    
                                
    • 
                                
  • Android系统中自定义按键的短按、双击、长按事件
                                    gqdy365
android
                                    
    在项目中碰到这样的问题： 
由于系统中的按键在底层做了重新定义或者新增了按键，此时需要在APP层对按键事件（keyevent）做分解处理，模拟Android系统做法，把keyevent分解成： 
1、单击事件：就是普通key的单击； 
2、双击事件：500ms内同一按键单击两次； 
3、长按事件：同一按键长按超过1000ms（系统中长按事件为500ms）； 
4、组合按键：两个以上按键同时按住； 
    
                                
    • 
                                
  • asp.net获取站点根目录下子目录的名称
                                    hvt
.netC#asp.nethovertreeWeb Forms
                                    
    使用Visual Studio建立一个.aspx文件(Web Forms)，例如hovertree.aspx,在页面上加入一个ListBox代码如下： 
<asp:ListBox runat="server" ID="lbKeleyiFolder" /> 
  
那么在页面上显示根目录子文件夹的代码如下： 
string[] m_sub
    
                                
    • 
                                
  • Eclipse程序员要掌握的常用快捷键
                                    justjavac
javaeclipse快捷键ide
                                    
       判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。       曾有人在豆瓣评
《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个
程序员图书列表，目的也就是通过读书，让程序员变懒。     写道   程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可
    
                                
    • 
                                
  • c++编程随记
                                    lx.asymmetric
C++笔记
                                    
     为了字体更好看，改变了格式…… 
  
&&运算符： 
  
#include<iostream> 
using namespace std; 
int main(){ 
     int a=-1,b=4,k; 
     k=(++a<0)&&!(b--
    
                                
    • 
                                
  • linux标准IO缓冲机制研究
                                    音频数据
linux
                                    
    一、什么是缓存I/O(Buffered I/O)缓存I/O又被称作标准I/O,大多数文件系统默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。1.缓存I/O有以下优点:A.缓存I/O使用了操作系统内核缓冲区，
    
                                
    • 
                                
  • 随想 生活
                                    暗黑小菠萝
生活
                                    
    其实账户之前就申请了，但是决定要自己更新一些东西看也是最近。从毕业到现在已经一年了。没有进步是假的，但是有多大的进步可能只有我自己知道。 
  
毕业的时候班里12个女生，真正最后做到软件开发的只要两个包括我，PS：我不是说测试不好。当时因为考研完全放弃找工作，考研失败，我想这只是我的借口。那个时候才想到为什么大学的时候不能好好的学习技术，增强自己的实战能力，以至于后来找工作比较费劲。我
    
                                
    • 
                                
  • 我认为POJO是一个错误的概念
                                    windshome
javaPOJO编程J2EE设计
                                    
      
            这篇内容其实没有经过太多的深思熟虑，只是个人一时的感觉。从个人风格上来讲，我倾向简单质朴的设计开发理念；从方法论上，我更加倾向自顶向下的设计；从做事情的目标上来看，我追求质量优先，更愿意使用较为保守和稳妥的理念和方法。 
   &
    
                                
    •