bulbcat
bulbcat

DATAX hdfsreader orc格式读取丢数问题修复及验证

生产上出现了问题：

datax 从hdfs 读 orc 数据导入 mongodb，
有时会产生数据的丢失

针对这个问题在 github上提了个问题。
然后两个月后，大神们修复了这个问题。
问题见

https://github.com/alibaba/DataX/issues/239

下面的是问题代码部分

 InputSplit[] splits = in.getSplits(conf, 1);

                RecordReader reader = in.getRecordReader(splits[0], conf, Reporter.NULL);
                Object key = reader.createKey();
                Object value = reader.createValue();
                // 获取列信息
                List fields = inspector.getAllStructFieldRefs();

                List recordFields;
                while (reader.next(key, value)) {
                    recordFields = new ArrayList();

                    for (int i = 0; i <= columnIndexMax; i++) {
                        Object field = inspector.getStructFieldData(value, fields.get(i));
                        recordFields.add(field);
 
 
 // OrcInputFormat getSplits params numSplits not used, splits size = block numbers
                InputSplit[] splits = in.getSplits(conf, -1);
                for (InputSplit split : splits) {
                    {
                        RecordReader reader = in.getRecordReader(split, conf, Reporter.NULL);
                        Object key = reader.createKey();
                        Object value = reader.createValue();
                        // 获取列信息
                        List fields = inspector.getAllStructFieldRefs();

                        List recordFields;
                        while (reader.next(key, value)) {
                            recordFields = new ArrayList();

                            for (int i = 0; i <= columnIndexMax; i++) {
                                Object field = inspector.getStructFieldData(value, fields.get(i));
                                recordFields.add(field);
                            }
                            transportOneRecord(column, recordFields, recordSender,
                                    taskPluginCollector, isReadAllColumns, nullFormat);
                        }
                        reader.close();
 
 
https://github.com/alibaba/DataX/pull/262/commits/e2dcbcd532bebdb46992ab58b53ae37f1477cec0
 
 
贴下有问题的部分
 
 
大致看了下应该是 读文件时 由于hdfs文件存储 是block 形式的。
 当单个文件 大于 单个block 的size时，出现一个文件 多个block 存储。
 之前bug 部分时 仅读取了第一个block
 造成了数据的部分丢失
 
 
验证下是否是对应的问题
 
 
生成对应的倾斜数据
 
 
 set mapred.reduce.tasks =1 ;
 insert into table inner_ods_ctis_txn_tif_bas partition (day=19880105 ) 
 select `(day)?+.+` from  inner_ods_ctis_txn_tif_bas
 distribute by rand() ; 

 
 
上面的语句是一个用 正则完成分区表数据插入的好的方式，可以参考。
 利用distribute by rand() 重分配会产生reduce作业，并设置reduce个数为1 多次循环后，就可讲一个数据变成一个倾斜的大文件。
 
 
该过程因为倾斜。。。造一个 300M 不到的文件 ，开发环境跑了 40分钟。。。
 操作时需要有一定时间的预估。
 
 
数据情况
 
 
hive>  select count(1) from inner_ods_ctis_txn_tif_bas where day=19880105 limit 10 ;

10956384

 
 
hive>  select count(1) from inner_ods_ctis_txn_tif_bas where day=19880103 limit 10 ;

913032

 
 
=============================================
 
 
hive> dfs -du -h   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105 ;
16.8 M   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000000_0
275.4 M  /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000000_0_copy_1
12.4 M   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000001_0
16.8 M   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000002_0
8.5 M    /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000003_0
16.8 M   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000004_0
16.8 M   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000005_0
8.4 M    /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000006_0
8.4 M    /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000007_0
8.5 M    /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000008_0
8.3 M    /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000009_0
8.2 M    /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000010_0
3.9 M    /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/000011_0

 
 
hive> dfs -du -h   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880103 ;
8.5 M   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880103/000000_0
16.8 M  /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880103/000001_0
8.2 M   /project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880103/000002_0

 
 
===========================================
 
 
{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader", 
                    "parameter": {
                        "column": [
                                    {
                                      "index":0,
                                      "type":"string"
                                    },       
                                    {
                                      "index":41,
                                      "type":"string"
                                    },                                   
                                    {
                                      "index":46,
                                      "type":"string"
                                    }                                    
                                  ], 
                        "defaultFS": "hdfs://hdfsCluster", 
                        "encoding": "UTF-8", 
                        "fileType": "orc",
                        "haveTbds": "true", 
                        "path": "/project/BDP/data/inner/ODS/78/TXN_TIF_BAS/day=19880105/*",
                        "hadoopConfig": {
                                           "dfs.nameservices":"hdfsCluster",
                                           "dfs.ha.namenodes.hdfsCluster":"nn1,nn2",
                                           "dfs.namenode.rpc-address.hdfsCluster.nn1":"22.188.9.108:8020",
                                           "dfs.namenode.rpc-address.hdfsCluster.nn2":"22.188.9.100:8020",
                                           "dfs.client.failover.proxy.provider.hdfsCluster":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
                                        }                   
            }
                }, 
                "writer": {
                    "name": "mongodbwriter", 
                    "parameter": {
                      "address": ["22.188.9.104:6000","22.188.9.105:6000","22.188.9.106:6000"], 
                        "collectionName": "TEST", 
                        "column": [
                                    {
                                      "name":"md5",
                                      "type":"string"
                                    },
                                                                    
                                    {
                                      "name":"status",
                                      "type":"string"
                                    },

                                    {
                                      "name":"batTime",
                                      "type":"string"
                                    }                                   
                                  ], 
                        "dbName": "HDSS",
                        "writeMode": {
                            "isReplace":"false", 
                            "replaceKey":"tranKey"
                        },                      
                        "userName": "hdss", 
                        "userPassword": "hdss123"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "5"
            }
        }
    }
}

 
 
================================
 日志明细
 
 
2019-02-12 14:44:58.348 [job-0] INFO  StandAloneJobContainerCommunicator - Total 10447128 records, 74481116 bytes | Speed 123.28KB/s, 17706 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 90.651s |  All Task WaitReaderTime 507.924s | Percentage 100.00%
2019-02-12 14:44:58.350 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2019-02-12 14:34:59
任务结束时刻                    : 2019-02-12 14:44:58
任务总计耗时                    :                598s
任务平均流量                    :          123.28KB/s
记录写入速度                    :          17706rec/s
读出记录总数                    :            10447128
读写失败总数                    :                   0

 
 
这里看到数据发生了丢失
 
 
对比验证
 
 
2019-02-12 14:50:06.698 [job-0] INFO  StandAloneJobContainerCommunicator - Total 913032 records, 6507408 bytes | Speed 105.91KB/s, 15217 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 7.747s |  All Task WaitReaderTime 56.215s | Percentage 100.00%
2019-02-12 14:50:06.706 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2019-02-12 14:48:57
任务结束时刻                    : 2019-02-12 14:50:06
任务总计耗时                    :                 69s
任务平均流量                    :          105.91KB/s
记录写入速度                    :          15217rec/s
读出记录总数                    :              913032
读写失败总数                    :                   0

 
 
单个文件数据量不大时无数据丢失
 
 
============================
 
 
因为 娟娟 同学加了对应 权限认证的部分。
 所以这次把娟娟的代码都提了出来，
 重新编译了下，直接将修改的bug部分覆盖掉，再编译下，拿到对应的class文件完成对应的替换。
 
 
开发环境上 将原有 maven 编出的 snapshot.jar 重命名了下
 新建了 snapshot.jar 的目录
 将编译好的 class文件放了进去。
 
 
替换后
 
 
对应 19880105 日的 datax 导数日志
 
 
2019-02-12 15:19:38.747 [job-0] INFO  StandAloneJobContainerCommunicator - Total 10956384 records, 78088896 bytes | Speed 117.32KB/s, 16855 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 86.431s |  All Task WaitReaderTime 568.876s | Percentage 100.00%
2019-02-12 15:19:38.750 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2019-02-12 15:08:38
任务结束时刻                    : 2019-02-12 15:19:38
任务总计耗时                    :                660s
任务平均流量                    :          117.32KB/s
记录写入速度                    :          16855rec/s
读出记录总数                    :            10956384
读写失败总数                    :                   0

 
 
问题得到了解决
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(DATAX hdfsreader orc格式读取丢数问题修复及验证)

        

            

                
    
                    
  • 斤斤计较的婚姻到底有多难？
                        白心之岂必有为

                        
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
    
                    
    • 
                    
  • QQ群采集助手，精准引流必备神器
                        2401_87347160
其他经验分享
                        
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
    
                    
    • 
                    
  • 关于沟通这件事，项目经理不需要每次都面对面进行
                        流程大师兄

                        
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
    
                    
    • 
                    
  • 2020-01-25
                        晴岚85

                        
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
    
                    
    • 
                    
  • 小丽成长记（四十三）
                        玲玲54321

                        
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
    
                    
    • 
                    
  • 学点心理知识，呵护孩子健康
                        静候花开_7090

                        
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
    
                    
    • 
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • LocalDateTime 转 String
                        igotyback
java开发语言
                        
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
    
                    
    • 
                    
  • 如何在 Fork 的 GitHub 项目中保留自己的修改并同步上游更新？github_fork_update
                        iBaoxing
github
                        
    如何在Fork的GitHub项目中保留自己的修改并同步上游更新？在GitHub上Fork了一个项目后，你可能会对项目进行一些修改，同时原作者也在不断更新。如果想要在保留自己修改的基础上，同步原作者的最新更新，很多人会不知所措。本文将详细讲解如何在不丢失自己改动的情况下，将上游仓库的更新合并到自己的仓库中。问题描述假设你在GitHub上Fork了一个项目，并基于该项目做了一些修改，随后你发现原作者对
    
                    
    • 
                    
  • 我校举行新老教师师徒结对仪式暨名师专业工作室工作交流活动
                        李蕾1229

                        
    为促进我校教师专业发展，发挥骨干教师的引领带头作用，11月6日下午，我校举行新老教师师徒结对仪式暨名师专业工作室工作交流活动。图片发自App会议由教师发展处李蕾主任主持，首先，由范校长宣读新老教师结对名单及双方承担职责。随后，两位新调入教师陈玉萍、莫正杰分别和他们的师傅鲍元美、刘召彬老师签订了师徒结对协议书。图片发自App图片发自App师徒拥抱、握手。有了师傅就有了目标有了方向，相信两位新教师在师
    
                    
    • 
                    
  • 向内而求
                        陈陈_19b4

                        
    10月27日，阴。阅读书目:《次第花开》。作者:希阿荣博堪布，是当今藏传佛家宁玛派最伟大的上师法王，如意宝晋美彭措仁波切颇具影响力的弟子之一。多年以来，赴海内外各地弘扬佛法，以正式授课、现场开示、发表文章等多种方法指导佛学弟子修行佛法。代表作《寂静之道》、《生命这出戏》、《透过佛法看世界》自出版以来一直是佛教类书籍中的畅销书。图片发自App金句:1.佛陀说，一切痛苦的根源在于我们长期以来对自身及外
    
                    
    • 
                    
  • 高级编程--XML+socket练习题
                        masa010
java开发语言
                        
    1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
    
                    
    • 
                    
  • 我的烦恼
                        余建梅

                        
    我的烦恼。女儿问我：“你给学生布置什么作文题目？”“《我的烦恼》。”“他们都这么大了，你觉得他们还有烦恼吗？”“有啊！每个人都会有自己烦恼。”“我不相信，大人是没有烦恼的，如果说一定有的话，你的烦恼和我写作业有关，而且是小烦恼。不像我，天天被你说，有这样的妈妈，烦恼是没完没了。”女儿愤愤不平。每个人都会有自己的烦恼，处在上有老下有小的年纪，烦恼多的数不完。想干好工作带好孩子，想孝顺父母又想经营好自
    
                    
    • 
                    
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数
                        广龙宇
一起学Rust#Rust设计模式rust设计模式开发语言
                        
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
    
                    
    • 
                    
  • 本周第二次约练
                        2cfbdfe28a51

                        
    中原焦点团队中24初26刘霞2021.12.3约练161次，分享第368天当事人虽然是带着问题来的，但是咨询过程中发现，她是经过自己不断地调整和努力才走到现在的，看到当事人的不容易，找到例外，发现资源，力量感也就随之而来。增强画面感，或者说重温，会给当事人带来更深刻的感受。
    
                    
    • 
                    
  • 每日一题——第八十九题
                        互联网打工人no1
C语言程序设计每日一练c语言
                        
    题目：在字符串中找到提取数字，并统计一共找到多少整数，a123xxyu23&8889，那么找到的整数为123，23，8889//思想：#include#include#includeintmain(){charstr[]="a123xxyu23&8889";intcount=0;intnum=0;//用于临时存放当前正在构建的整数。boolinNum=false;//用于标记当前是否正在读取一个整
    
                    
    • 
                    
  • Python中os.environ基本介绍及使用方法
                        鹤冲天Pro
#Pythonpython服务器开发语言
                        
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
    
                    
    • 
                    
  • 怎么起诉借钱不还的人？怎样起诉欠款不还的人？
                        影子爱学习

                        
    怎么起诉借钱不还的人？怎样起诉欠款不还的人？如果遇到难以解决的法律问题，我们可以匹配专业律师。例如：婚姻家庭（离婚纠纷）、刑事辩护、合同纠纷、债权债务、房产（继承）纠纷、交通事故、劳动争议、人身损害、公司相关法律事务（法律顾问）等咨询推荐手机/微信:15633770876【全国案件皆可】借钱不还起诉对方需要哪些资料起诉欠钱不还的，一般需要的材料包括以下这些：借据、收据、欠条、付款凭证等证据，以及向
    
                    
    • 
                    
  • Python教程：一文了解使用Python处理XPath
                        旦莫
Python进阶python开发语言
                        
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
    
                    
    • 
                    
  • python os.environ_python os.environ 读取和设置环境变量
                        weixin_39605414
pythonos.environ
                        
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
    
                    
    • 
                    
  • LLM 词汇表
                        落难Coder
LLMsNLP大语言模型大模型llama人工智能
                        
    Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
    
                    
    • 
                    
  • 将cmd中命令输出保存为txt文本文件
                        落难Coder
Windowscmdwindow
                        
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
    
                    
    • 
                    
  • 基于社交网络算法优化的二维最大熵图像分割
                        智能算法研学社（Jack旭）
智能优化算法应用图像分割算法php开发语言
                        
    智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
    
                    
    • 
                    
  • 509. 斐波那契数(每日一题)
                        lzyprime

                        
    lzyprime博客(github)创建时间：2021.01.04qq及邮箱：2383518170leetcode笔记题目描述斐波那契数，通常用F(n)表示，形成的序列称为斐波那契数列。该数列由0和1开始，后面的每一项数字都是前面两项数字的和。也就是：F(0)=0，F(1)=1F(n)=F(n-1)+F(n-2)，其中n>1给你n，请计算F(n)。示例1：输入：2输出：1解释：F(2)=F(1)+
    
                    
    • 
                    
  • 2020.11.19
                        隆非凡

                        
    日精进，今日体验：在维修过程中遇到的问题，把源头找到，在进行下一步开始。不要停留在一个点上，合理调整心态，把当下事做好。
    
                    
    • 
                    
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）
                        编程经验分享
开发工具服务器sshlinux
                        
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
    
                    
    • 
                    
  • 18-115 一切思考不能有效转化为行动，都TM是扯淡！
                        成长时间线

                        
    7月25号写了一篇关于为什么会断更如此严重的反思，然而，之后日更仅仅维持了一周，又出现了这次更严重的现象。从8月2号到昨天8月6号，5天！又是5天没有更文！虽然这次断更时间和上次一样，那为什么说这次更严重？因为上次之后就分析了问题的原因，以及应该如何解决，按理说应该会好转，然而，没过几天严重断更的现象再次出现，想想，经过反思，问题依然没有解决与改变，这让我有些担忧。到底是哪里出了问题，难道我就真的
    
                    
    • 
                    
  • 山东大学小树林支教调研团青青仓木队——翟晓楠
                        山东大学青青仓木队

                        
    过了半年，又一次启程，又一次回到支教的初心之地。比起上一次的试探与不安，我更多了一丝稳重与熟练。心境、处境也都随着半个学期的过去而变得不同，半个学期中，身体上的，心理上的，太多的逆境让我变得步履维艰，曲曲折折，弯弯绕绕，我仿佛打不起精神，没有胃口，没有动力。感觉走的不顺畅的时候，支教这个旅程，给了我力量。自告奋勇承担起队长这一职务的我，从组织时的复杂和困难的经历，协调各种问题，从无到有，和校长和队
    
                    
    • 
                    
  • 【夜读】提升生活品质的8个建议
                        茳淮秀水

                        
    停止攀比很多人之所以感觉疲惫，部分原因是来自于跟别人攀比。殊不知，攀比得到的满足只是片刻的，过后往往会感到空虚。过分在意别人的评价，丢失的是自己原有的审美，扰乱的是自己最初的节奏。不妨活得洒脱些，自己内心丰盈了，快乐就能更持久。停止自责想改变自己，先从接纳自己开始。越是过分自责，就越难改变现状，因为如果把精力全耗在自责上，就没有精力用来改变了。遇到问题，我们要用正确的心态去面对。与其一味自责，不如
    
                    
    • 
                    
  • 蘩漪：新女性？利己主义者
                        赮_红雨

                        
    蘩漪是曹禺《雷雨》笔下的女性形象。对于她的喜爱，曹禺在之前的访谈中，就已经表达得很清楚了，蘩漪是他所倾心的女子的“代替者”。在这个女性身上有着曹禺最精心的描写，但同时她的身上又存在着一些时代的问题。图片发自App首先，繁漪是追求自由和幸福的新女性形象。她是精神悲剧的核心人物，她对周朴园的反抗，具有典型意义。她是位资产阶级家庭出身的小姐，受过五四新思潮的影响，她任性、傲慢，追求人格独立、个性自由和爱
    
                    
    • 
                                
  • HttpClient 4.3与4.3版本以下版本比较
                                    spjich
javahttpclient
                                    
    网上利用java发送http请求的代码很多，一搜一大把，有的利用的是java.net.*下的HttpURLConnection，有的用httpclient，而且发送的代码也分门别类。今天我们主要来说的是利用httpclient发送请求。 
httpclient又可分为 
 
 httpclient3.x 
 httpclient4.x到httpclient4.3以下 
 httpclient4.3
    
                                
    • 
                                
  • Essential Studio Enterprise Edition 2015 v1新功能体验
                                    Axiba
.net
                                    
    概述：Essential Studio已全线升级至2015 v1版本了！新版本为JavaScript和ASP.NET MVC添加了新的文件资源管理器控件，还有其他一些控件功能升级，精彩不容错过，让我们一起来看看吧！ 
syncfusion公司是世界领先的Windows开发组件提供商，该公司正式对外发布Essential Studio Enterprise Edition 2015 v1版本。新版本
    
                                
    • 
                                
  • [宇宙与天文]微波背景辐射值与地球温度
                                    comsci
背景
                                    
     
 
 
        宇宙这个庞大,无边无际的空间是否存在某种确定的,变化的温度呢? 
 
     如果宇宙微波背景辐射值是表示宇宙空间温度的参数之一,那么测量这些数值,并观测周围的恒星能量输出值,我们是否获得地球的长期气候变化的情况呢? 
 
 
  &nbs
    
                                
    • 
                                
  • lvs-server
                                    男人50
server
                                    
    #!/bin/bash 
# 
# LVS script for VS/DR 
# 
#./etc/rc.d/init.d/functions 
# 
VIP=10.10.6.252 
RIP1=10.10.6.101 
RIP2=10.10.6.13 
PORT=80 
case $1 in 
start) 
 
  /sbin/ifconfig eth2:0 $VIP broadca
    
                                
    • 
                                
  • java的WebCollector爬虫框架
                                    oloz
爬虫
                                    
    WebCollector主页： 
https://github.com/CrawlScript/WebCollector 
 
下载：webcollector-版本号-bin.zip将解压后文件夹中的所有jar包添加到工程既可。 
 
接下来看demo 
package org.spider.myspider;

import cn.edu.hfut.dmic.webcollector.cra
    
                                
    • 
                                
  • jQuery append 与 after 的区别
                                    小猪猪08

                                    
    1、after函数 
定义和用法： 
after() 方法在被选元素后插入指定的内容。 
语法： 
$(selector).after(content) 
实例： 
<html> 
<head> 
<script type="text/javascript" src="/jquery/jquery.js"></scr
    
                                
    • 
                                
  • mysql知识充电
                                    香水浓
mysql
                                    
    索引  
索引是在存储引擎中实现的，因此每种存储引擎的索引都不一定完全相同，并且每种存储引擎也不一定支持所有索引类型。 
 
根据存储引擎定义每个表的最大索引数和最大索引长度。所有存储引擎支持每个表至少16个索引，总索引长度至少为256字节。 
 
大多数存储引擎有更高的限制。MYSQL中索引的存储类型有两种：BTREE和HASH，具体和表的存储引擎相关； 
 
MYISAM和InnoDB存储引擎
    
                                
    • 
                                
  • 我的架构经验系列文章索引
                                    agevs
架构
                                    
    下面是一些个人架构上的总结，本来想只在公司内部进行共享的，因此内容写的口语化一点，也没什么图示，所有内容没有查任何资料是脑子里面的东西吐出来的因此可能会不准确不全，希望抛砖引玉，大家互相讨论。 
要注意，我这些文章是一个总体的架构经验不针对具体的语言和平台，因此也不一定是适用所有的语言和平台的。 
（内容是前几天写的，现附上索引） 
  
 
 前端架构 http://www.
    
                                
    • 
                                
  • Android so lib库远程http下载和动态注册
                                    aijuans
andorid
                                    
    一、背景 
  
   在开发Android应用程序的实现，有时候需要引入第三方so lib库，但第三方so库比较大，例如开源第三方播放组件ffmpeg库, 如果直接打包的apk包里面, 整个应用程序会大很多.经过查阅资料和实验，发现通过远程下载so文件，然后再动态注册so文件时可行的。主要需要解决下载so文件存放位置以及文件读写权限问题。 
  
二、主要
    
                                
    • 
                                
  • linux中svn配置出错 conf/svnserve.conf:12: Option expected 解决方法
                                    baalwolf
option
                                    
    在客户端访问subversion版本库时出现这个错误： 
svnserve.conf:12: Option expected 
为什么会出现这个错误呢，就是因为subversion读取配置文件svnserve.conf时，无法识别有前置空格的配置文件，如### This file controls the configuration of the svnserve daemon, if you##
    
                                
    • 
                                
  • MongoDB的连接池和连接管理
                                    BigCat2013
mongodb
                                    
    在关系型数据库中，我们总是需要关闭使用的数据库连接，不然大量的创建连接会导致资源的浪费甚至于数据库宕机。这篇文章主要想解释一下mongoDB的连接池以及连接管理机制，如果正对此有疑惑的朋友可以看一下。 
通常我们习惯于new 一个connection并且通常在finally语句中调用connection的close()方法将其关闭。正巧，mongoDB中当我们new一个Mongo的时候，会发现它也
    
                                
    • 
                                
  • AngularJS使用Socket.IO
                                    bijian1013
JavaScriptAngularJSSocket.IO
                                    
            目前，web应用普遍被要求是实时web应用，即服务端的数据更新之后，应用能立即更新。以前使用的技术（例如polling）存在一些局限性，而且有时我们需要在客户端打开一个socket，然后进行通信。 
        Socket.IO(http://socket.io/)是一个非常优秀的库，它可以帮你实
    
                                
    • 
                                
  • [Maven学习笔记四]Maven依赖特性
                                    bit1129
maven
                                    
    三个模块 
为了说明问题，以用户登陆小web应用为例。通常一个web应用分为三个模块，模型和数据持久化层user-core, 业务逻辑层user-service以及web展现层user-web， 
user-service依赖于user-core 
user-web依赖于user-core和user-service 
  
依赖作用范围 
 Maven的dependency定义
    
                                
    • 
                                
  • 【Akka一】Akka入门
                                    bit1129
akka
                                    
    什么是Akka 
Message-Driven Runtime is the Foundation to Reactive Applications 
In Akka, your business logic is driven through message-based communication patterns that are independent of physical locatio
    
                                
    • 
                                
  • zabbix_api之perl语言写法
                                    ronin47
zabbix_api之perl
                                    
    zabbix_api网上比较多的写法是python或curl。上次我用java－－http://bossr.iteye.com/blog/2195679，这次用perl。for example:   #!/usr/bin/perl 
 
 use 5.010 ; 
 use strict ; 
 use warnings ; 
 use JSON :: RPC :: Client ; 
 use 
    
                                
    • 
                                
  • 比优衣库跟牛掰的视频流出了，兄弟连Linux运维工程师课堂实录，更加刺激，更加实在！
                                    brotherlamp
linux运维工程师linux运维工程师教程linux运维工程师视频linux运维工程师资料linux运维工程师自学
                                    
    比优衣库跟牛掰的视频流出了，兄弟连Linux运维工程师课堂实录，更加刺激，更加实在！ 
  
----------------------------------------------------- 
兄弟连Linux运维工程师课堂实录-计算机基础-1-课程体系介绍1 
链接：http://pan.baidu.com/s/1i3GQtGL 密码：bl65 
  
兄弟连Lin
    
                                
    • 
                                
  • bitmap求哈密顿距离-给定N（1<=N<=100000）个五维的点A(x1,x2,x3,x4,x5)，求两个点X(x1,x2,x3,x4,x5)和Y(
                                    bylijinnan
java
                                    
    
import java.util.Random;

/**
 * 题目：
 * 给定N（1<=N<=100000）个五维的点A(x1,x2,x3,x4,x5)，求两个点X(x1,x2,x3,x4,x5)和Y(y1,y2,y3,y4,y5)，
 * 使得他们的哈密顿距离（d=|x1-y1| + |x2-y2| + |x3-y3| + |x4-y4| + |x5-y5|）最大
    
                                
    • 
                                
  • map的三种遍历方法
                                    chicony
map
                                    
      
package com.test;

import java.util.Collection;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
import java.util.Set;

public class TestMap {
    public static v
    
                                
    • 
                                
  • Linux安装mysql的一些坑
                                    chenchao051
linux
                                    
    1、mysql不建议在root用户下运行 
  
2、出现服务启动不了，111错误，注意要用chown来赋予权限， 我在root用户下装的mysql，我就把usr/share/mysql/mysql.server复制到/etc/init.d/mysqld, (同时把my-huge.cnf复制/etc/my.cnf)  
chown -R cc /etc/init.d/mysql
    
                                
    • 
                                
  • Sublime Text 3 配置
                                    daizj
配置Sublime Text
                                    
    Sublime Text 3 配置解释(默认){// 设置主题文件“color_scheme”: “Packages/Color Scheme – Default/Monokai.tmTheme”,// 设置字体和大小“font_face”: “Consolas”,“font_size”: 12,// 字体选项：no_bold不显示粗体字，no_italic不显示斜体字，no_antialias和
    
                                
    • 
                                
  • MySQL server has gone away 问题的解决方法
                                    dcj3sjt126com
SQL Server
                                    
    MySQL server has gone away 问题解决方法，需要的朋友可以参考下。 
应用程序（比如PHP）长时间的执行批量的MYSQL语句。执行一个SQL，但SQL语句过大或者语句中含有BLOB或者longblob字段。比如，图片数据的处理。都容易引起MySQL server has gone away。 今天遇到类似的情景，MySQL只是冷冷的说：MySQL server h
    
                                
    • 
                                
  • javascript/dom:固定居中效果
                                    dcj3sjt126com
JavaScript
                                    
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> 
<html xmlns="http://www.w3.org/1999/xhtml&
    
                                
    • 
                                
  • 使用 Spring 2.5 注释驱动的 IoC 功能
                                    e200702084
springbean配置管理IOCOffice
                                    
    使用 Spring 2.5 注释驱动的 IoC 功能 
 developerWorks 
 
 
文档选项 
 将打印机的版面设置成横向打印模式 
 
打印本页 
 将此页作为电子邮件发送 
 
将此页作为电子邮件发送 
 
级别： 初级 
 
陈 雄华 ([email protected]), 技术总监, 宝宝淘网络科技有限公司 
 
2008 年 2 月 28 日 
 
 &nb
    
                                
    • 
                                
  • MongoDB常用操作命令
                                    geeksun
mongodb
                                    
    1.   基本操作 
db.AddUser(username,password)               添加用户 
db.auth(usrename,password)      设置数据库连接验证 
db.cloneDataBase(fromhost)     
    
                                
    • 
                                
  • php写守护进程（Daemon）
                                    hongtoushizi
PHP
                                    
    转载自： http://blog.csdn.net/tengzhaorong/article/details/9764655 
  
守护进程（Daemon）是运行在后台的一种特殊进程。它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件。守护进程是一种很有用的进程。php也可以实现守护进程的功能。 
  
1、基本概念 
  &nbs
    
                                
    • 
                                
  • spring整合mybatis,关于注入Dao对象出错问题
                                    jonsvien
DAOspringbeanmybatisprototype
                                    
    今天在公司测试功能时发现一问题： 
先进行代码说明： 
1，controller配置了Scope="prototype"（表明每一次请求都是原子型） 
   @resource/@autowired service对象都可以（两种注解都可以）。 
2，service 配置了Scope="prototype"（表明每一次请求都是原子型） 

    
                                
    • 
                                
  • 对象关系行为模式之标识映射
                                    home198979
PHP架构企业应用对象关系标识映射
                                    
    HELLO!架构 
  
一、概念 
identity Map:通过在映射中保存每个已经加载的对象，确保每个对象只加载一次，当要访问对象的时候，通过映射来查找它们。其实在数据源架构模式之数据映射器代码中有提及到标识映射，Mapper类的getFromMap方法就是实现标识映射的实现。 
  
  
二、为什么要使用标识映射？ 
在数据源架构模式之数据映射器中 
//c
    
                                
    • 
                                
  • Linux下hosts文件详解
                                    pda158
linux
                                    
    　1、主机名：   　　无论在局域网还是INTERNET上，每台主机都有一个IP地址，是为了区分此台主机和彼台主机，也就是说IP地址就是主机的门牌号。   　　公网：IP地址不方便记忆，所以又有了域名。域名只是在公网（INtERNET)中存在，每个域名都对应一个IP地址，但一个IP地址可有对应多个域名。   　　局域网：每台机器都有一个主机名，用于主机与主机之间的便于区分，就可以为每台机器设置主机
    
                                
    • 
                                
  • nginx配置文件粗解
                                    spjich
javanginx
                                    
    #运行用户#user  nobody;#启动进程,通常设置成和cpu的数量相等worker_processes  2;#全局错误日志及PID文件#error_log  logs/error.log;#error_log  logs/error.log  notice;#error_log  logs/error.log  inf
    
                                
    • 
                                
  • 数学函数
                                    w54653520
java
                                    
    public  
class  
S {       
     
// 传入两个整数，进行比较，返回两个数中的最大值的方法。   
     
public  
int  
get( 
int  
num1, 
int  
nu
    
                                
    •