cnliu
cnliu

hadoop （六）重新认识hadoop

hadoop （六）重新认识hadoop

MapReudue 思想

MapReudue采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各分节点共同完成，然后通过整合各分节点中间结果，得到最终的结果。简单地说，MapRedue就是"任务的分解与结果的汇总"。上述处理过程被高度的抽象为两个函数：mapper和reducer，mapper负责把任务分解成多个任务，reducer负责把分解后多任务处理的结果汇总起来。至于在并行编程中的其他种种复杂问题，如分式。。。。 工作调度、负载均衡、容错处理、网络通讯等，均由MapReduce框架负责处理。

image

Mapper阶段：

框架将任务的输入数据分割成固定大小的片段（split）

随后将每个split进一步分解成一批键值对。Hadoop为每一个split创建一个Map任务用于执行用户自定义的map函数，并将对应的split中的对作为输入，得到计算的中间结果。

接着将中间结果按照K2进行排序，并将key值相同的value放在一起形成一个新的列表，开成元组。最后再根据key值的范围将这些元组进行分组，对应不同的Reduce任务。

Reducre阶段：

Reducer把从不同Mapper接收来的数据整合在一起并进行排序，然后调用用户自定义的reduce函数，对输入的对进行相应的处理，得到健值对并输出到HDFS

框架为每个split创建一个Mapper，那么谁来确定Reducers的数量呢？ 是配置文件，在mapred-site.xml中，有配置Reducers的数量，默认是1。

Word Count 解读

  1. 将文件拆分成splits，由于测试文件较小，所以一个文件即为一个split，并将文件按行分割成对，这一步由MapReduce框架自动完成，其中key值存的是偏移量。


    image

  2. 将分割好的交给用户定义的map方法进行处理，生成新的对，这段代码，正是我们所编写过的：

public static class WordCountMapper extends MapReduceBase implements Mapper{

    private final static IntWritable one = new IntWritable(1);
    private Text word =new Text();

    public void map(Object o, Text text, OutputCollector outputCollector, Reporter reporter) throws IOException {

        StringTokenizer itr = new StringTokenizer(text.toString());
        while (itr.hasMoreTokens()){
            word.set(itr.nextToken());
            outputCollector.collect(word,one);
        }
    }
}
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
     
  
  1.  
    得到map方法输入的对后，Mapper会将它们按照key值进行排序，并执行Combine过程，将key值相同的value值累加，得到Mapper的最终输出结果
     
    因为我们设置的Combine为： conf.setCombinerClass(WordCountReducer.class);
     
    public static class WordCountReducer extends MapReduceBase implements Reducer{
     
     private IntWritable result = new IntWritable();

 public void reduce(Text text, Iterator iterator, OutputCollector outputCollector, Reporter reporter) throws IOException {
     int sum=0;
     while (iterator.hasNext()){
         sum+=iterator.next().get();
     }

     result.set(sum);
     outputCollector.collect(text,result);
 }

     
    }
     
    2.  
 
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
     
  
  1.  
    Reducer先对从Mapper接收的数据进行排序，再交由用户自定义的reduce方法进行处理，得到新的对，并作为wordCount的输出结果。
     
    conf.setReducerClass(WordCountReducer.class); 同上。
     
    2.  
 
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
关联Map-Combine-Reduce
 
 
public static void main(String[] args) throws Exception{
    String input = "/user/liuzd/in";
    String output = "/user/liuzd/o_t_account/result";
    
    JobConf conf=new JobConf(WordCount.class);
    conf.setJobName("WordCount");
    conf.addResource("classpath:/core-site.xml");
    conf.addResource("classpath:/hdfs-site.xml");
    conf.addResource("classpath:/mapred-site.xml");
    
    conf.setOutputKeyClass(Text.class);
    conf.setOutputValueClass(IntWritable.class);
    
    conf.setMapperClass(WordCountMapper.class);
    conf.setCombinerClass(WordCountReducer.class);
    conf.setReducerClass(WordCountReducer.class);
    
    conf.setInputFormat(TextInputFormat.class);
    conf.setOutputFormat(TextOutputFormat.class);
    
    FileInputFormat.setInputPaths(conf,new Path(input));
    FileOutputFormat.setOutputPath(conf,new Path(output));
    
    JobClient.runJob(conf);
    System.exit(0);
}
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(hadoop （六）重新认识hadoop)

        

            

                
    
                    
  • 铭刻于星（四十二）
                        随风至

                        
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
    
                    
    • 
                    
  • 《策划经理回忆录之二》
                        路基雅虎

                        
    话说三年变六年，飘了，飘了……眨眼，2013年5月，老吴回到了他的家乡——油城从新开启他的工作幻想症生涯。很庆幸，这是一家很有追求，同时敢于尝试的，且实力不容低调的新星房企——金源置业(前身泰源置业)更值得庆幸的是第一个盘就是油城十路的标杆之一:金源盛世。2013年5月，到2015年11月，两年的陪伴，迎来了一场大爆发。2000个筹，5万/筹，直接回笼1个亿！！！这……让我开始认真审视这座看似五线
    
                    
    • 
                    
  • 放下是一段成长的修行
                        小莳玥

                        
    人来到这个世界上，只有两件事：生和死。一件事已经做完了，另一件你还急什么呢?是人，都有七情六欲。是心，都有喜怒哀乐，这些再正常不过了。别总抱怨自己活得累，过得辛苦。永远记住：舒坦是留给死人的。苦，才是生活；累，才是工作；变，才是命运；忍，才是历练；容，才是智慧；静，才是修养；舍，才会得到；做，才会拥有。人生，活得太清楚，才是最大的不明白。有些事，看得很清，却说不清；有些人，了解很深，却猜不透；有些
    
                    
    • 
                    
  • 2023-10-22
                        奥雷里亚诺第n

                        
    昨天在B站看到关于猫喜欢挠人的视频，视频教导说猫挠人的话就抓住它的后脖颈然后用手打打挠人的那个爪子。视频本身没什么，但评论区却炸开了锅（真是符合挑食者厌食心理）。令我印象最深刻的一个甚至上升到了关于我是谁这种终极问题。它说，猫就是畜生，它挠人就打它别惯着它，反正我六道轮回成了人就应该保持人的高贵，谁都别想来打破。我顿时汗颜，但看到下面全是类似的言论只不过后面的理由各有不同，本来想骂人的心都凉了一半
    
                    
    • 
                    
  • 第六集如何安装CentOS7.0，3分钟学会centos7安装教程
                        date分享

                        
    从光盘引导系统按回车键继续进入引导程序安装界面，选择语言这里选择简体中文版点击继续选择桌面安装下面给系统分区选择磁盘，点击完成选择基本分区，点击加号swap分区,大小填内存的两倍在选择根分区，使用所有可用的磁盘空间选择文件系统ext4点击完成，点击开始安装设置root密码，点击完成设置普通用户和密码，点击完成整个过程持续八分钟左右根据个人配置不同，时间长短不同好，现在点击重启系统进入重启状态点击本
    
                    
    • 
                    
  • 2018-12-29
                        枫叶红时总多离别

                        
    2018年12月29日星期六昨天老师就告诉我们，今天下午不用上课，是图书漂流活动会。我觉得很兴奋，好期待。到了下午，我帮好忙就到外面去买书，刚一出去，就有一大帮的大哥哥、大姐姐围着我问要不要买书，买一本书送一颗糖。我看到了一本《小老虎比上树》的书，问大姐姐多少钱，大姐姐说这本书原价13块，现在便宜4块钱也就是9块钱卖给你，我就把一张10块钱给她找，她找了我一块钱。我现在想想我今天只带了10块钱，现
    
                    
    • 
                    
  • 舜公郑金锋书辛丑自剪扇面书法作品（四O六）
                        舜公郑金锋

                        
    辛丑小阳春，新自剪扇面400品，大多为各色撒金、撒银、描金、描银、水印、彩绘、荧光等亚粉、色宣纸，以及域外包装填充纸等；王一品长锋羊毫秃笔；一得阁云头艳墨、宿墨、水等。书体有甲骨文，金文(商周金文、春秋战国金文、中山王厝器金文、汉金文……)，楚简帛书，侯马盟书，温县盟书，小篆，果蝙书等，隶书(秦简、汉简帛书、汉碑……)，草书(章草、小草、大草……)，行书(行楷、行草)，楷书(魏碑及北朝墓志、隋朝墓
    
                    
    • 
                    
  • 2019-01-19
                        王小康KK

                        
    姓名:王康公司:扬州市方圆建筑工程有限公司2018年3月16日～3月18日上海361期《六项精进》感谢二组学员【日精进打卡第307天】【知～学习】《六项精进》大纲3遍共862遍《大学》通篇3遍共860遍《六项精进》全书40页【经典名句】思想决定行为，行为决定习惯，习惯决定性格，性格决定命运。【行～实践】一、修身：（对自己个人）1、践行六项精进的理念。二、齐家：（对家庭和家人）1、和女朋友视频聊天。
    
                    
    • 
                    
  • 【六】阿伟开始搭建Kafka学习环境
                        能源恒观
中间件学习kafkaspring
                        
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
    
                    
    • 
                    
  • 安徽省这个湖,比西湖大8倍,称是安徽的北戴河, 合肥的后花园
                        旅游小号角

                        
    旅游爱好者都知道，安徽省是一个旅游资源十分丰富的省份，且不说黄山、九华山、天柱山这三大名山，单说湖泊就不比其它省份少，今天我们一起走遍世界将为大家说说一个号称安徽北戴河，合肥后花园的湖泊，看看到底是哪个湖泊？话说，这个湖泊位于安徽省六安市舒城县境内，东距合肥50千米，大约一个小时左右的车程，它号称是合肥的后花园，安徽的北戴河。相传，湖畔石壁之上有一奇石神似观音临湖，湖中漂动众多小岛栩栩如佛子，宛若
    
                    
    • 
                    
  • 一文掌握python面向对象魔术方法（二）
                        程序员neil
pythonpython开发语言
                        
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
    
                    
    • 
                    
  • 《度五行》生活报报甲午62：不通痛苦，太通也痛苦，要健康快乐，需要通体舒畅。
                        YangduSam2021

                        
    220809壬寅戊申甲午，《度.生活五行》:天干土克水，水生木，木克土。地支寅申冲，寅午合。20220809，周二，兴大上海六班2512天，西交大2013上海班3212天，后TA15332天，度生活619天，今天拜访了一家有趣且当红产业的新创公司AK。AK一开始从事深海新能源储存与供电设备的研发生产制造，2年前开始做移动与家庭储能设备的研发生产制造。觉得有趣是因为这是笔者认知里用科技做降维打击的公
    
                    
    • 
                    
  • 【六项精进】20180930
                        Kinnfoo

                        
    一、学习与实践1.付出不亚于任何人的努力2.要谦虚，不要骄傲3.要每天反省4.活着，就要感谢5.积善行，思利他6.不要有感性的烦恼二、今日分享今天是9月的最后一个工作日，每个支行都在拼命地冲刺业绩，刚好今天同桌休假了，我就替他审核客户。一个上午就进件了6个客户，审核通过5个。这5个审核通过的客户里，1个因费率没谈拢而放弃，1个因车上发现GPS而被拒单，最终确认可放款的只有3个客户。感叹支行同事的不
    
                    
    • 
                    
  • “日舍一物”之42——活在当下，并向前看
                        記二十一

                        
    这件衣服已经有十五、六年了（突然发现我可真是能囤东西啊）。这原本是一件我非常喜欢的衣服，无论是样子，还是质地。照片拍的比较渣，但其实，白色棉质衣料中，尚织有银色的丝线，在阳光或灯光下，会闪亮，不晃眼，但很漂亮。或许正是因为太喜欢了，所以一直保留着，尽管很多年都没有再穿过了。因为不合适了。首先是随着年龄的增长，尽管体重总量没有太多变化（哦，其实还是涨了）。但是体型还是和十几年前不一样了，最明显的就是
    
                    
    • 
                    
  • 七月你好
                        茗蕙原创

                        
    告别了说变天就变的六月正值七月酷暑之时没有嬉戏的鱼水之乐站在窗边抬头望着蔚蓝天空万里无云万里天七月你好在月末的几天里在家期盼出门时的喜悦别样的天气别样的心情七月你好让大地经受着煎熬让空气中充呲着滚滚热浪去抵御往年严冬带来的湿气七月你好你的到来如逢甘露愿你带来的温暖去除病菌让人们重新看到生活的希望向往南山一角
    
                    
    • 
                    
  • 第六章 零食风波
                        香香的懒洋洋

                        
    自从有了女儿，虎子和妞子矛盾越来越多。虎子觉得妞子太懒、太脏，女儿的尿布从来不清洗。妞子经常把给女儿用过的尿布堆在炕头一角，让它们自己慢慢干，干了在用；妞子的头发，一个月也不清洗一次，散发出阵阵难闻的气味；更别说冲凉、洗澡了。屋子里弥漫着各种怪味，虎子打心底里讨厌妞子的习惯，但他一点也不帮忙照顾孩子。虎子妈实在看不下去时候，就直接告诉妞子，孩子尿布要洗、个人卫生要注意。但妞子嘴上答应好好的，却迟迟
    
                    
    • 
                    
  • 今日分享：有的孩子家长常常在对于小朋友老是说谎，还特别爱推卸责任，很头痛，不知道该怎么办！
                        雨燕Cassie

                        
    其实六岁以前都不叫撒谎，只能叫做逃避和害怕，因为他们都是没有撒谎的这个概念，家长所谓的撒谎只能说是因为做错了事情，怕受到责罚而找一个「台阶」给自己一下而已，所以家长不能给孩子一个贴上撒谎的这个标签，如果说孩子出现家长所说的撒谎，我们应该做的是：1.允许孩子将事情的原委进行一个表达，给孩子说明的机会，不提示孩子说谎，不急著批评孩子。2.不使用问句，不恐吓和严刑逼供，耐心的以故事或者以分析的形式和孩子
    
                    
    • 
                    
  • TextFiled 中输入金额
                        宁梓茞

                        
    要求:输入的金额不能超过六位,小数点后面只能输入两位小数如果textFIled中第一位输入的是0,后面必须输入小数点,否则禁止输入用到textfiled代理方法#pragmamark----textFiledDelegate-----(BOOL)textField:(UITextField*)textFieldshouldChangeCharactersInRange:(NSRange)range
    
                    
    • 
                    
  • 为什么农村父母不愿意去城里和子女住楼房？原因在这六点上！
                        红霜泪

                        
    首先，我们来了解一下农村的生活。在农村生活一辈子，最大的感受是什么？相信对很多城市里的人来说是永远无法体会的。在农村就是靠大自然吃饭，一年四季，围着那么几亩方田，几林小菜地，周边的群山，潺潺的溪水。这样的环境中生活，是非常安逸，没有什么烦恼，日出而作，日落而息。接着我们在来看这样的一个现状，即越来越多的年轻人离开农村，到城市里去安家。这种现状已经是极为普遍，很多农村已经很少看到年轻人的身影，大多都
    
                    
    • 
                    
  • 2019-04-10
                        shuaigefeng

                        
    姓名：王林锋企业名称：三亚蔚蓝时代实业有限公司组别：420期努力6组【日精进打卡251天】【知~学习、诵读】《六项精进》2遍，累计256遍《大学》2遍，累计220遍【经典分享】1、想过成功、想过失败、也想过放弃。【行~实践】一、修身：（对自己个人）1.拍打腿部两侧50下，舌顶上颚50下。2.坚持诵读、阅读。3.坚持锻炼、按时睡觉起床。4.控制健康饮食，饭后走动30分钟。5.每天反省自己的思想和行为
    
                    
    • 
                    
  • 苦与甜
                        天天天很蓝lwy

                        
    佛说有人生有七苦：生、老、病、死，怨憎会、爱别离、求不得。没有人会追求苦难，因为我不是佛。我做不到，像佛一样割肉喂鹰。做不到，他一样去经历六道轮回。我发现，我能够做到和改变的就是面对苦难的心境。希望有一天，面对所谓的苦，我能够甘之如饴。希望有一天，我能够成为积极主动有选择的人。不因外物改变自己的心境。少说一些，不得不，必须。多说一些，我能够，我希望，我可以。图片发自App
    
                    
    • 
                    
  • 周末充实的一天
                        敬亭山123

                        
    今天从上午10：45到下午5：30左右，一共学习了六个多小时的德语，另外还处理了30分钟左右的工作！值得一提的是，学习效率很高效！给自己鼓掌！PS:今天是在附近的如家蹭的暖气，蹭到下午三点多的时候实在不好意思了，就到隔壁水果店买了40块钱左右的水果送酒店前台。下午6点多，酒店前台忍着寒风，把门开了半个小时，委婉的催我离开了酒店了。如家酒店高效学习一天的心情就如下图——岁月流转中上海的冬天一样美丽多
    
                    
    • 
                    
  • 妖孽宫廷（四）
                        安好是佳

                        
    1.“纸糊三阁老，泥塑六尚书”与商辂堂堂文官言官，数年苦读儒家经典，应该是皇帝的智囊团，但是在这个时期的明朝政坛下居然是这样的评价，成为皇帝的后腿子团，成为国家发展的智障团，可见其背后有很强的推动力，让言官们躲避刚正不阿，做出祸国殃民的举措。我想，这个推动力应该是首先保住性命，而后同流而强取豪夺他人财物。在监派出头的环境下，尤其在监派强大的特务机构和惩罚机构，让那些发现问题的言官们不敢言。这可是脑
    
                    
    • 
                    
  • 2022-06-29
                        感恩学习相信小陶

                        
    感恩！六点签到相信很多人都有过这样的经验，拼命想的时候答案怎么都想不出来，不去想的时候，答案却自动冒出来了。为什么？这是因为潜意识也会工作，它非常神奇。你要相信，那些百思不得其解的问题早已扎根在你的头脑中，即使你不再刻意去想，潜意识也会自动围着它转。或许有一天，你会突然得到答案。这也是为什么有时我们会有顿悟的感觉。学会等待，也是进行持续思考的一个重要方法。
    
                    
    • 
                    
  • 言为爱之声
                        胡国霞青少年超效注意力

                        
    图片发自App焦点工作坊1期连续分享491天胡国霞20190302周六雨《言为爱声》今晚是我们七彩阳光心理咨询中心2019年的第一次公益课，由卷霞来主持，高朋满座，有老朋友，也有新朋友。李老师从身份谈起，平时父母都会给孩子一个什么样的身份，是积极的，还是消极的。我回想一下自己，我是一个追求完美的人，每看到某人身上有一项超人的技能，我都会想儿子要学会了该多好，能文能武、能弹会唱、能写能画，该多好。要
    
                    
    • 
                    
  • 轻风拂柳《春意萦怀》之六
                        轻风拂柳

                        
    图/来自网络轻风拂柳《春意萦怀》之六轻风拂柳《春意萦怀》原韵烂熳芳林赏丽容，春光明媚盼相逢。娇桃绽蕊仙姿艳，淑杏凝脂玉色浓。对对黄莺穿树影，双双彩蝶逐花踪。风情小雅灵犀有，景美难将笔墨封。图/来自网络步轻风拂柳《春意萦怀》原韵（一）诗·时就三月阳春思丽容，花红柳绿也相逢。不歆桃蕊风姿艳，只慕书斋墨色浓。期翼共窗难觅影，时望携手苦寻踪。天涯海角君何有？一颗痴心哪日封？（二）诗·大漠孤烟滴翠丛林展媚容
    
                    
    • 
                    
  • 浅谈MapReduce
                        Android路上的人
Hadoop分布式计算mapreduce分布式框架hadoop
                        
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
    
                    
    • 
                    
  • 《我的职业是小说家》
                        simple梦

                        
    《我的职业是小说家》：《我的职业是小说家》是村上春树前所未有的自传性作品，历时六年完成。一个人，写作三十五年，十三部长篇小说，超过五十种语言译本。虽然拥有享誉世界的知名度，但关于村上春树，许多事情始终包裹在神秘的面纱中：他是怎样下定决心走上职业小说家之路？对他来说，人生中幸福的事是什么？究竟如何看待芥川奖与诺贝尔文学奖……小说家看似风光，却是份孤独的职业。三十五年来，村上春树在孤独中编织着美妙动人
    
                    
    • 
                    
  • 拉不近的距离，解不开的未知数
                        没有故事v没有酒

                        
    《六弄咖啡馆》1.喜欢是一种能力，被喜欢是一种天赋。2.年少轻狂，我们都是这样过来的，包括暗恋。3.拉不近的距离，解不开的未知数。原来距离真的会让两个原本相爱的人越走越远，在困难面前无所适从，我需要的时候你不在，过去了，就不想再说了。这大概就是大多数异地恋最后都会分手的原因吧。《等一个人咖啡》1.咖啡店老板VS老板娘：学会放下，过去的就让它过去吧，生活还要继续。你的爱人虽然不在了，但是他一定也希望
    
                    
    • 
                    
  • 6月复盘之重新认识自己
                        插画君王木木

                        
    经历了漫长的疫情恐慌期，每个人都想重新开启的2020上半年一不小心就结束了，但疫情还在继续，趁着这段特殊时期，邀请你一起打开重新认识自己的大门。趁早图先来回顾一下关于你的上半年是怎样过来的呢？看看我们是不是有一样的状况呢？在1月份信誓旦旦的立下全年目标，可能经历了2周时间，这面旗子就倒了；1月底-2月中的春节期间，完全陷入了低谷期，面对大环境的变革，我该何去何从？2月底回上海，意识到真的不能这样堕
    
                    
    • 
                                
  • Java开发中，spring mvc 的线程怎么调用？
                                    小麦麦子
springmvc
                                    
    今天逛知乎，看到最近很多人都在问spring mvc 的线程http://www.maiziedu.com/course/java/ 的启动问题，觉得挺有意思的，那哥们儿问的也听仔细，下面的回答也很详尽，分享出来，希望遇对遇到类似问题的Java开发程序猿有所帮助。 
 
问题： 
    在用spring mvc架构的网站上，设一线程在虚拟机启动时运行，线程里有一全局
    
                                
    • 
                                
  • maven依赖范围
                                    bitcarter
maven
                                    
    1.test 测试的时候才会依赖，编译和打包不依赖，如junit不被打包 
 
2.compile 只有编译和打包时才会依赖 
 
3.provided 编译和测试的时候依赖，打包不依赖，如：tomcat的一些公用jar包 
 
4.runtime 运行时依赖，编译不依赖 
 
5.默认compile 
 
依赖范围compile是支持传递的，test不支持传递 
 
1.传递的意思是项目A，引用
    
                                
    • 
                                
  • Jaxb org.xml.sax.saxparseexception : premature end of file
                                    darrenzhu
xmlprematureJAXB
                                    
    如果在使用JAXB把xml文件unmarshal成vo(XSD自动生成的vo)时碰到如下错误： 
org.xml.sax.saxparseexception : premature end of file 
很有可能时你直接读取文件为inputstream，然后将inputstream作为构建unmarshal需要的source参数。InputSource inputSource = new In
    
                                
    • 
                                
  • CSS Specificity
                                    周凡杨
html权重Specificitycss
                                    
      
有时候对于页面元素设置了样式，可为什么页面的显示没有匹配上呢？ because specificity   
CSS 的选择符是有权重的，当不同的选择符的样式设置有冲突时，浏览器会采用权重高的选择符设置的样式。   
    规则： 
  
  HTML标签的权重是1

  Class 的权重是10

  Id 的权重是100


    
                                
    • 
                                
  • java与servlet
                                    g21121
servlet
                                    
    servlet 搞java web开发的人一定不会陌生，而且大家还会时常用到它。 
下面是java官方网站上对servlet的介绍：  java官网对于servlet的解释 写道   
Java Servlet Technology Overview Servlets are the Java platform technology of choice for extending and enha
    
                                
    • 
                                
  • eclipse中安装maven插件
                                    510888780
eclipsemaven
                                    
    1.首先去官网下载 Maven： 
http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.2.3-bin.tar.gz 
下载完成之后将其解压， 
我将解压后的文件夹：apache-maven-3.2.3， 
并将它放在 D:\tools目录下， 
即 maven 最终的路径是：D:\tools\apache-mave
    
                                
    • 
                                
  • jpa@OneToOne关联关系
                                    布衣凌宇
jpa
                                    
    Nruser里的pruserid关联到Pruser的主键id，实现对一个表的增删改，另一个表的数据随之增删改。 
Nruser实体类 
//***************************************************************** 
@Entity 
@Table(name="nruser") 
@DynamicInsert @Dynam
    
                                
    • 
                                
  • 我的spring学习笔记11-Spring中关于声明式事务的配置
                                    aijuans
spring事务配置
                                    
    这两天学到事务管理这一块，结合到之前的terasoluna框架，觉得书本上讲的还是简单阿。我就把我从书本上学到的再结合实际的项目以及网上看到的一些内容，对声明式事务管理做个整理吧。我看得Spring in Action第二版中只提到了用TransactionProxyFactoryBean和<tx:advice/>,定义注释驱动这三种，我承认后两种的内容很好，很强大。但是实际的项目当中
    
                                
    • 
                                
  • java 动态代理简单实现
                                    antlove
javahandlerproxydynamicservice
                                    
    dynamicproxy.service.HelloService 
package dynamicproxy.service;

public interface HelloService {
	public void sayHello();
}
 
  
dynamicproxy.service.impl.HelloServiceImpl 
package dynamicp
    
                                
    • 
                                
  • JDBC连接数据库
                                    百合不是茶
JDBC编程JAVA操作oracle数据库
                                    
          
    如果我们要想连接oracle公司的数据库，就要首先下载oralce公司的驱动程序，将这个驱动程序的jar包导入到我们工程中; 
  
JDBC链接数据库的代码和固定写法; 
  
  
1,加载oracle数据库的驱动; 
    &nb
    
                                
    • 
                                
  • 单例模式中的多线程分析
                                    bijian1013
javathread多线程java多线程
                                    
    谈到单例模式，我们立马会想到饿汉式和懒汉式加载，所谓饿汉式就是在创建类时就创建好了实例，懒汉式在获取实例时才去创建实例，即延迟加载。 
饿汉式： 
package com.bijian.study;

public class Singleton {

	private Singleton() {
	}

	// 注意这是private 只供内部调用
	private static
    
                                
    • 
                                
  • javascript读取和修改原型特别需要注意原型的读写不具有对等性
                                    bijian1013
JavaScriptprototype
                                    
            对于从原型对象继承而来的成员，其读和写具有内在的不对等性。比如有一个对象A，假设它的原型对象是B，B的原型对象是null。如果我们需要读取A对象的name属性值，那么JS会优先在A中查找，如果找到了name属性那么就返回；如果A中没有name属性，那么就到原型B中查找name，如果找到了就返回；如果原型B中也没有
    
                                
    • 
                                
  • 【持久化框架MyBatis3六】MyBatis3集成第三方DataSource
                                    bit1129
dataSource
                                    
    MyBatis内置了数据源的支持，如： 
  
	<environments default="development">
		<environment id="development">
			<transactionManager type="JDBC" />
			<data
    
                                
    • 
                                
  • 我程序中用到的urldecode和base64decode,MD5
                                    bitcarter
cMD5base64decodeurldecode
                                    
    这里是base64decode和urldecode，Md5在附件中。因为我是在后台所以需要解码： 
 

string Base64Decode(const char* Data,int DataByte,int& OutByte)
{
    //解码表
    const char DecodeTable[] =
    {
        0, 0, 0, 0, 0, 0
    
                                
    • 
                                
  • 腾讯资深运维专家周小军：QQ与微信架构的惊天秘密
                                    ronin47

                                    
    社交领域一直是互联网创业的大热门，从PC到移动端，从OICQ、MSN到QQ。到了移动互联网时代，社交领域应用开始彻底爆发，直奔黄金期。腾讯在过去几年里，社交平台更是火到爆，QQ和微信坐拥几亿的粉丝，QQ空间和朋友圈各种刷屏，写心得，晒照片，秀视频，那么谁来为企鹅保驾护航呢？支撑QQ和微信海量数据背后的架构又有哪些惊天内幕呢？本期大讲堂的内容来自今年2月份ChinaUnix对腾讯社交网络运营服务中心
    
                                
    • 
                                
  • java-69-旋转数组的最小元素。把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个排好序的数组的一个旋转，输出旋转数组的最小元素
                                    bylijinnan
java
                                    
    

public class MinOfShiftedArray {

	/**
	 * Q69 旋转数组的最小元素
	 * 把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个排好序的数组的一个旋转，输出旋转数组的最小元素。
	 * 例如数组{3, 4, 5, 1, 2}为{1, 2, 3, 4, 5}的一个旋转，该数组的最小值为1。
	 */
	publ
    
                                
    • 
                                
  • 看博客，应该是有方向的
                                    Cb123456
反省看博客
                                    
    看博客，应该是有方向的: 
 我现在就复习以前的，在补补以前不会的，现在还不会的，同时完善完善项目，也看看别人的博客. 
 我刚突然想到的: 
 1.应该看计算机组成原理，数据结构，一些算法，还有关于android,java的。 
 2.对于我，也快大四了，看一些职业规划的，以及一些学习的经验，看看别人的工作总结的. 
  
 为什么要写
    
                                
    • 
                                
  • [开源与商业]做开源项目的人生活上一定要朴素,尽量减少对官方和商业体系的依赖
                                    comsci
开源项目
                                    
     
 
     为什么这样说呢？  因为科学和技术的发展有时候需要一个平缓和长期的积累过程，但是行政和商业体系本身充满各种不稳定性和不确定性，如果你希望长期从事某个科研项目，但是却又必须依赖于某种行政和商业体系，那其中的过程必定充满各种风险。。。 
 
      所以，为避免这种不确定性风险，我
    
                                
    • 
                                
  • 一个 sql优化 （[精华] 一个查询优化的分析调整全过程！很值得一看 ）
                                    cwqcwqmax9
sql
                                    
    见   http://www.itpub.net/forum.php?mod=viewthread&tid=239011 
 
 
 
 
Web翻页优化实例 
 提交时间: 2004-6-18 15:37:49      回复    发消息  
 
 
环境： 
Linux ve
    
                                
    • 
                                
  • Hibernat and Ibatis
                                    dashuaifu
Hibernateibatis
                                    
    Hibernate  VS  iBATIS 简介 Hibernate 是当前最流行的O/R mapping框架，当前版本是3.05。它出身于sf.net，现在已经成为Jboss的一部分了 iBATIS 是另外一种优秀的O/R mapping框架，当前版本是2.0。目前属于apache的一个子项目了。 相对Hibernate“O/R”而言，iBATIS 是一种“Sql Mappi
    
                                
    • 
                                
  • 备份MYSQL脚本
                                    dcj3sjt126com
mysql
                                    
    #!/bin/sh
# this shell to backup mysql
#[email protected] (QQ:1413161683 DuChengJiu)

_dbDir=/var/lib/mysql/
_today=`date +%w`
_bakDir=/usr/backup/$_today
[ ! -d $_bakDir ] && mkdir -p 
    
                                
    • 
                                
  • iOS第三方开源库的吐槽和备忘
                                    dcj3sjt126com
ios
                                    
    转自 
ibireme的博客       做iOS开发总会接触到一些第三方库，这里整理一下，做一些吐槽。       目前比较活跃的社区仍旧是Github，除此以外也有一些不错的库散落在Google Code、SourceForge等地方。由于Github社区太过主流，这里主要介绍一下Github里面流行的iOS库。       首先整理了一份 
Github上排名靠
    
                                
    • 
                                
  • html wlwmanifest.xml
                                    eoems
htmlxml
                                    
    所谓优化wp_head()就是把从wp_head中移除不需要元素，同时也可以加快速度。 
 
步骤： 
 
加入到function.php 
 
remove_action('wp_head', 'wp_generator'); 
//wp-generator移除wordpress的版本号，本身blog的版本号没什么意义，但是如果让恶意玩家看到，可能会用官网公布的漏洞攻击blog 
 
remov
    
                                
    • 
                                
  • 浅谈Java定时器发展
                                    hacksin
java并发timer定时器
                                    
    java在jdk1.3中推出了定时器类Timer,而后在jdk1.5后由Dou Lea从新开发出了支持多线程的ScheduleThreadPoolExecutor，从后者的表现来看，可以考虑完全替代Timer了。 
Timer与ScheduleThreadPoolExecutor对比： 
1. 
  
 Timer始于jdk1.3,其原理是利用一个TimerTask数组当作队列
    
                                
    • 
                                
  • 移动端页面侧边导航滑入效果
                                    ini
jqueryWebhtml5cssjavascirpt
                                    
    效果体验：http://hovertree.com/texiao/mobile/2.htm可以使用移动设备浏览器查看效果。效果使用到jquery-2.1.4.min.js，该版本的jQuery库是用于支持HTML5的浏览器上，不再兼容IE8以前的浏览器，现在移动端浏览器一般都支持HTML5，所以使用该jQuery没问题。HTML文件代码： 
<!DOCTYPE html>
<h
    
                                
    • 
                                
  • AspectJ+Javasist记录日志
                                    kane_xie
aspectjjavasist
                                    
    在项目中碰到这样一个需求，对一个服务类的每一个方法，在方法开始和结束的时候分别记录一条日志，内容包括方法名，参数名+参数值以及方法执行的时间。 
  
@Override
public String get(String key) {
//	long start = System.currentTimeMillis();
//	System.out.println("Be
    
                                
    • 
                                
  • redis学习笔记
                                    MJC410621
redisNoSQL
                                    
    1)nosql数据库主要由以下特点：非关系型的、分布式的、开源的、水平可扩展的。 
1，处理超大量的数据 
2，运行在便宜的PC服务器集群上， 
3，击碎了性能瓶颈。 
1)对数据高并发读写。 
2)对海量数据的高效率存储和访问。 
3)对数据的高扩展性和高可用性。 
 
redis支持的类型： 
 
Sring 类型 
set name lijie 
get name lijie 
set na
    
                                
    • 
                                
  • 使用redis实现分布式锁
                                    qifeifei

                                    
    在多节点的系统中，如何实现分布式锁机制，其中用redis来实现是很好的方法之一，我们先来看一下jedis包中，有个类名BinaryJedis,它有个方法如下： 
  
public Long setnx(final byte[] key, final byte[] value) {
	checkIsInMulti();
	client.setnx(key, value);
	ret
    
                                
    • 
                                
  • BI并非万能，中层业务管理报表要另辟蹊径
                                    张老师的菜
大数据BI商业智能信息化
                                    
           BI是商业智能的缩写，是可以帮助企业做出明智的业务经营决策的工具，其数据来源于各个业务系统，如ERP、CRM、SCM、进销存、HER、OA等。 
       BI系统不同于传统的管理信息系统，他号称是一个整体应用的解决方案，是融入管理思想的强大系统：有着系统整体的设计思想，支持对所有
    
                                
    • 
                                
  • 安装rvm后出现rvm not a function 或者ruby -v后提示没安装ruby的问题
                                    wudixiaotie
function
                                    
    1.在~/.bashrc最后加入 
[[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm" 
 2.重新启动terminal输入： 
  
rvm use ruby-2.2.1 --default 
 把当前安装的ruby版本设为默
    
                                
    •