cnliu
cnliu

hadoop （四）开发环境及Word Count

hadoop （四）开发环境及Word Count

开发环境搭建

开发工具：IDEA
构件工具：MAVEN

引入依赖：

    
      org.apache.hadoop
      hadoop-core
      0.20.2
  



  
      commons-logging
      commons-logging
      1.0.3
  

  
      junit
      junit
      4.11
      test
  
  
      org.hamcrest
      hamcrest-library
      1.3
      test

核心文件引入【与服务器端核心文件一致】：

image

实例代码：

package org.cnliu.myhadoop.ex;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.*;

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

public class WordCount {
    public static class WordCountMapper extends MapReduceBase implements Mapper{

        private final static IntWritable one = new IntWritable(1);
        private Text word =new Text();

        public void map(Object o, Text text, OutputCollector outputCollector, Reporter reporter) throws IOException {

            StringTokenizer itr = new StringTokenizer(text.toString());
            while (itr.hasMoreTokens()){
                word.set(itr.nextToken());
                outputCollector.collect(word,one);
            }
        }
    }

    public static class WordCountReducer extends MapReduceBase implements Reducer{

        private IntWritable result = new IntWritable();

        public void reduce(Text text, Iterator iterator, OutputCollector outputCollector, Reporter reporter) throws IOException {
            int sum=0;
            while (iterator.hasNext()){
                sum+=iterator.next().get();
            }

            result.set(sum);
            outputCollector.collect(text,result);
        }
    }

    public static void main(String[] args) throws Exception{

        //配置job在fs中的输入和输出目录----备注：目录不符合则不会有执行结果
        String input = "/user/liuzd/in";
        String output = "/user/liuzd/o_t_account/result";

        JobConf conf=new JobConf(WordCount.class);

        conf.setJobName("WordCount");
        conf.addResource("classpath:/core-site.xml");
        conf.addResource("classpath:/hdfs-site.xml");
        conf.addResource("classpath:/mapred-site.xml");

        conf.setOutputKeyClass(Text.class);
        conf.setOutputValueClass(IntWritable.class);


        //设置自定义map过程的类 及 输出的key 和 value 的数据类型
        conf.setMapperClass(WordCountMapper.class);
        conf.setCombinerClass(WordCountReducer.class);
        conf.setReducerClass(WordCountReducer.class);

        conf.setInputFormat(TextInputFormat.class);
        conf.setOutputFormat(TextOutputFormat.class);

        FileInputFormat.setInputPaths(conf,new Path(input));
        FileOutputFormat.setOutputPath(conf,new Path(output));

        JobClient.runJob(conf);
        System.exit(0);
    }
}
 
 
执行结果：
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
原始数据
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
数据计算查询结果：
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
附录（遇到的问题及解决办法）
 
 
hadoop集群启动成功但live node为0
 
 
我的问题是网络问题:
hosts 配置了 
127.0.0.1 master 
192.168.56.101 master

导致hadoop解析别名master时ip为127.0.0.1 因是分布式集群部署，故主节点在其他服务器主机上，删除此项配置即可。  

 
 
启动Hadoop时，DataNode启动后一会儿自动消失的解决方法
 
 
原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。
解决方案：重新拷贝集群hadoop环境
>https://www.cnblogs.com/sasan/p/5740367.html

 
 
IDE远程提交mapreduce任务至linux，遇到ClassNotFoundException: Mapper
 
 
尝试
 
 
（1）手动打包成jar，上传到linux（运行成功）
 
 
（2）手动打包成jar，Windows下调用“java -jar ..”（运行成功）
 
 
（3）IDEA提交任务
 
 
解决方案
 
 
core-site.xml中配置路径：
 
 


    mapred.jar

    E:\java\myHadoop\out\artifacts\myHadoop_jar\myHadoop.jar



 
 
 
  
https://blog.csdn.net/qq_19648191/article/details/56684268
 
 
 
 
INFO mapred.JobClient: Task Id : attempt_201210161256_0009_r_000000_0, Status : FAILEDShuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. WARN mapred.JobClient: Error reading task outputNo route to host
 
 
解决方案：主机hostname需要与hosts文件中的别名一致。
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(hadoop （四）开发环境及Word Count)

        

            

                
    
                    
  • PL-SLAM: Real-Time Monocular Visual SLAM with Points and Lines
                        

                        
    PL-SLAM文章目录PL-SLAM摘要系统介绍综述方法综述LINE-BASEDSLAM一、基于线的SLAM二、基于线和点的BA三、全局重定位使用线条初始化地图实验结果说明位姿求解三角化LSD直线检测算法**一、核心原理**⚙️**二、实现方法****三、应用场景**⚖️**四、优缺点与优化****优缺点对比****总结**End摘要译文——众所周知，低纹理场景是依赖点对应的几何计算机视觉算法的主
    
                    
    • 
                    
  • IP地址的分类及范围详解：A、B、C、D、E五类是如何划分的
                        倍云数据
ip代理ip代理
                        
    IP地址类型最初设计互联网络时，为了便于寻址以及层次化构造网络，每个IP地址包括两个标识码(ID)，即网络ID和主机ID。同一个物理网络上的所有主机都使用同一个网络ID，网络上的一个主机(包括网络上工作站，服务器和路由器等)有一个主机ID与其对应。IP地址根据网络ID的不同分为5种类型，A类地址、B类地址、C类地址、D类地址和E类地址。A类IP地址一个A类IP地址由1字节的网络地址和3字节主机地址
    
                    
    • 
                    
  • gitee及github有什么区别？
                        俗尘某某
程序员记录gitsvngithub
                        
    前言：1、目前的最常用的版本控制中心有两种：SVN和Git；2、SVN：集中式版本控制中心，svn就像是一对多的关系，一个仓库供多个人使用，而且必须联网才能工作，个人感觉不是太方便；3、Git：分布式版本控制中心，而Git就像是多对多的关系，每一个终端都是一个仓库，客户端并不只拉取最新版本的代码，而是把原始的代码仓库完整地镜像下来。每一次的拉取操作，实际上都是一次对代码仓库的完整备份；4、最初了解
    
                    
    • 
                    
  • 【数据标注师】关键词标注
                        试着
数据标注师数据标注师关键词标注
                        
    目录一、**理解关键词标注的核心逻辑**1.**三大标注原则**2.**关键词类型体系**二、**四阶训练体系**▶**阶段1：基础规则内化**▶**阶段2：语义浓缩训练**▶**阶段3：场景化标注策略**▶**阶段4：工具效率提升**三、**五大高频错误防御指南**四、**复杂场景突破策略**1.**隐喻处理方案**2.**多义词消歧流程**3.**跨语言混合标注**五、**持续进阶体系**1.
    
                    
    • 
                    
  • 【数据标注师】事件标注2
                        试着
数据标注师数据标注师事件标注
                        
    目录一、**深入理解事件标注的核心架构**1.**事件五要素（标注核心对象）**2.**三大项目特性**二、**四阶段系统学习法**▶**阶段1：掌握标注指南（20%理论+80%案例）**▶**阶段2：触发词精准识别训练**▶**阶段3：要素抽取实战技巧**▶**阶段4：复杂场景突破三、**高效标注工具使用指南**1.**快捷键流操作（以主流工具为例）**2.**颜色编码法**四、**错误防御体系
    
                    
    • 
                    
  • PWM技术全解析：从零到企业级开发实战
                        Android洋芋
PWM技术原理电机控制SPWM/SVPWM优化高效调制应用电源管理
                        
    简介PWM（脉冲宽度调制）技术是现代电子控制系统的核心技术之一，通过调节数字信号的占空比来实现对模拟信号的控制。PWM技术以其高精度、高效率和灵活性优势，广泛应用于电机控制、电源管理、LED调光和通信协议模拟等领域。无论您是电子工程初学者还是资深开发者，掌握PWM技术都将为您的项目带来显著优势。本文将从PWM基础原理出发，深入讲解其核心公式，提供企业级开发实战案例，并附有详细代码及解释，助您从零到
    
                    
    • 
                    
  • 香港服务器查询缓存禁用-性能优化关键技术解析
                        cpsvps_net
linux
                        
    在香港服务器运维过程中，查询缓存禁用是提升数据库性能的关键操作。本文将深入解析禁用查询缓存的原理、操作步骤、适用场景及注意事项，帮助管理员优化MySQL服务器配置，解决高并发环境下的性能瓶颈问题。香港服务器查询缓存禁用-性能优化关键技术解析查询缓存的工作原理与性能影响香港服务器上的MySQL查询缓存(QueryCache)机制会将SELECT语句及其结果存储在内存中。当完全相同的查询再次执行时，系
    
                    
    • 
                    
  • 基于 Three.js 与 WebGL 的商场全景 VR 导航系统源码级解析
                        维小帮定位导航
javascriptvr前端开发场景优化WebGL物联网智慧商场
                        
    本文面向Web前端开发者、WebGL/Three.js爱好者、对VR/AR应用开发感兴趣的技术人员、智慧商场解决方案开发者。详细介绍如何利用WebGL(Three.js框架)构建高性能的商场全景VR环境，并实现精准的室内定位与3D路径规划导航功能。如需获取商场全景VR导航系统解决方案请前往文章最下方获取，如有项目合作及技术交流欢迎私信作者。一、商场全景VR导航的核心技术概述商场全景VR导航融合了全
    
                    
    • 
                    
  • Windows 7上IIS7.0的全面应用
                        侯昂

                        
    本文还有配套的精品资源，点击获取简介：IIS7.0是微软为Windows7操作系统推出的Web服务器软件，具备模块化设计、高效管理和丰富的开发环境。它支持多种网络协议，包括HTTP、HTTPS和FTP，并通过集成安全机制和优化的性能特性，如应用程序池、FTP服务、URL重写等，为用户提供了强大的Web服务管理能力。IIS7.0的设计旨在提高资源利用率、管理便捷性，并确保服务器的安全稳定运行。1.I
    
                    
    • 
                    
  • 微信小程序实现websocket及单人聊天功能
                        蝶妹妹
微信小程序websocket小程序
                        
    一、什么是websocket：WebSocket是HTML5下一种新的协议（websocket协议本质上是一个基于tcp的协议）它实现了浏览器与服务器全双工通信，能更好的节省服务器资源和带宽并达到实时通讯的目的Websocket是一个持久化的协议二、websocket的原理：websocket约定了一个通信的规范，通过一个握手的机制，客户端和服务器之间能建立一个类似tcp的连接，从而方便它们之间的
    
                    
    • 
                    
  • 数据库迁移同步 | 两地三中心到异地双活演变及关键技术探讨
                        沃趣数据库管理平台
技术专栏服务器数据库网络mysql数据库迁移
                        
    两地三中心和异地多活都是分布式系统的关键技术，用于保证系统的高可用性和容错性。其中最关键的技术无疑是数据同步、同步防环和数据冲突解决。异地容灾&两地三中心两地三中心架构是一种分布式系统的架构模式，用于保证系统的高可用性和容错性。它将整个系统划分为三个数据中心：两个位于同城，一个位于异地。其中，同城的两个数据中心分别承担主备的角色，异地数据中心则作为备份。在两地三中心架构中，同城的两个数据中心之间通
    
                    
    • 
                    
  • 数据中心双活架构解决方案
                        

                        
    数据中心双活架构解决方案数据中心双活架构（Active-ActiveDataCenter）旨在实现业务高可用、负载均衡和灾难自动切换。以下是完整的解决方案，涵盖架构设计、关键技术、实施步骤及最佳实践。1.双活架构设计1.1基本架构模型同城双活（MetroActive-Active）两个数据中心距离≤100km（低延迟，通常100km（延迟较高，通常>10ms）采用异步数据复制（如Kafka+CDC
    
                    
    • 
                    
  • 基于MATLAB平台设计并实现自适应噪声抵消器（Adaptive Noise Canceller, ANC）
                        AI Dog
自动控制matlab自适应噪声抵消器ANC信号去噪
                        
    本课题旨在基于MATLAB平台设计并实现自适应噪声抵消器（AdaptiveNoiseCanceller,ANC），以有效去除信号中的背景噪声，提升语音、医疗或通信系统中的信噪比。系统采用自适应滤波算法，如最小均方误差（LMS）或归一化LMS（NLMS）算法，通过参考噪声信号估计并抵消主通道信号中的噪声成分，实现动态降噪。研究内容包括信号采集与仿真建模、自适应滤波器结构设计、算法参数调整及降噪性能评
    
                    
    • 
                    
  • Oracle查询超时问题，聊聊思路！
                        bug菌¹
全栈Bug调优(实战版)#CSDN问答解惑(全栈版)数据库oraclejava
                        
    本文收录于《CSDN问答解答》专栏，主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！问题描述  Oracle在查询超过6秒的sql都会报Socketreadtimedout。我也根据网上的一些资料，在oracleurl后拼接了oracle.net.CONNECT_T
    
                    
    • 
                    
  • 【Tkinter从入门到精通】Python原生GUI开发全指南
                        满怀1015
python开发语言TkinterGUI开发桌面应用界面设计
                        
    目录前言️技术背景与价值当前技术痛点️解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明⚖️技术选型对比️二、实战演示⚙️环境配置要求核心代码实现案例1：基础窗口创建案例2：网格布局计算器案例3：文件选择对话框✅运行结果验证⚡三、性能对比测试方法论量化数据对比结果分析四、最佳实践✅推荐方案❌常见错误调试技巧五、应用场景扩展适用领域创新应用方向生态工具链✨结语⚠️技术局
    
                    
    • 
                    
  • 如果用于AI评课系统的话——五款智能体比较
                        东方-教育技术博主
人工智能应用人工智能
                        
    你目前的项目特点是：已经具备了课堂文本分析、大模型对话系统、课堂视频分析的技术模块；计划通过智能体调用你现有的Python分析脚本，实现数据分析、自动可视化，并与教师互动；更强调多智能体协作、流程灵活编排，以及循证研究的交互分析。因此，我们重点考量生态成熟度、流程编排能力、多智能体协作能力、易用性四个维度。下面逐个分析你提到的框架：智能体框架综合对比分析：框架生态成熟度多智能体能力流程编排能力易用
    
                    
    • 
                    
  • OpenAI技术路线急转：从TypeScript到Rust的Codex CLI重构内幕
                        全栈陈序员
typescriptrust重构自然语言处理神经网络人工智能深度学习
                        
    目录前言：OpenAI的技术抉择引发业界思考CodexCLI：OpenAI的终端AI编程利器语言抉择的戏剧性反转：从TypeScript到RustRust重写的四大技术动因1.零依赖部署：消除环境配置痛点2.内存安全与沙箱隔离3.性能的全面碾压4.协议层的深度整合Rust的崛起：从系统编程到AI基础设施技术选型的平衡艺术：生产力vs性能对开发者生态的潜在影响结语：技术进化的永恒韵律前言：OpenA
    
                    
    • 
                    
  • 多服务器文件本地上传及读取
                        一朵梨花压海棠go
服务器运维
                        
    多服务器文件管理系统的实现方案在没有对象存储服务（OSS）的情况下，本文实现了一个基于多台服务器的文件管理系统。系统通过数据库表维护文件存储位置信息，主要功能包括：文件上传：检查文件大小限制，计算MD5值，按日期目录存储文件文件下载：根据ID获取文件实体，返回文件资源流文件去重：通过MD5校验避免重复存储IP管理：记录文件所在服务器IP，便于跨服务器访问系统使用SpringBoot框架实现，数据库
    
                    
    • 
                    
  • 详解MATLAB/Simulink通信系统建模与仿真代码及PPT
                        甄亚凌

                        
    详解MATLAB/Simulink通信系统建模与仿真代码及PPT项目地址:https://gitcode.com/open-source-toolkit/376e9欢迎来到这个专注于通信系统建模与仿真的开源资源库。本仓库致力于为MATLAB与Simulink的学习者和研究者提供详尽、实用的教学资源，特别是针对通信系统领域的实践者。通过这一平台，您将获取到全面覆盖各章节的经典案例，不仅包含精心编写的
    
                    
    • 
                    
  • 【Python GUI框架全解析】六大主流工具对比与实战指南
                        满怀1015
python开发语言GUI开发PyQtwxPythonKivy
                        
    目录前言️技术背景与价值当前技术痛点️解决方案概述目标读者说明一、技术原理剖析核心框架对比图框架定位分析关键技术指标️二、实战演示⚙️环境配置核心代码实现案例1：PyQt5现代化窗口案例2：wxPython文件管理器案例3：Kivy移动风格界面案例4：DearPyGui实时仪表盘✅运行结果验证⚡三、性能对比测试方法论量化数据对比结果分析四、最佳实践✅框架选型建议❌常见误区️调试技巧五、应用场景扩展
    
                    
    • 
                    
  • WSL快速在Ubuntu或者Debian安装golang、python、deno、nodejs、java前后端全栈一体化开发环境配置
                        怪我冷i
云原生ubuntudebiangolangAI写作AI编程
                        
    安装golang#移除旧版本（如有）sudoaptremove--autoremove-ygolang#下载最新版（替换为官网最新版本号）wgethttps://go.dev/dl/go1.24.4.linux-amd64.tar.gz#解压到/usr/localsudorm-rf/usr/local/gosudotar-C/usr/local-xzfgo1.24.4.linux-amd64.ta
    
                    
    • 
                    
  • Git安装前的准备工作及避坑指南
                        zzywxc787
开发语言人工智能大数据
                        
    一、安装前的准备工作检查系统环境Windows：建议使用Windows10/11，64位系统。macOS：确保系统版本≥10.15（Catalina）。Linux：推荐Ubuntu20.04+、Debian10+或CentOS7+。卸载旧版本安装前删除旧版Git：bash#Linux/macOSsudoapt-getremovegit#Debian/Ubuntusudoyumremovegit#C
    
                    
    • 
                    
  • 【Linux】写时拷贝——干货解析
                        代码程序猿RIP
Linuxlinux运维服务器
                        
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、写时拷贝核心概念1.什么是写时拷贝？2.COW解决的问题二、写时拷贝工作原理1.内存管理基础结构2.COW工作流程3.页表状态变化图示初始状态（共享只读）子进程写入后（写时拷贝）三、写时拷贝的优势分析1.性能优势对比2.实际性能数据3.资源利用率提升四、内核实现深度解析1.COW核心代码逻辑2.关键数据结构五、应用场景与最
    
                    
    • 
                    
  • 【Linux】环境变量——干货讲解
                        代码程序猿RIP
Linuxlinux
                        
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、环境变量核心概念1.什么是环境变量？2.环境变量的存储结构3.常见环境变量及作用二、环境变量管理命令1.查看环境变量2.设置环境变量3.删除环境变量4.变量操作技巧三、环境变量在编程中的应用1.C语言获取环境变量的三种方式方法1：main函数参数方法2：extern声明environ方法3：getenv获取特定变量2.环境
    
                    
    • 
                    
  • 【Docker项目实战】使用Docker部署Caddy+vaultwarden密码管理工具(详细教程）
                        江湖有缘
Docker部署项目实战合集docker容器运维
                        
    【Docker项目实战】使用Docker部署vaultwarden密码管理工具前言一、vaultwarden介绍1.1vaultwarden简介1.2主要特点二、本次实践规划2.1本地环境规划2.2本次实践介绍三、本地环境检查3.1检查Docker服务状态3.2检查Docker版本3.3检查dockercompose版本四、拉取镜像五、部署vaultwarden服务5.1创建部署目录5.2编辑部署
    
                    
    • 
                    
  • Swift - 基础面试题
                        赑屃王者
面试题swift面试
                        
    面试题目录一、类和结构体的区别是什么二、写时拷贝机制三、模式匹配四、协议五、泛型六、运算符、下标、字面量协议、尾随闭包七、Optional、变量常量、类型检查、扩展八、函数式编程九、响应式编程十、swift和OC的区别？一、类和结构体的区别是什么类是引用类型，结构体是值类型，拷贝赋值时，结构体是值拷贝，对象赋值时指针拷贝。结构体保存在栈区，类对象保存在堆区，类对象指针一般在栈区，指向堆区的对象。结
    
                    
    • 
                    
  • 高精度相机：工业自动化的“慧眼”，驱动智能制造新未来
                        lingling009
数码相机
                        
    在当今工业4.0时代，自动化技术的飞速发展正重塑制造业格局。作为工业视觉系统的核心组件，高精度相机扮演着“智慧之眼”的角色，帮助企业在复杂环境中实现精准识别与高效操作。迁移科技，自2017年成立以来，已成长为行业领先的3D工业相机和3D视觉系统供应商。凭借在硬件、算法及软件领域的技术积累，我们打造了稳定、易用、高回报的AI+3D视觉解决方案，服务于新能源、汽车、化工、家电、金属制造等行业。本文将聚
    
                    
    • 
                    
  • 大数据集群架构hadoop集群、Hbase集群、zookeeper、kafka、spark、flink、doris、dataeas(二)
                        争取不加班！
hadoophbasezookeeper大数据运维
                        
    zookeeper单节点部署wget-chttps://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz下载地址tarxfapache-zookeeper-3.8.4-bin.tar.gz-C/data/&&mv/data/apache-zookeeper-3.8.4-bin//data/zoo
    
                    
    • 
                    
  • 结构光相机：重塑工业自动化的“智慧之眼”，驱动智能制造新未来
                        lingling009
数码相机
                        
    一、迁移科技——3D视觉领域的创新引擎迁移科技成立于2017年，凭借结构光相机核心技术，已成为全球领先的3D工业视觉系统供应商。累计融资数亿元，深耕硬件、算法与软件三位一体技术，打造“稳定、易用、高回报”的AI+3D视觉解决方案，服务新能源、汽车、化工等10+行业，赋能工业自动化转型升级。二、结构光相机如何破解工业四大痛点1：高精度定位——汽车装配的“毫米级守护者”痛点：传统2D视觉无法捕捉曲面零
    
                    
    • 
                    
  • 数据结构day6——内核链表
                        LZA185
数据结构数据结构链表
                        
    在Linux内核开发中，链表是最基础且重要的数据结构之一。与普通链表不同，Linux内核采用了一种非常巧妙的"通用链表"设计，它不直接包含数据，而是将数据结构嵌入其中，从而实现了一种高度灵活、可复用的链表机制。本文将深入解析Linux内核链表的设计思想、实现原理及应用场景。一、传统链表的局限性传统链表的实现方式通常是将数据直接包含在节点结构中：//传统链表节点结构typedefstructStud
    
                    
    • 
                                
  • 多线程编程之join()方法
                                    周凡杨
javaJOIN多线程编程线程
                                    
    现实生活中，有些工作是需要团队中成员依次完成的，这就涉及到了一个顺序问题。现在有T1、T2、T3三个工人，如何保证T2在T1执行完后执行，T3在T2执行完后执行？问题分析：首先问题中有三个实体，T1、T2、T3， 因为是多线程编程，所以都要设计成线程类。关键是怎么保证线程能依次执行完呢？   
Java实现过程如下： 
public class T1 implements Runnabl
    
                                
    • 
                                
  • java中switch的使用
                                    bingyingao
javaenumbreakcontinue
                                    
    java中的switch仅支持case条件仅支持int、enum两种类型。 
用enum的时候，不能直接写下列形式。 
 
 
switch (timeType) {
            case ProdtransTimeTypeEnum.DAILY:

                break;

            default:
                br
    
                                
    • 
                                
  • hive having count 不能去重
                                    daizj
hive去重having count计数
                                    
    hive在使用having count()是，不支持去重计数 
  
hive (default)> select imei from t_test_phonenum where ds=20150701 group by imei having count(distinct phone_num)>1 limit 10;  
FAILED: SemanticExcep
    
                                
    • 
                                
  • WebSphere对JSP的缓存
                                    周凡杨
WAS JSP 缓存
                                    
          对于线网上的工程，更新JSP到WebSphere后，有时会出现修改的jsp没有起作用，特别是改变了某jsp的样式后，在页面中没看到效果，这主要就是由于websphere中缓存的缘故，这就要清除WebSphere中jsp缓存。要清除WebSphere中JSP的缓存，就要找到WAS安装后的根目录。 
       现服务
    
                                
    • 
                                
  • 设计模式总结
                                    朱辉辉33
java设计模式
                                    
    1.工厂模式 
  1.1 工厂方法模式 (由一个工厂类管理构造方法) 
     1.1.1普通工厂模式(一个工厂类中只有一个方法) 
     1.1.2多工厂模式(一个工厂类中有多个方法) 
     1.1.3静态工厂模式(将工厂类中的方法变成静态方法) 
&n
    
                                
    • 
                                
  • 实例：供应商管理报表需求调研报告
                                    老A不折腾
finereport报表系统报表软件信息化选型
                                    
    引言 
随着企业集团的生产规模扩张，为支撑全球供应链管理，对于供应商的管理和采购过程的监控已经不局限于简单的交付以及价格的管理，目前采购及供应商管理各个环节的操作分别在不同的系统下进行，而各个数据源都独立存在，无法提供统一的数据支持；因此，为了实现对于数据分析以提供采购决策，建立报表体系成为必须。 业务目标 
1、通过报表为采购决策提供数据分析与支撑 
2、对供应商进行综合评估以及管理，合理管理和
    
                                
    • 
                                
  • mysql
                                    林鹤霄

                                    
    转载源：http://blog.sina.com.cn/s/blog_4f925fc30100rx5l.html 
mysql -uroot -p 
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) 
  
[root@centos var]# service mysql
    
                                
    • 
                                
  • Linux下多线程堆栈查看工具(pstree、ps、pstack)
                                    aigo
linux
                                    
    原文：http://blog.csdn.net/yfkiss/article/details/6729364 
  
1. pstree 
pstree以树结构显示进程$ pstree -p work | grep adsshd(22669)---bash(22670)---ad_preprocess(4551)-+-{ad_preprocess}(4552)  &n
    
                                
    • 
                                
  • html input与textarea 值改变事件
                                    alxw4616
JavaScript
                                    
    // 文本输入框(input) 文本域(textarea)值改变事件 
// onpropertychange(IE) oninput(w3c) 
$('input,textarea').on('propertychange input', function(event) { 
     console.log($(this).val()) 
}); 
  
    
                                
    • 
                                
  • String类的基本用法
                                    百合不是茶
String
                                    
      
字符串的用法; 
    // 根据字节数组创建字符串 
byte[] by = { 'a', 'b', 'c', 'd' };
String newByteString = new String(by); 
  
  
    1,length()  获取字符串的长度 
  
  &nbs
    
                                
    • 
                                
  • JDK1.5 Semaphore实例
                                    bijian1013
javathreadjava多线程Semaphore
                                    
    Semaphore类 
       一个计数信号量。从概念上讲，信号量维护了一个许可集合。如有必要，在许可可用前会阻塞每一个 acquire()，然后再获取该许可。每个 release() 添加一个许可，从而可能释放一个正在阻塞的获取者。但是，不使用实际的许可对象，Semaphore 只对可用许可的号码进行计数，并采取相应的行动。 
S
    
                                
    • 
                                
  • 使用GZip来压缩传输量
                                    bijian1013
javaGZip
                                    
            启动GZip压缩要用到一个开源的Filter：PJL Compressing Filter。这个Filter自1.5.0开始该工程开始构建于JDK5.0，因此在JDK1.4环境下只能使用1.4.6。 
        PJL Compressi
    
                                
    • 
                                
  • 【Java范型三】Java范型详解之范型类型通配符
                                    bit1129
java
                                    
      
  
定义如下一个简单的范型类， 
  
package com.tom.lang.generics;

public class Generics<T> {
    private T value;
    public Generics(T  value) {
        this.value = value;
    }
} 
    
                                
    • 
                                
  • 【Hadoop十二】HDFS常用命令
                                    bit1129
hadoop
                                    
    1. 修改日志文件查看器 
  
hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xml
cat edits.xml 
  
修改日志文件转储为xml格式的edits.xml文件，其中每条RECORD就是一个操作事务日志 
  2. fsimage查看HDFS中的块信息等 
&nb
    
                                
    • 
                                
  • 怎样区别nginx中rewrite时break和last
                                    ronin47

                                    
    在使用nginx配置rewrite中经常会遇到有的地方用last并不能工作，换成break就可以，其中的原理是对于根目录的理解有所区别，按我的测试结果大致是这样的。  
 
 location /    
 {     
     proxy_pass http://test; 
    
                                
    • 
                                
  • java-21.中兴面试题 输入两个整数 n 和 m ，从数列 1 ， 2 ， 3.......n 中随意取几个数 , 使其和等于 m
                                    bylijinnan
java
                                    
    
import java.util.ArrayList;
import java.util.List;
import java.util.Stack;

public class CombinationToSum {

	/*
第21 题
2010 年中兴面试题
编程求解：
输入两个整数 n 和 m ，从数列 1 ， 2 ， 3.......n 中随意取几个数 ,
使其和等
    
                                
    • 
                                
  • eclipse svn 帐号密码修改问题
                                    开窍的石头
eclipseSVNsvn帐号密码修改
                                    
    问题描述： 
     Eclipse的SVN插件Subclipse做得很好，在svn操作方面提供了很强大丰富的功能。但到目前为止，该插件对svn用户的概念极为淡薄，不但不能方便地切换用户，而且一旦用户的帐号、密码保存之后，就无法再变更了。 
解决思路： 
     删除subclipse记录的帐号、密码信息，重新输入
    
                                
    • 
                                
  • [电子商务]传统商务活动与互联网的结合
                                    comsci
电子商务
                                    
     
 
      某一个传统名牌产品，过去销售的地点就在某些特定的地区和阶层，现在进入互联网之后，用户的数量群突然扩大了无数倍，但是，这种产品潜在的劣势也被放大了无数倍，这种销售利润与经营风险同步放大的效应，在最近几年将会频繁出现。。。。 
 
       如何避免销售量和利润率增加的
    
                                
    • 
                                
  • java 解析 properties-使用 Properties-可以指定配置文件路径
                                    cuityang
javaproperties
                                    
    #mq 
xdr.mq.url=tcp://192.168.100.15:61618; 
 
import java.io.IOException; 
import java.util.Properties; 
 
 
public class Test { 
 
 String conf = "log4j.properties"; 
 private static final
    
                                
    • 
                                
  • Java核心问题集锦
                                    darrenzhu
java基础核心难点
                                    
    注意，这里的参考文章基本来自Effective Java和jdk源码 
 
 
1)ConcurrentModificationException 
当你用for each遍历一个list时，如果你在循环主体代码中修改list中的元素，将会得到这个Exception，解决的办法是： 
1)用listIterator, 它支持在遍历的过程中修改元素， 
2)不用listIterator, new一个
    
                                
    • 
                                
  • 1分钟学会Markdown语法
                                    dcj3sjt126com
markdown
                                    
    markdown 简明语法 基本符号 
 
 *,-,+ 3个符号效果都一样，这3个符号被称为 Markdown符号  
 空白行表示另起一个段落 
 `是表示inline代码，tab是用来标记 代码段，分别对应html的code，pre标签 
 换行 
 
 单一段落( <p>) 用一个空白行 
 连续两个空格 会变成一个 <br> 
 连续3个符号，然后是空行
    
                                
    • 
                                
  • Gson使用二（GsonBuilder）
                                    eksliang
jsongsonGsonBuilder
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2175473 一.概述 
    GsonBuilder用来定制java跟json之间的转换格式 
  二.基本使用 
实体测试类： 
温馨提示：默认情况下@Expose注解是不起作用的,除非你用GsonBuilder创建Gson的时候调用了GsonBuilder.excludeField
    
                                
    • 
                                
  • 报ClassNotFoundException: Didn't find class "...Activity" on path: DexPathList
                                    gundumw100
android
                                    
    有一个工程，本来运行是正常的，我想把它移植到另一台PC上，结果报： 
 
 java.lang.RuntimeException: Unable to instantiate activity ComponentInfo{com.mobovip.bgr/com.mobovip.bgr.MainActivity}: java.lang.ClassNotFoundException: Didn't f
    
                                
    • 
                                
  • JavaWeb之JSP指令
                                    ihuning
javaweb
                                    
      
要点 
  
JSP指令简介  
page指令  
include指令  
  
JSP指令简介  
  
JSP指令（directive）是为JSP引擎而设计的，它们并不直接产生任何可见输出，而只是告诉引擎如何处理JSP页面中的其余部分。 
JSP指令的基本语法格式： 
<%@ 指令 属性名="
    
                                
    • 
                                
  • mac上编译FFmpeg跑ios
                                    啸笑天
ffmpeg
                                    
    1、下载文件：https://github.com/libav/gas-preprocessor， 复制gas-preprocessor.pl到/usr/local/bin/下， 修改文件权限：chmod 777 /usr/local/bin/gas-preprocessor.pl 
2、安装yasm-1.2.0 
curl http://www.tortall.net/projects/yasm
    
                                
    • 
                                
  • sql mysql oracle中字符串连接
                                    macroli
oraclesqlmysqlSQL Server
                                    
    有的时候，我们有需要将由不同栏位获得的资料串连在一起。每一种资料库都有提供方法来达到这个目的： 
 
 MySQL: CONCAT() 
 Oracle: CONCAT(), || 
 SQL Server: + 
 
CONCAT() 的语法如下： 
Mysql 中 CONCAT(字串1, 字串2, 字串3, ...): 将字串1、字串2、字串3，等字串连在一起。 
请注意，Oracle的CON
    
                                
    • 
                                
  • Git fatal: unab SSL certificate problem: unable to get local issuer ce rtificate
                                    qiaolevip
学习永无止境每天进步一点点git纵观千象
                                    
    // 报错如下： 
$ git pull origin master 
fatal: unable to access 'https://git.xxx.com/': SSL certificate problem: unable to get local issuer ce 
rtificate 
  
// 原因： 
由于git最新版默认使用ssl安全验证，但是我们是使用的git未设
    
                                
    • 
                                
  • windows命令行设置wifi
                                    surfingll
windowswifi笔记本wifi
                                    
    还没有讨厌无线wifi的无尽广告么，还在耐心等待它慢慢启动么 
教你命令行设置 笔记本电脑wifi： 
 
1、开启wifi命令 
 

netsh wlan set hostednetwork mode=allow ssid=surf8 key=bb123456
netsh wlan start hostednetwork
pause
 
 其中pause是等待输入，可以去掉 
 
2、
    
                                
    • 
                                
  • Linux（Ubuntu）下安装sysv-rc-conf
                                    wmlJava
linuxubuntusysv-rc-conf
                                    
    安装：sudo apt-get install sysv-rc-conf 使用：sudo sysv-rc-conf 
操作界面十分简洁，你可以用鼠标点击，也可以用键盘方向键定位，用空格键选择，用Ctrl+N翻下一页，用Ctrl+P翻上一页，用Q退出。 
  
  
背景知识 
sysv-rc-conf是一个强大的服务管理程序，群众的意见是sysv-rc-conf比chkconf
    
                                
    • 
                                
  • svn切换环境，重发布应用多了javaee标签前缀
                                    zengshaotao
javaee
                                    
    更换了开发环境，从杭州，改变到了上海。svn的地址肯定要切换的，切换之前需要将原svn自带的.svn文件信息删除，可手动删除，也可通过废弃原来的svn位置提示删除.svn时删除。 
  
然后就是按照最新的svn地址和规范建立相关的目录信息，再将原来的纯代码信息上传到新的环境。然后再重新检出，这样每次修改后就可以看到哪些文件被修改过，这对于增量发布的规范特别有用。 
  
检出
    
                                
    •