cnliu
cnliu

hadoop （四）开发环境及Word Count

hadoop （四）开发环境及Word Count

开发环境搭建

开发工具：IDEA
构件工具：MAVEN

引入依赖：

    
      org.apache.hadoop
      hadoop-core
      0.20.2
  



  
      commons-logging
      commons-logging
      1.0.3
  

  
      junit
      junit
      4.11
      test
  
  
      org.hamcrest
      hamcrest-library
      1.3
      test

核心文件引入【与服务器端核心文件一致】：

image

实例代码：

package org.cnliu.myhadoop.ex;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.*;

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

public class WordCount {
    public static class WordCountMapper extends MapReduceBase implements Mapper{

        private final static IntWritable one = new IntWritable(1);
        private Text word =new Text();

        public void map(Object o, Text text, OutputCollector outputCollector, Reporter reporter) throws IOException {

            StringTokenizer itr = new StringTokenizer(text.toString());
            while (itr.hasMoreTokens()){
                word.set(itr.nextToken());
                outputCollector.collect(word,one);
            }
        }
    }

    public static class WordCountReducer extends MapReduceBase implements Reducer{

        private IntWritable result = new IntWritable();

        public void reduce(Text text, Iterator iterator, OutputCollector outputCollector, Reporter reporter) throws IOException {
            int sum=0;
            while (iterator.hasNext()){
                sum+=iterator.next().get();
            }

            result.set(sum);
            outputCollector.collect(text,result);
        }
    }

    public static void main(String[] args) throws Exception{

        //配置job在fs中的输入和输出目录----备注：目录不符合则不会有执行结果
        String input = "/user/liuzd/in";
        String output = "/user/liuzd/o_t_account/result";

        JobConf conf=new JobConf(WordCount.class);

        conf.setJobName("WordCount");
        conf.addResource("classpath:/core-site.xml");
        conf.addResource("classpath:/hdfs-site.xml");
        conf.addResource("classpath:/mapred-site.xml");

        conf.setOutputKeyClass(Text.class);
        conf.setOutputValueClass(IntWritable.class);


        //设置自定义map过程的类 及 输出的key 和 value 的数据类型
        conf.setMapperClass(WordCountMapper.class);
        conf.setCombinerClass(WordCountReducer.class);
        conf.setReducerClass(WordCountReducer.class);

        conf.setInputFormat(TextInputFormat.class);
        conf.setOutputFormat(TextOutputFormat.class);

        FileInputFormat.setInputPaths(conf,new Path(input));
        FileOutputFormat.setOutputPath(conf,new Path(output));

        JobClient.runJob(conf);
        System.exit(0);
    }
}
 
 
执行结果：
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
原始数据
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
数据计算查询结果：
 
 
 
  
 
   
  
   
 
  
 
  

    image 
  
 
 
 
 
附录（遇到的问题及解决办法）
 
 
hadoop集群启动成功但live node为0
 
 
我的问题是网络问题:
hosts 配置了 
127.0.0.1 master 
192.168.56.101 master

导致hadoop解析别名master时ip为127.0.0.1 因是分布式集群部署，故主节点在其他服务器主机上，删除此项配置即可。  

 
 
启动Hadoop时，DataNode启动后一会儿自动消失的解决方法
 
 
原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。
解决方案：重新拷贝集群hadoop环境
>https://www.cnblogs.com/sasan/p/5740367.html

 
 
IDE远程提交mapreduce任务至linux，遇到ClassNotFoundException: Mapper
 
 
尝试
 
 
（1）手动打包成jar，上传到linux（运行成功）
 
 
（2）手动打包成jar，Windows下调用“java -jar ..”（运行成功）
 
 
（3）IDEA提交任务
 
 
解决方案
 
 
core-site.xml中配置路径：
 
 


    mapred.jar

    E:\java\myHadoop\out\artifacts\myHadoop_jar\myHadoop.jar



 
 
 
  
https://blog.csdn.net/qq_19648191/article/details/56684268
 
 
 
 
INFO mapred.JobClient: Task Id : attempt_201210161256_0009_r_000000_0, Status : FAILEDShuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. WARN mapred.JobClient: Error reading task outputNo route to host
 
 
解决方案：主机hostname需要与hosts文件中的别名一致。
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(hadoop （四）开发环境及Word Count)

        

            

                
    
                    
  • Ubuntu22.04系统下MVS运行海康威视工业相机
                        boss-dog
海康威视工业相机ubuntuMVS海康威视相机
                        
    之前的开发环境是Ubuntu16.04，最近因项目需求换到了Ubuntu22.04系统，安装了ROS2-humble，重新记录下开发过程。Ubuntu16.04系统可参考：VMware虚拟机中Ubuntu16.04系统下通过MVS运行海康威视工业相机Linux环境中对海康威视工业相机SDK进行二次开发（QT+CMake+Opencv+海康SDK）1.官网安装包下载https://www.hikro
    
                    
    • 
                    
  • LAMP（Linux、Apache、MySQL、PHP）环境搭建和项目部署 编译安装 全流程！
                        shyuu_
linuxapachemysql服务器云计算运维php
                        
    文章目录LAMP架构LAMP架构组件LAMP架构的工作流程LAMP组件的安装顺序编译安装ApacheHTTP服务器1.关闭防火墙并准备安装所需软件包2.安装环境依赖包3.配置软件模块4.编译及安装5.优化配置文件路径6.添加httpd服务到系统服务管理7.修改httpd服务配置文件8.浏览器访问验证编译安装MySQLd服务1.准备安装包2.安装环境依赖包3.配置软件模块4.编译及安装5.创建MyS
    
                    
    • 
                    
  • Linux下BIND安装与配置详解：正向解析、反向解析、主从域名服务器的搭建
                        shyuu_
服务器运维linux云计算网络
                        
    文章目录案例：BIND安装与配置详解一、安装BIND软件包二、配置BIND主服务器（正向解析）三、配置反向解析四、配置主从DNS服务器及自动同步案例：BIND安装与配置详解一、安装BIND软件包安装BIND软件包通过网络源或挂载的光盘安装BIND：yuminstallbind-y或者通过RPM包安装，前提是挂载系统盘ISO镜像：rpm-ivhbind-x.x.x-x.el7.x86_64.rpm查
    
                    
    • 
                    
  • 安装CentOS时的分区方法
                        shyuu_
centoslinux运维
                        
    【系列】真机安装CentOSStream8问题第一步解决安装过程报错第二步分区（❗︎本节内容❗︎）第三步配置软件源第四步安装显卡驱动第五步挂载U盘第六步解决没有1920x1080分辨率的问题文章目录【系列】真机安装CentOSStream8问题一、分区描述1.1分区建议1.2手动分区步骤1.3分区示例二、其余硬盘总结一、分区描述在CentOS安装的过程中需要分区，尤其是在生产环境或者真实机器安装，
    
                    
    • 
                    
  • vscode通过ssh连接github仓库（git+ssh+github+vscode详细步骤）
                        en你好
vscodesshgithubgit
                        
    vscode如何通过ssh连接github仓库（详细步骤）文章目录vscode如何通过ssh连接github仓库（详细步骤）前言1.ssh2.github一、安装Git二、获取ssh密钥三、在github配置ssh密钥四、在vscode上添加远程仓库总结前言首先我们先来了解一下什么是ssh和github1.sshSSH（SecureShell）是一种网络协议，用于在不安全的网络中安全地传输数据和执
    
                    
    • 
                    
  • 100个高质量ChatGPT学术论文写作提示词分享--系列（二）
                        迪娜学姐
论文阅读论文笔记人工智能chatgpt
                        
    我是娜姐@迪娜学姐，一个SCI医学期刊编辑，探索用AI工具提效论文写作和发表。ChatGPT学术论文写作高质量提示词分享，之前分享过50个，涵盖论文写作、文献综述、研究方法设计、数据分析、学术演讲准备等方面：100个高质量ChatGPT学术论文写作提示词分享--系列（一）今天继续分享50个，包括论文修改与编辑、写作技巧与提升、参考文献引用及编辑、论文投稿和课题申请：6论文修改与编辑(ThesisR
    
                    
    • 
                    
  • 常用的前端4种请求方式
                        紫水木鱼
前端
                        
    文章目录一、GET请求1.1使用方式1.2优缺点1.3应用场景二、POST请求2.1使用方式2.2优缺点2.3应用场景三、PUT请求3.1使用方式3.2优缺点3.３应用场景四、DELETE请求4.1使用方式4.2优缺点4.3应用场景五.总结一、GET请求GET请求用于向指定资源发出请求，请求中包含了资源的URL和请求参数。服务器端通过解析请求参数来返回相应的资源，不会修改服务器端的状态。1.1使用
    
                    
    • 
                    
  • Python json.load() 和 json.loads()及json.dump()和json.dumps()的区别
                        知识的宝藏
pythonjson编辑器
                        
    json.load()和json.loads()json.load()和json.loads()都是Python中用于处理JSON数据的函数，它们之间的主要区别在于它们从何处读取JSON数据。json.load():这个函数用于从文件对象（例如，通过open()函数打开的文件）中读取JSON数据，并将其解析为Python对象。它通常用于从文件中读取JSON数据。例如：importjsonwitho
    
                    
    • 
                    
  • 在Visual Studio Code中配置C/C++开发环境——从零开始
                        HYP_Coder
cvscodec++ide编辑器c语言
                        
    如何在VisualStudioCode中配置C/C++开发环境——从零开始引言在学习C/C++编程时，一个高效的开发环境可以极大地提升你的编程体验和效率。VisualStudioCode（VSCode）是一个流行的代码编辑器，它以其强大的功能和灵活的配置而闻名。即使你之前从未编写过任何代码，这篇文章也将带你一步步了解如何在VSCode中配置C/C++开发环境，让你能够顺利地开始编写、编译和调试C/
    
                    
    • 
                    
  • 【STM32】直接内存访问DMA
                        大雨淅淅
嵌入式开发单片机嵌入式硬件stm32
                        
    目录一、工作原理二、组成部分三、优缺点3.1优点3.2缺点四、基于STM32的DMA驱动程序4.1硬件准备4.2软件准备4.3使用STM32CubeMX进行配置4.3.1选择芯片4.3.2配置时钟4.3.3配置串口4.3.4配置DMA4.3.5生成代码4.4编写DMA驱动代码4.5.代码解释4.6编译和下载4.7DMA中断处理（可选）直接内存访问（DirectMemoryAccess，简称DMA）
    
                    
    • 
                    
  • 【STM32】STM32外设应用
                        大雨淅淅
嵌入式开发stm32
                        
    目录一、GPIO（通用输入输出）二、USART（通用同步异步收发传输器）三、ADC（模拟-数字转换器）四、TIM（定时器）STM32是意法半导体推出的一系列32位微控制器，具有丰富的外设资源。以下为你详细介绍几种常见STM32外设的应用：一、GPIO（通用输入输出）原理：GPIO是最基本的外设，可配置为输入或输出模式。当配置为输入模式时，可读取外部信号；配置为输出模式时，能向外部输出高或低电平。应
    
                    
    • 
                    
  • 【前端】Node.js使用教程
                        大雨淅淅
编程语言vim编辑器linuxnode.js开发语言前端
                        
    目录一、Node.js开发环境和编译1.1安装Node.js1.2创建一个Node.js项目1.3编写Node.js程序1.4运行Node.js程序1.5使用Node.js模块二、高级的Node.js编程概念和示例2.1异步编程2.2错误处理2.3网络请求2.4构建Web服务器2.5数据库交互三、Node.js开发中重要方面和概念3.1环境变量和配置文件3.1.1使用环境变量3.1.2使用配置文件
    
                    
    • 
                    
  • 人物传记之新月篇
                        暮雨哀尘
人物传记篇哈希算法算法c语言pythonpycharmvscodewindows
                        
    相关故事链接（及时更新）：Python的那些事第四篇：编程中的智慧之光控制结构-CSDN博客目录1.C语言程序：增强版加密与解密工具2.Python程序：增强版加密与解密工具功能对比表格详细功能解释人物传记简介新月，25世纪的杰出女性，以其在编程、人工智能和军事战略领域的卓越成就而闻名。她不仅是一位才华横溢的科学家，还是一位深受尊敬的军事领袖。新月的故事是关于智慧、勇气和创新精神的传奇。早年生活新
    
                    
    • 
                    
  • IT信息化蓝图规划设计与落地方案
                        公众号：优享智库
数字化转型数据治理主数据数据仓库大数据架构
                        
    IT信息化蓝图规划设计与落地方案第1张大家好！我今天要介绍的主题是：IT信息化蓝图规划设计与落地方案第2张我们今天主要从以下几个方面展开介绍：IT信息化现状分析蓝图规划设计原则与目标基础设施架构优化方案应用系统整合与升级策略数据治理与安全保障措施组织架构调整与人员培训方案实施落地时间表及预算安排总结回顾与未来发展规划第3张下面介绍IT信息化现状分析。第4张在这个领域，首先要看清现有的信息化系统是个
    
                    
    • 
                    
  • 前端开发设计模式——单例模式
                        夜月还山岚
JavaScript设计模式设计模式单例模式前端javascript
                        
    目录一、单例模式的定义和特点：1.定义：2.特点：二、单例模式的实现方式：1.立即执行函数结合闭包实现：2.ES6类实现：三、单例模式的应用场景1.全局状态管理：2.日志记录器：3.数据库连接：四、单例模式的优点1.减少资源消耗：2.全局访问：3.易于管理：五、单例模式的缺点1.测试困难：2.违法单一职责原则：3.可能导致内存泄漏：六、单例模式的注意事项1.线程安全：2.延迟加载：3.可扩展性：在
    
                    
    • 
                    
  • 五、BLE Demo目录详解及演示
                        才才爱烤火
BLE入门到精通（基于TIcc26x2）linuxc语言mcustm32物联网嵌入式硬件iot
                        
    1、导入、编译、烧录打开之前安装的CCS，如下点击导入工程选择如下工程：simplelink_cc13xx_cc26xx_sdk_7_10_01_24\examples\rtos\CC26X2R1_LAUNCHXL\ble5stack\simple_peripheral如图常用的三个按钮2、BLE使用演示咱们详细介绍下目录：介绍完成后连接开发板点击下载，下载成功后打开串口工具，重新上电就可以看到我
    
                    
    • 
                    
  • 【智慧水务】二供数仓功能架构
                        大雨淅淅
物联网网络人工智能
                        
    目录一、数据采集层（一）设备数据采集（二）水质数据采集（三）用户数据采集二、数据传输层（一）有线传输（二）无线传输三、数据存储层（一）原始数据存储（二）数据仓库存储四、数据分析层（一）实时数据分析（二）历史数据分析（三）预测性分析五、数据展示层（一）可视化界面（二）移动端应用六、系统管理层（一）用户权限管理（二）数据备份与恢复（三）系统维护与升级一、数据采集层（一）设备数据采集传感器数据：在二次供
    
                    
    • 
                    
  • PAT乙组1001题解
                        YumenQen
PAT练习题C语言手练
                        
    问题描述：对任何一个自然数n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么把(3n+1)砍掉一半。这样一直反复砍下去，最后一定在某一步得到n=1。对给定的任一不超过1000的正整数n，简单地数一下，需要多少步（砍几下）才能得到n=1？输入格式：每个测试输入包含1个测试用例，即给出自然数n的值。输出格式：输出从n计算到1需要的步数。#includeintcount=0;intn;intmain
    
                    
    • 
                    
  • IDEA里的Spring Boot的开发环境搭建
                        北城相拥£
springboot
                        
    SpringBoot的开发环境今天接着介绍SpringBoot的开发环境1.jdk的配置使用IDEA进行开发，在IDEA中配置jdk的方式很简单，打开File->ProjectStructure选择SDKs在JDKhomepath中选择本地jdk的安装目录在Name中为jdk自定义名字通过以上三步骤，即可导入本地安装的jdk。如果是使用STS或者eclipse可以通过两步骤添加：1、window-
    
                    
    • 
                    
  • 跨域问题及解决方案
                        八月五
实战项目springboot后端
                        
    跨域问题不仅影响开发效率，还可能导致项目进度延误。因此，理解和掌握跨域问题的原理及其解决方案对于前端开发者和后端开发者来说都至关重要。本文将详细介绍什么是跨域、跨域产生的原因，以及常见的后端跨域解决方案。文章目录一、什么是跨域二、跨域产生的原因三、解决策略：1.CORS（跨域资源共享）2.在SpringBoot中配置CORS2.1在目标方法中添加`@CrossOrign`注解2.2添加Cors过滤
    
                    
    • 
                    
  • Spring Boot 开发环境搭建详解
                        捂月
springboot后端java
                        
    下面安装springboot的详细步骤，涵盖了从安装JDK和Maven到创建和运行一个SpringBoot项目的全过程。文章目录1.安装JDK步骤1.1：下载JDK步骤1.2：安装JDK步骤1.3：配置环境变量2.安装Maven步骤2.1：下载Maven步骤2.2：解压文件步骤2.3：配置环境变量3.配置IDE步骤3.1：下载并安装IDE步骤3.2：配置IDE4.创建SpringBoot项目步骤4
    
                    
    • 
                    
  • python爬虫爬取拉勾网招聘信息
                        2401_84692405
程序员python爬虫数据挖掘
                        
    print('showId',show_id)print(“typeofresult”,type(position_result))total_count=position_result[‘totalCount’]没有符合条件的工作，直接返回iftotal_count==0:returnremain_page_count=math.ceil(total_count/JOBS_COUNT_ONE_P
    
                    
    • 
                    
  • Spring Boot 开发环境搭建及示例应用
                        爪哇学长
springspringboot后端java
                        
    文章目录1.准备开发工具安装JDK安装IDE安装Maven2.创建SpringBoot项目使用SpringInitializr创建项目导入项目到IDE3.编写代码主类创建控制器创建实体类创建仓库接口创建服务类创建控制器4.配置文件5.运行应用程序6.测试应用程序7.调试与优化8.部署应用1.准备开发工具安装JDK确保你的系统上已经安装了JDK。可以通过以下命令检查是否已安装以及版本信息：java-
    
                    
    • 
                    
  • node.js毕设基于B_S架构的工艺品展示系统 论文+程序
                        凌菲学姐—毕设
node.js课程设计架构
                        
    本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取源码系统程序文件列表开题报告内容一、选题背景关于工艺品展示系统的研究，现有研究主要以工艺品的实体展示、传统营销模式为主，专门针对基于B/S架构的工艺品展示系统的研究较少。在国内外，工艺品行业发展迅速，但传统的展示方式受地域、时间等限制，难以满足日益增长的市场需求。目前存在的争论焦点在于如何在网络环境下，既能全面展示工艺品
    
                    
    • 
                    
  • leetcode - 126. Word Ladder II
                        KpLn_HJL
OJ题目记录leetcodewordc#
                        
    DescriptionAtransformationsequencefromwordbeginWordtowordendWordusingadictionarywordListisasequenceofwordsbeginWord->s1->s2->…->sksuchthat:Everyadjacentpairofwordsdiffersbyasingleletter.Everysifor1"ho
    
                    
    • 
                    
  • 一文看尽C、C++、Java与Python的优势与应用
                        禁小默
pythonjavac语言
                        
    前言编程语言的选择直接影响到开发效率、系统性能以及开发者的工作体验。C、C++、Java和Python是当前最受欢迎的四种编程语言，它们各自有着不同的设计哲学、应用领域及开发者社区。在这篇博客中，我们将深入对比这四种语言的特点，帮助大家根据项目需求做出合理的选择。1.历史背景与语言设计理念C语言C语言由DennisRitchie于1972年在贝尔实验室开发，最初用于系统编程和操作系统的开发。C语言
    
                    
    • 
                    
  • 使用Bert+BiLSTM+CRF训练 NER任务
                        CHEN_RUI_2200
机器学习bert人工智能深度学习
                        
    使用的数据集在这里E-CommercialNERDataset/电商NER数据集_数据集-阿里云天池针对面向电商的命名实体识别研究，我们通过爬取搜集了淘宝商品文本的标题，并标注了4大类，9小类的实体类别。具体类型及实体数量如下针对面向电商的命名实体识别研究，我们通过爬取搜集了淘宝商品文本的标题，并标注了4大类，9小类的实体类别。具体类型及实体数量如下：每个文件数据格式相同，都为根据BIschema
    
                    
    • 
                    
  • 【数据结构基础C++】图论04-深度优先遍历，图的连通分量个数
                        新时代&农民
数据结构C++图论深度优先数据结构
                        
    单独写一个连通分量的类代码#pragmaonce#includeusingnamespacestd;templateclasscomponent{private:Graph&G;bool*visited;intccount;int*connected;//将深度优先遍历写在私有里voiddfs(intv){visited[v]=true;//记录该点被访问connected[v]=ccount;/
    
                    
    • 
                    
  • Silero VAD 教程
                        褚艳影Gloria

                        
    SileroVAD教程silero-vadSileroVAD:pre-trainedenterprise-gradeVoiceActivityDetector项目地址:https://gitcode.com/gh_mirrors/si/silero-vad1.项目目录结构及介绍该开源项目silero-vad的目录结构如下：.├──datasets#包含示例数据集└──examples#存放示例代码
    
                    
    • 
                    
  • DP优化专题
                        pytKonnyaku
算法动态规划
                        
    文章目录倍增优化DP[NOIP2012提高组]开车旅行题目描述输入格式输出格式数据结构优化DP清理班次2赤壁之战估算单调队列优化DP[SCOI2010]股票交易题目描述裁剪序列单调队列优化多重背包斜率优化DPⅠ状态转移方程Ⅱ决策点关系Ⅲ凸壳Ⅳ维护答案Ⅴ特殊性Ⅵ模板CodeⅦ注意事项K匿名序列四边形不等式优化DP定义：定理：一维线性DP的四边形不等式优化决策单调性定理二维四边形不等式优化DP决策单调
    
                    
    • 
                                
  • 多线程编程之join()方法
                                    周凡杨
javaJOIN多线程编程线程
                                    
    现实生活中，有些工作是需要团队中成员依次完成的，这就涉及到了一个顺序问题。现在有T1、T2、T3三个工人，如何保证T2在T1执行完后执行，T3在T2执行完后执行？问题分析：首先问题中有三个实体，T1、T2、T3， 因为是多线程编程，所以都要设计成线程类。关键是怎么保证线程能依次执行完呢？   
Java实现过程如下： 
public class T1 implements Runnabl
    
                                
    • 
                                
  • java中switch的使用
                                    bingyingao
javaenumbreakcontinue
                                    
    java中的switch仅支持case条件仅支持int、enum两种类型。 
用enum的时候，不能直接写下列形式。 
 
 
switch (timeType) {
            case ProdtransTimeTypeEnum.DAILY:

                break;

            default:
                br
    
                                
    • 
                                
  • hive having count 不能去重
                                    daizj
hive去重having count计数
                                    
    hive在使用having count()是，不支持去重计数 
  
hive (default)> select imei from t_test_phonenum where ds=20150701 group by imei having count(distinct phone_num)>1 limit 10;  
FAILED: SemanticExcep
    
                                
    • 
                                
  • WebSphere对JSP的缓存
                                    周凡杨
WAS JSP 缓存
                                    
          对于线网上的工程，更新JSP到WebSphere后，有时会出现修改的jsp没有起作用，特别是改变了某jsp的样式后，在页面中没看到效果，这主要就是由于websphere中缓存的缘故，这就要清除WebSphere中jsp缓存。要清除WebSphere中JSP的缓存，就要找到WAS安装后的根目录。 
       现服务
    
                                
    • 
                                
  • 设计模式总结
                                    朱辉辉33
java设计模式
                                    
    1.工厂模式 
  1.1 工厂方法模式 (由一个工厂类管理构造方法) 
     1.1.1普通工厂模式(一个工厂类中只有一个方法) 
     1.1.2多工厂模式(一个工厂类中有多个方法) 
     1.1.3静态工厂模式(将工厂类中的方法变成静态方法) 
&n
    
                                
    • 
                                
  • 实例：供应商管理报表需求调研报告
                                    老A不折腾
finereport报表系统报表软件信息化选型
                                    
    引言 
随着企业集团的生产规模扩张，为支撑全球供应链管理，对于供应商的管理和采购过程的监控已经不局限于简单的交付以及价格的管理，目前采购及供应商管理各个环节的操作分别在不同的系统下进行，而各个数据源都独立存在，无法提供统一的数据支持；因此，为了实现对于数据分析以提供采购决策，建立报表体系成为必须。 业务目标 
1、通过报表为采购决策提供数据分析与支撑 
2、对供应商进行综合评估以及管理，合理管理和
    
                                
    • 
                                
  • mysql
                                    林鹤霄

                                    
    转载源：http://blog.sina.com.cn/s/blog_4f925fc30100rx5l.html 
mysql -uroot -p 
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) 
  
[root@centos var]# service mysql
    
                                
    • 
                                
  • Linux下多线程堆栈查看工具(pstree、ps、pstack)
                                    aigo
linux
                                    
    原文：http://blog.csdn.net/yfkiss/article/details/6729364 
  
1. pstree 
pstree以树结构显示进程$ pstree -p work | grep adsshd(22669)---bash(22670)---ad_preprocess(4551)-+-{ad_preprocess}(4552)  &n
    
                                
    • 
                                
  • html input与textarea 值改变事件
                                    alxw4616
JavaScript
                                    
    // 文本输入框(input) 文本域(textarea)值改变事件 
// onpropertychange(IE) oninput(w3c) 
$('input,textarea').on('propertychange input', function(event) { 
     console.log($(this).val()) 
}); 
  
    
                                
    • 
                                
  • String类的基本用法
                                    百合不是茶
String
                                    
      
字符串的用法; 
    // 根据字节数组创建字符串 
byte[] by = { 'a', 'b', 'c', 'd' };
String newByteString = new String(by); 
  
  
    1,length()  获取字符串的长度 
  
  &nbs
    
                                
    • 
                                
  • JDK1.5 Semaphore实例
                                    bijian1013
javathreadjava多线程Semaphore
                                    
    Semaphore类 
       一个计数信号量。从概念上讲，信号量维护了一个许可集合。如有必要，在许可可用前会阻塞每一个 acquire()，然后再获取该许可。每个 release() 添加一个许可，从而可能释放一个正在阻塞的获取者。但是，不使用实际的许可对象，Semaphore 只对可用许可的号码进行计数，并采取相应的行动。 
S
    
                                
    • 
                                
  • 使用GZip来压缩传输量
                                    bijian1013
javaGZip
                                    
            启动GZip压缩要用到一个开源的Filter：PJL Compressing Filter。这个Filter自1.5.0开始该工程开始构建于JDK5.0，因此在JDK1.4环境下只能使用1.4.6。 
        PJL Compressi
    
                                
    • 
                                
  • 【Java范型三】Java范型详解之范型类型通配符
                                    bit1129
java
                                    
      
  
定义如下一个简单的范型类， 
  
package com.tom.lang.generics;

public class Generics<T> {
    private T value;
    public Generics(T  value) {
        this.value = value;
    }
} 
    
                                
    • 
                                
  • 【Hadoop十二】HDFS常用命令
                                    bit1129
hadoop
                                    
    1. 修改日志文件查看器 
  
hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xml
cat edits.xml 
  
修改日志文件转储为xml格式的edits.xml文件，其中每条RECORD就是一个操作事务日志 
  2. fsimage查看HDFS中的块信息等 
&nb
    
                                
    • 
                                
  • 怎样区别nginx中rewrite时break和last
                                    ronin47

                                    
    在使用nginx配置rewrite中经常会遇到有的地方用last并不能工作，换成break就可以，其中的原理是对于根目录的理解有所区别，按我的测试结果大致是这样的。  
 
 location /    
 {     
     proxy_pass http://test; 
    
                                
    • 
                                
  • java-21.中兴面试题 输入两个整数 n 和 m ，从数列 1 ， 2 ， 3.......n 中随意取几个数 , 使其和等于 m
                                    bylijinnan
java
                                    
    
import java.util.ArrayList;
import java.util.List;
import java.util.Stack;

public class CombinationToSum {

	/*
第21 题
2010 年中兴面试题
编程求解：
输入两个整数 n 和 m ，从数列 1 ， 2 ， 3.......n 中随意取几个数 ,
使其和等
    
                                
    • 
                                
  • eclipse svn 帐号密码修改问题
                                    开窍的石头
eclipseSVNsvn帐号密码修改
                                    
    问题描述： 
     Eclipse的SVN插件Subclipse做得很好，在svn操作方面提供了很强大丰富的功能。但到目前为止，该插件对svn用户的概念极为淡薄，不但不能方便地切换用户，而且一旦用户的帐号、密码保存之后，就无法再变更了。 
解决思路： 
     删除subclipse记录的帐号、密码信息，重新输入
    
                                
    • 
                                
  • [电子商务]传统商务活动与互联网的结合
                                    comsci
电子商务
                                    
     
 
      某一个传统名牌产品，过去销售的地点就在某些特定的地区和阶层，现在进入互联网之后，用户的数量群突然扩大了无数倍，但是，这种产品潜在的劣势也被放大了无数倍，这种销售利润与经营风险同步放大的效应，在最近几年将会频繁出现。。。。 
 
       如何避免销售量和利润率增加的
    
                                
    • 
                                
  • java 解析 properties-使用 Properties-可以指定配置文件路径
                                    cuityang
javaproperties
                                    
    #mq 
xdr.mq.url=tcp://192.168.100.15:61618; 
 
import java.io.IOException; 
import java.util.Properties; 
 
 
public class Test { 
 
 String conf = "log4j.properties"; 
 private static final
    
                                
    • 
                                
  • Java核心问题集锦
                                    darrenzhu
java基础核心难点
                                    
    注意，这里的参考文章基本来自Effective Java和jdk源码 
 
 
1)ConcurrentModificationException 
当你用for each遍历一个list时，如果你在循环主体代码中修改list中的元素，将会得到这个Exception，解决的办法是： 
1)用listIterator, 它支持在遍历的过程中修改元素， 
2)不用listIterator, new一个
    
                                
    • 
                                
  • 1分钟学会Markdown语法
                                    dcj3sjt126com
markdown
                                    
    markdown 简明语法 基本符号 
 
 *,-,+ 3个符号效果都一样，这3个符号被称为 Markdown符号  
 空白行表示另起一个段落 
 `是表示inline代码，tab是用来标记 代码段，分别对应html的code，pre标签 
 换行 
 
 单一段落( <p>) 用一个空白行 
 连续两个空格 会变成一个 <br> 
 连续3个符号，然后是空行
    
                                
    • 
                                
  • Gson使用二（GsonBuilder）
                                    eksliang
jsongsonGsonBuilder
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2175473 一.概述 
    GsonBuilder用来定制java跟json之间的转换格式 
  二.基本使用 
实体测试类： 
温馨提示：默认情况下@Expose注解是不起作用的,除非你用GsonBuilder创建Gson的时候调用了GsonBuilder.excludeField
    
                                
    • 
                                
  • 报ClassNotFoundException: Didn't find class "...Activity" on path: DexPathList
                                    gundumw100
android
                                    
    有一个工程，本来运行是正常的，我想把它移植到另一台PC上，结果报： 
 
 java.lang.RuntimeException: Unable to instantiate activity ComponentInfo{com.mobovip.bgr/com.mobovip.bgr.MainActivity}: java.lang.ClassNotFoundException: Didn't f
    
                                
    • 
                                
  • JavaWeb之JSP指令
                                    ihuning
javaweb
                                    
      
要点 
  
JSP指令简介  
page指令  
include指令  
  
JSP指令简介  
  
JSP指令（directive）是为JSP引擎而设计的，它们并不直接产生任何可见输出，而只是告诉引擎如何处理JSP页面中的其余部分。 
JSP指令的基本语法格式： 
<%@ 指令 属性名="
    
                                
    • 
                                
  • mac上编译FFmpeg跑ios
                                    啸笑天
ffmpeg
                                    
    1、下载文件：https://github.com/libav/gas-preprocessor， 复制gas-preprocessor.pl到/usr/local/bin/下， 修改文件权限：chmod 777 /usr/local/bin/gas-preprocessor.pl 
2、安装yasm-1.2.0 
curl http://www.tortall.net/projects/yasm
    
                                
    • 
                                
  • sql mysql oracle中字符串连接
                                    macroli
oraclesqlmysqlSQL Server
                                    
    有的时候，我们有需要将由不同栏位获得的资料串连在一起。每一种资料库都有提供方法来达到这个目的： 
 
 MySQL: CONCAT() 
 Oracle: CONCAT(), || 
 SQL Server: + 
 
CONCAT() 的语法如下： 
Mysql 中 CONCAT(字串1, 字串2, 字串3, ...): 将字串1、字串2、字串3，等字串连在一起。 
请注意，Oracle的CON
    
                                
    • 
                                
  • Git fatal: unab SSL certificate problem: unable to get local issuer ce rtificate
                                    qiaolevip
学习永无止境每天进步一点点git纵观千象
                                    
    // 报错如下： 
$ git pull origin master 
fatal: unable to access 'https://git.xxx.com/': SSL certificate problem: unable to get local issuer ce 
rtificate 
  
// 原因： 
由于git最新版默认使用ssl安全验证，但是我们是使用的git未设
    
                                
    • 
                                
  • windows命令行设置wifi
                                    surfingll
windowswifi笔记本wifi
                                    
    还没有讨厌无线wifi的无尽广告么，还在耐心等待它慢慢启动么 
教你命令行设置 笔记本电脑wifi： 
 
1、开启wifi命令 
 

netsh wlan set hostednetwork mode=allow ssid=surf8 key=bb123456
netsh wlan start hostednetwork
pause
 
 其中pause是等待输入，可以去掉 
 
2、
    
                                
    • 
                                
  • Linux（Ubuntu）下安装sysv-rc-conf
                                    wmlJava
linuxubuntusysv-rc-conf
                                    
    安装：sudo apt-get install sysv-rc-conf 使用：sudo sysv-rc-conf 
操作界面十分简洁，你可以用鼠标点击，也可以用键盘方向键定位，用空格键选择，用Ctrl+N翻下一页，用Ctrl+P翻上一页，用Q退出。 
  
  
背景知识 
sysv-rc-conf是一个强大的服务管理程序，群众的意见是sysv-rc-conf比chkconf
    
                                
    • 
                                
  • svn切换环境，重发布应用多了javaee标签前缀
                                    zengshaotao
javaee
                                    
    更换了开发环境，从杭州，改变到了上海。svn的地址肯定要切换的，切换之前需要将原svn自带的.svn文件信息删除，可手动删除，也可通过废弃原来的svn位置提示删除.svn时删除。 
  
然后就是按照最新的svn地址和规范建立相关的目录信息，再将原来的纯代码信息上传到新的环境。然后再重新检出，这样每次修改后就可以看到哪些文件被修改过，这对于增量发布的规范特别有用。 
  
检出
    
                                
    •