不自律的自律_input
不自律的自律_input

MapReduce的数据去重功能

实验材料及说明
现有某电商网站用户对商品的收藏数据，记录了用户收藏的商品id以及收藏日期，文件名为buyer_favorite。buyer_favorite包含：买家id，商品id，收藏日期这三个字段，数据以“\t”分割，样本数据及格式如下：
买家ID 商品ID 收藏日期
10181 1000481 2010-04-04 16:54:31
20001 1001597 2010-04-07 15:07:52
20001 1001560 2010-04-07 15:08:27
20042 1001368 2010-04-08 08:20:30
20067 1002061 2010-04-08 16:45:33
20056 1003289 2010-04-12 10:50:55
20056 1003290 2010-04-12 11:57:35
20056 1003292 2010-04-12 12:05:29
20054 1002420 2010-04-14 15:24:12
20055 1001679 2010-04-14 19:46:04
20054 1010675 2010-04-14 15:23:53
20054 1002429 2010-04-14 17:52:45
20076 1002427 2010-04-14 19:35:39
20054 1003326 2010-04-20 12:54:44
20056 1002420 2010-04-15 11:24:49
20064 1002422 2010-04-15 11:35:54
20056 1003066 2010-04-15 11:43:01
20056 1003055 2010-04-15 11:43:06
20056 1010183 2010-04-15 11:45:24
20056 1002422 2010-04-15 11:45:49
20056 1003100 2010-04-15 11:45:54
20056 1003094 2010-04-15 11:45:57
20056 1003064 2010-04-15 11:46:04
20056 1010178 2010-04-15 16:15:20
20076 1003101 2010-04-15 16:37:27
20076 1003103 2010-04-15 16:37:05
20076 1003100 2010-04-15 16:37:18
20076 1003066 2010-04-15 16:37:31
一、实验目的
掌握MapReduce的数据去重功能。即，要求根据所给材料，根据商品ID进行去重，统计有哪些商品被用户收藏了。
二、实验环境
（1）Linux Ubuntu 18.XX
（2）jdk-8u162-linux-x64
（3）hadoop-2.7.1
（4）hadoop-2.7.1-eclipse.jar
三、实验原理或流程
实验原理或流程需要包括以下内容：
（1）清晰描述要解决的问题以及其背后的原理
数据去重的目的是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然想到将相同key值的所有value记录交到一台reduce机器，让其无论这个数据出现多少次，最终结果只输出一次。具体就是reduce的输出应该以数据作为key,而对value-list没有要求，当reduce接收到一个时，就直接将key复制到输出的key中，将value设置为空。
map阶段采用Hadoop的默认的作业输入方式，把输入的value用split()方法截取，截取出的商品id字段设置为key,设置value为空，然后直接输出。
map输出的键值对经过shuffle过程，聚成后，会交给reduce函数。reduce函数,不管每个key 有多少个value，它直接将输入的赋值给输出的key，将输出的value设置为空，然后输出就可以了。
（2）用流程图表示算法的实现过程
MapReduce的数据去重功能_第1张图片
四、实验内容
实验内容需要包括以下内容：
（1）问题分析
本实验要求根据商品ID进行去重，统计有哪些商品被用户收藏了。具体就是reduce的输入应该以数据作为key，在这里先将把输入的value用split()方法截取，截取出的商品id字段设置为key，而对value-list则没有要求（可以设置为空）。当reduce接收到一个时就直接将输入的key复制到输出的key中，并将value设置成空值，然后输出。
（2）重要的实验过程截图
1.切换到/usr/local/hadoop/目录下，启动hadoop。
./sbin/start-dfs.sh
MapReduce的数据去重功能_第2张图片
2.本实验上传的数据与MapReduce统计排序相同，故此次试验不再上传。有需要可以查阅上一篇文章。
3.编写代码，运行出结果
MapReduce的数据去重功能_第3张图片
MapReduce的数据去重功能_第4张图片
（3）代码调试说明
1、将输入的value用split（）方法截取，将截取出的商品ID字段设置为key
MapReduce的数据去重功能_第5张图片
2、shuffle自动根据key值进行排序
MapReduce的数据去重功能_第6张图片

附完整源代码：

package yang;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.mapreduce.lib.output.*;
import org.apache.hadoop.mapreduce.Mapper.Context;
import java.io.IOException;
public class quchong {
	public static class Map extends Mapper {
        private static Text newKey=new Text();//从输入中得到的每行的数据的类型
        private static Text newValue=new Text();
        public void map(Object key,Text value,Context context) throws IOException, InterruptedException {
        	  String line=value.toString();
              if (line!=null) {
               String arr[]=line.split("   ");//把输入的value用split()方法截取
               newKey.set(arr[1]);//截取出的商品id字段设置为key
              newValue.set(arr[0]);
            context.write(newKey, newValue);
              }
        }
	}
	
        public static class Reduce extends Reducer {
            public static Text myValue = new Text();
            public void reduce(Text key,Iterable values,Context context) throws IOException, InterruptedException{
                String myList = new String();
                for (Text value : values)
                    myList += value.toString() + ";";//输出所有收藏了该商品的用户id
                myValue.set(myList);
                context.write(key,myValue);
            }
        }
     
        public static void main(String[] args) throws Exception{
            Configuration conf=new Configuration();
            Job job =new Job(conf,"quchong");
            job.setJarByClass(quchong.class);
     
            job.setMapperClass(Map.class);
            job.setReducerClass(Reduce.class);
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(Text.class);
     
            Path in=new Path("hdfs://localhost:9000/shiyan/in/shangpin11.txt");
            Path out=new Path("hdfs://localhost:9000/shiyan/out3");
            FileInputFormat.addInputPath(job,in);
            FileOutputFormat.setOutputPath(job,out);
            System.exit(job.waitForCompletion(true) ? 0 : 1);
        }
	}


结果截图：
 MapReduce的数据去重功能_第7张图片

























你可能感兴趣的:(大数据,mapreduce,hadoop,大数据)






    

  • 数据分析：低代码平台助力大数据时代的飞跃发展
快乐非自愿
数据分析低代码大数据

    随着信息技术的突飞猛进，我们身处于一个数据量空前增长的时代——大数据时代。在这个时代背景下，数据分析已经成为企业决策、政策制定、科学研究等众多领域不可或缺的重要工具。然而，面对海量的数据和日益复杂多变的分析需求，传统的数据分析方法往往捉襟见肘，难以应对。幸运的是，低代码平台的兴起为大数据分析注入了新的活力，成为推动大数据时代发展的重要力量。低代码平台，顾名思义，是一种通过少量甚至无需编写代码，就能
    

    • 

  • Apache Kafka的伸缩性探究：实现高性能、弹性扩展的关键
i289292951
kafkakafka

    引言ApacheKafka作为当今最流行的消息中间件之一，以其强大的伸缩性著称。在大数据处理、流处理和实时数据集成等领域，Kafka的伸缩性为其在面临急剧增长的数据流量和多样化业务需求时提供了无与伦比的扩展能力。本文将深入探讨Kafka如何通过其独特的架构设计实现高水平的伸缩性，以及在实际部署中如何优化和利用这一特性。一、Kafka伸缩性的核心设计分区（Partitioning）与水平扩展Kafk
    

    • 

  • Azkaban各种类型的Job编写
__元昊__

    一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata：把数据从hdfs导入TeradatateradataToHdfs：把数据从Te
    

    • 

  • Linux（centos7）部署hive
灯下夜无眠
Linuxlinuxhive运维dbeaverhive客户端

    前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch.
    

    • 

  • 山东省大数据局副局长禹金涛一行莅临聚合数据走访调研
聚合数据
API大数据人工智能API

    3月19日，山东省大数据局党组成员、副局长禹金涛莅临聚合数据展开考察调研。山东省大数据局数据应用管理与安全处处长杨峰，副处长都海明参加调研，苏州市大数据局副局长汤晶陪同。聚合数据董事长左磊等人接待来访。调研组一行参观了聚合数据展厅，了解了聚合数据的发展历程、数据产品、应用案例、奖项荣誉等情况。并就企业在数据处理和应用方面取得的成绩进行了深入交流。作为最早一批进入大数据行业的企业，聚合数据深耕行业十
    

    • 

  • 智慧公厕的先进技术应用
中期科技ZONTREE
智慧厕所智慧公厕智慧城市

    公共厕所一直以来都是城市管理中一个重要的工作，但设施老化、环境脏乱、服务质量低下等问题一直困扰着城市居民。然而，随着科技的进步和数字技术的应用，智慧公厕的建设正在改变这一现状。智慧公厕通过对所在辖区内所有公共厕所的全域感知、全网协同、全业务融合和全场景智慧的赋能，“千厕一云”的公共厕所云管理模式应运而生。智慧公厕的云端多屏管理，将各个公厕连接在一起，实现信息的共享和管理的集中化。通过大数据、云计算
    

    • 

  • 关于HDP的20道高级运维面试题
编织幻境的妖
运维

    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
    

    • 

  • 【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理
音乐学家方大刚
ScalaHadoophadoopscalaspark

    风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark是一个广泛使用的高性能、通用的计算框架，而ClickHouse作为一个高性能的列式数据库，特别适合在线分析处理（OLAP）。结合Scala语
    

    • 

  • 一文详解大数据时代与低代码开发应用
快乐非自愿
大数据低代码

    随着信息技术的飞速发展，我们迎来了一个崭新的时代——大数据时代。在这个时代，数据成为了一种新的资源，大数据技术的应用成为了推动社会进步的关键力量。而在大数据技术的浪潮中，低代码开发应用也逐渐崭露头角，以其高效、灵活的特点，成为大数据时代的重要支撑。大数据时代的来临随着科技的飞速发展和互联网的广泛普及，我们迎来了一个被称为“大数据时代”的全新时代。这个时代，数据无处不在，无时不刻不在增长，其规模之大
    

    • 

  • Spark面试整理-Spark是什么？
不务正业的猿
面试Sparkspark大数据分布式

    ApacheSpark是一个开源的分布式计算系统，它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的，并于2010年开源。自那时起，Spark已经成为大数据处理中最受欢迎和广泛使用的框架之一。下面是Spark的一些关键特点：速度：Spark使用了先进的DAG（有向无环图）执行引擎，可以支持循环数据流和内存计算。这使得Spark在数据处理方面
    

    • 

  • hadoop配置免密登录
我干开发那十年
ssh服务器linux

    1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
    

    • 

  • 请介绍一下大数据主要是干什么的？决策支持预测分析用户行为分析个性化服务操作优化风险管理创新与产品开发加拿大卡尔加里大学历史背景学术结构研究和创新校园设施
盛溪的猫猫
感悟大数据英语加拿大

    目录请介绍一下大数据主要是干什么的？决策支持预测分析用户行为分析个性化服务操作优化风险管理创新与产品开发加拿大卡尔加里大学历史背景学术结构研究和创新校园设施国际化学生生活大语言模型目前的问题卡尔加里经济地理和气候文化和活动教育交通绿色城市AVL树的旋转单右旋（LL旋转）单左旋（RR旋转）左右旋（LR旋转）右左旋（RL旋转）请介绍一下大数据主要是干什么的？大数据是一个涉及从极其庞大和复杂的数据集中提
    

    • 

  • GEE在灾害预警中的遥感云大数据应用及GPT模型辅助分析
AIzmjl
GPT生态遥感大数据gptgee灾害预警水体湿地遥感

    随着遥感技术的快速发展，云大数据在灾害、水体与湿地领域的应用日益广泛。通过遥感云大数据，我们能够实时获取灾害发生地的影像信息，为灾害预警、应急响应提供有力支持。同时，在水体与湿地监测方面，遥感云大数据也发挥着重要作用，帮助我们了解水体的分布、变化以及湿地的生态状况。近年来，GPT模型在自然语言处理领域取得了显著成果，其强大的文本生成和理解能力为遥感云大数据的应用提供了新的可能。通过将GPT模型与遥
    

    • 

  • 大数据毕设 图像识别-人脸识别与疲劳检测 - python opencv
fawubio_A
python算法

    文章目录0前言1课题背景2Dlib人脸识别2.1简介2.2Dlib优点2.3相关代码2.4人脸数据库2.5人脸录入加识别效果3疲劳检测算法3.1眼睛检测算法3.2打哈欠检测算法3.3点头检测算法4PyQt54.1简介4.2相关界面代码0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师
    

    • 

  • 大数据开发（Hive面试真题-卷二）
Key-Key
大数据hive面试

    大数据开发（Hive面试真题）1、举几个Hive开窗函数例子？什么要有开窗函数，和聚集函数区别？2、说下Hive是什么？跟数据仓库区别？3、Hive架构？4、Hive数据倾斜以及解决方案？5、Hive如果不用参数调优，在map和reduce端应该做什么？6、Hive的三种自定义函数是什么？实现步骤与流程？它们之间的区别？作用是什么？7、Hive分区和分桶的区别？8、Hive的执行流程？9、Hive
    

    • 

  • 【大数据面试题】014 Flink CDC 用过吗，请简要描述
Jiweilai1
一天一道面试题flink大数据面试flinkcdc

    一步一个脚印，一天一道面试题。FlinkCDC的诞生背景FlinkCDC的全称是ChangeDataCapture（变更数据捕获）每一项技术的诞生都是为了解决某个问题，某个痛点。而FlinkCDC的诞生就是为了解决在读取，监控MySQL这样的数据库时，不会因为读取数据库，对数据库本身造成压力，影响性能。同时，保证了数据源的准确，正确。FlinkCDC原理方式一：通过查询来获取更新的数据。如查询数据
    

    • 

  • 【笔记】HDFS基础笔记
哇咔咔哇咔
Hadoophdfs笔记hadoop大数据ubuntu

    启动hadoop命令（未配环境变量）：进入hadoop安装目录输入./sbin/start-dfs.sh已配环境变量：start-dfs.sh关闭hadoop命令：stop-dfs.sh启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程:"NameNode"、"DataNode"和"SecondaryNameNode"三种Shell命令方式：1.hadoopfs2.had
    

    • 

  • 【笔记】Linux常用命令
哇咔咔哇咔
Linux笔记linux运维ubuntu

    命令含义cd/home/hadoop#把/home/hadoop设置为当前目录cd..#返回上一级目录cd~#进入到当前Linux系统登录用户的主目录（或主文件夹）。在Linux系统中，~代表的是用户的主文件夹，即“/home/用户名”这个目录，如果当前登录用户名为hadoop，则~就代表“/home/hadoop/”这个目录ls#查看当前目录中的文件ls-l#查看文件和目录的权限信息touch文
    

    • 

  • 【大数据】Flink SQL 语法篇（五）：Regular Join、Interval Join
G皮T
#FlinkSQL大数据flinksqlRegularJoinIntervalJoin双流Join

    《FlinkSQL语法篇》系列，共包含以下10篇文章：FlinkSQL语法篇（一）：CREATEFlinkSQL语法篇（二）：WITH、SELECT&WHERE、SELECTDISTINCTFlinkSQL语法篇（三）：窗口聚合（TUMBLE、HOP、SESSION、CUMULATE）FlinkSQL语法篇（四）：Group聚合、Over聚合FlinkSQL语法篇（五）：RegularJoin、I
    

    • 

  • 有一点动心
段duan

    《有一点动心》是6月4日新上映的一部影片，在香山国际影城的支持下，与水姐观影群的伙伴们共同观看了这部影片。随着社会意识形态的不断变化，人们对感情的态度，也呈现出多元化的状态。爱情，自从人类诞生之日起，不论朝代如何更替变迁，都是生命的一大核心主题，演绎出无数个动人的故事，让经历者体验其中，让倾听者无比动容。从调查出来的大数据来看，适龄人群的不婚比例，是空前高的一个数字，越来越多的适婚人士，加入了不婚
    

    • 

  • 大数据开发（Kafka面试真题-卷一）
Key-Key
大数据kafka面试

    大数据开发（Kafka面试真题）1、请解释以下ApacheKafka是什么？它在大数据系统中的角色是什么？2、请解释以下Kafka的工作原理和它与传统消息队列服务的不同之处？3、解释以下ApacheKafka的作用以及它与常见消息队列系统（如RabbitMQ）之间的区别？4、如何使用ApacheKafka来实现实时数据流处理？5、Flinkcheckpoint和Kafkaoffset的关联是什么？
    

    • 

  • 什么是分布式搜索引擎
罗彬桦
分布式搜索引擎搜索引擎分布式

    什么是分布式搜索引擎搜索引擎所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等，同时可添加其他一系列辅助模块，以为用户创造更好的网络使用环境。分布
    

    • 

  • 挑战杯 大数据商城人流数据分析与可视化 - python 大数据分析
laafeer
python

    0前言优质竞赛项目系列，今天要分享的是基于大数据的基站数据分析与可视化该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：3分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate课题背景随着当今个人手机终端的普及，出行群体中手机拥有率和使用率已达到相当高的比例，手
    

    • 

  • Java开发从入门到精通（七）：Java的面向对象编程OOP：常用API
HACKNOE
Java开发从入门到精通javaintellij-idea

    Java大数据开发和安全开发（一）Java的常用API1.1Object类1.1toString1.1equals方法1.1对象克隆clone1.1Objects类1.1包装类1.1StringBuilder1.1StringBuffer1.1StringJoiner1.1Math、System、Runtime1.1BigDecimal1.1传统时间：Date日期类、SimpleDateForma
    

    • 

  • linux安装单机版spark3.5.0
爱上雪茄
大数据JAVA知识spark大数据分布式

    一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0三、spark环境变量配置exportJAVA_HOME=/usr/local/jdk1.8.0_391exportJRE_HOME=/usr/local/jdk1.8.0_391/jr
    

    • 

  • Hadoop简介
程序员小郭同学
hadoop

    简介大数据简介概述大数据的说法从出现到现在，也经历了十多年时间的发展。而在这十几年的发展过程中，非常多的机构、组织都试图对大数据做出过定义，例如：研究机构Gartner给出了这样的定义："大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
    

    • 

  • 数大数据时代的关键：融合数据治理与AI为企业增值_光点科技
光点数据治理
人工智能大数据科技

    在数据驱动的今天，企业不能再将数据治理和人工智能（AI）视作孤立的实体。它们之间的协同作用已经成为推动企业增长的强大引擎。本文将探索数据治理与AI如何相互作用，形成闭环，以及企业如何利用这一关系来提升数据价值，实现数字化转型。数据治理与AI的依存共生数据治理是整理和优化数据的过程，以确保其质量、安全性和可用性。而AI，尤其是大模型，是解析和应用这些数据的工具。没有高质量的数据治理，AI无法发挥其最
    

    • 

  • 2024年阿里云大数据acp认证条件
腾科教育
阿里云大数据云计算

    阿里云大数据acp认证考试没有条件，在校大学生、应届毕业生、在职员工均可报考。acp认证考试预约流程1.账户注册，认证人员登录阿里云认证全球培训中心网站，在页面右上角点击“立即注册”2.选择专业。账户注册成功会自动返回到网站首页，认证人员根据实际需要进行报考，3,认证购买。进入专业介绍页后点击“购买认证"跳转到认证购买页，点击对应专业认证名称再点击“立即购买”，确认订单后完成支付即可。4.考试预约
    

    • 

  • Redis 的 RDB 和 AOF
龙大.
Redisredis数据库

    1.RDB(RedisDatabase)定义:RDB是Redis的持久化机制之一，它会在指定的时间间隔内生成数据集的时间点快照。工作原理:当RDB持久化被触发时，Redis会创建一个子进程来执行实际的数据保存工作，父进程则继续处理客户端请求。子进程将内存中的数据写入到一个临时RDB文件中，完成后替换旧的RDB文件。优点:快速恢复大数据集。子进程创建的方式减少了主进程的内存消耗。RDB文件是一个紧凑
    

    • 

  • Hive中的NVL函数与COALESCE函数
独影月下酌酒
Hadoop大数据hivehadoop数据仓库

    1.NVL函数1.1函数语法--nvl(value,default_value)-ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.hadoop.hive.ql.udf.generic.GenericUDFNv
    

    • 

  • JAVA中的Enum
周凡杨
javaenum枚举

    Enum是计算机编程语言中的一种数据类型---枚举类型。 在实际问题中，有些变量的取值被限定在一个有限的范围内。     例如，一个星期内只有七天 我们通常这样实现上面的定义：
public String monday;
public String tuesday;
public String wensday;
public String thursday
    

    • 

  • 赶集网mysql开发36条军规
Bill_chen
mysql业务架构设计mysql调优mysql性能优化

    (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层； (2)控制单表数据量    int型不超过1000w，含char则不超过500w；    合理分表；    限制单库表数量在300以内； (3)控制列数量    字段少而精，字段数建议在20以内
    

    • 

  • Shell test命令
daizj
shell字符串test数字文件比较

    Shell test命令
Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真
实例演示：
num1=100
num2=100if test $[num1]
    

    • 

  • XFire框架实现WebService(二)
周凡杨
javawebservice

       有了XFire框架实现WebService(一)，就可以继续开发WebService的简单应用。
Webservice的服务端(WEB工程)：
两个java bean类：
Course.java
   package cn.com.bean;
public class Course {
    private 
    

    • 

  • 重绘之画图板
朱辉辉33
画图板

           上次博客讲的五子棋重绘比较简单，因为只要在重写系统重绘方法paint（）时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。
       画图板重绘难在需要重绘的类型很多，比如说里面有矩形，园，直线之类的，所以我们要想办法将里面的图形加入一个队列中，这样在重绘时就
    

    • 

  • Java的IO流
西蜀石兰
java

    刚学Java的IO流时，被各种inputStream流弄的很迷糊，看老罗视频时说想象成插在文件上的一根管道，当初听时觉得自己很明白，可到自己用时，有不知道怎么代码了。。。
每当遇到这种问题时，我习惯性的从头开始理逻辑，会问自己一些很简单的问题，把这些简单的问题想明白了，再看代码时才不会迷糊。
IO流作用是什么？
答：实现对文件的读写，这里的文件是广义的；
Java如何实现程序到文件
    

    • 

  • No matching PlatformTransactionManager bean found for qualifier 'add' - neither
林鹤霄

    java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match!
 
网上找了好多的资料没能解决，后来发现：项目中使用的是xml配置的方式配置事务，但是
    

    • 

  • Row size too large (> 8126). Changing some columns to TEXT or BLOB
aigo
column

    原文：http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large
 
异常信息：
Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM
    

    • 

  • JS 格式化时间
alxw4616
JavaScript

    /**
* 格式化时间 2013/6/13 by 半仙 [email protected]
* 需要 pad 函数
* 接收可用的时间值.
* 返回替换时间占位符后的字符串
*
* 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数
* 如 YYYY 4占4位 YY 占2位<p></p>
* MM DD hh mm
    

    • 

  • 队列中数据的移除问题
百合不是茶
队列移除

     
   队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除,  代码如下;
 
   //
package com.Thread0715.com;
import java.util.ArrayList;
public class Threa
    

    • 

  • Runnable接口使用实例
bijian1013
javathreadRunnablejava多线程

    Runnable接口
a.       该接口只有一个方法：public void run();
b.       实现该接口的类必须覆盖该run方法
c.       实现了Runnable接口的类并不具有任何天
    

    • 

  • oracle里的extend详解
bijian1013
oracle数据库extend

    扩展已知的数组空间，例：
DECLARE
TYPE CourseList IS TABLE OF VARCHAR2(10);
courses CourseList;
BEGIN
-- 初始化数组元素，大小为3
courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 ');
-- 
    

    • 

  • 【httpclient】httpclient发送表单POST请求
bit1129
httpclient

    浏览器Form Post请求
浏览器可以通过提交表单的方式向服务器发起POST请求，这种形式的POST请求不同于一般的POST请求
1. 一般的POST请求，将请求数据放置于请求体中，服务器端以二进制流的方式读取数据，HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求，比如请求数据是字符串或者是二进制数据
2. Form 
    

    • 

  • 【Hive十三】Hive读写Avro格式的数据
bit1129
hive

     1. 原始数据
hive> select * from word;
OK
1 MSN
10 QQ
100 Gtalk
1000 Skype
 
 
 2. 创建avro格式的数据表
 
hive> CREATE TABLE avro_table(age INT, name STRING)STORE
    

    • 

  • nginx+lua+redis自动识别封解禁频繁访问IP
ronin47

    在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis实现在指定的时间段 内，若单IP的请求量达到指定的数量后对该IP进行封禁，nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在 指定的封禁时间后实行自动解封的目的。
一、安装环境：
CentOS x64 release 6.4(Fin
    

    • 

  • java-二叉树的遍历-先序、中序、后序（递归和非递归）、层次遍历
bylijinnan
java

    
import java.util.LinkedList;
import java.util.List;
import java.util.Stack;
public class BinTreeTraverse {
//private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 };
private int[] array={ 10,6,
    

    • 

  • Spring源码学习-XML 配置方式的IoC容器启动过程分析
bylijinnan
javaspringIOC

    以FileSystemXmlApplicationContext为例，把Spring IoC容器的初始化流程走一遍：
ApplicationContext context = new FileSystemXmlApplicationContext
("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q
    

    • 

  • [科研与项目]民营企业请慎重参与军事科技工程
comsci
企业

    
     军事科研工程和项目 并非要用最先进，最时髦的技术，而是要做到“万无一失”
   而民营科技企业在搞科技创新工程的时候，往往考虑的是技术的先进性，而对先进技术带来的风险考虑得不够，在今天提倡军民融合发展的大环境下，这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前，对
    

    • 

  • spring 定时器-两种方式
cuityang
springquartz定时器

    方式一：
间隔一定时间 运行
<bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" />
<bean id="updateSessionIdSchedule
    

    • 

  • 简述一下关于BroadView站点的相关设计
damoqiongqiu
view

    终于弄上线了，累趴，戳这里http://www.broadview.com.cn
 
简述一下相关的技术点
 
前端：jQuery+BootStrap3.2+HandleBars，全站Ajax（貌似对SEO的影响很大啊！怎么破？），用Grunt对全部JS做了压缩处理，对部分JS和CSS做了合并（模块间存在很多依赖，全部合并比较繁琐，待完善）。
 
后端：U
    

    • 

  • 运维 PHP问题汇总
dcj3sjt126com
windows2003

    1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页
解决方法：
后台>系统>系统基本参数>核心设置>关键字替换（是/否），这里选择“是”。
后台>系统>系统基本参数>其他选项>自动提取关键字，这里选择“是”。
 
2、解决PHP168超级管理员上传图片提示你的空间不足
网站是用PHP168做的，反映使用管理员在后台无法
    

    • 

  • mac 下 安装php扩展 - mcrypt
dcj3sjt126com
PHP

    MCrypt是一个功能强大的加密算法扩展库，它包括有22种算法，phpMyAdmin依赖这个PHP扩展，具体如下：
下载并解压libmcrypt-2.5.8.tar.gz。
在终端执行如下命令： tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --
    

    • 

  • MongoDB更新文档 [四]
eksliang
mongodbMongodb更新文档

    MongoDB更新文档
转载请出自出处：http://eksliang.iteye.com/blog/2174104
MongoDB对文档的CURD，前面的博客简单介绍了，但是对文档更新篇幅比较大，所以这里单独拿出来。
语法结构如下：
db.collection.update( criteria, objNew, upsert, multi)
参数含义 参数   
    

    • 

  • Linux下的解压，移除，复制，查看tomcat命令
y806839048
tomcat

    重复myeclipse生成webservice有问题删除以前的，干净
1、先切换到：cd usr/local/tomcat5/logs
2、tail -f catalina.out
3、这样运行时就可以实时查看运行日志了
Ctrl+c 是退出tail命令。
有问题不明的先注掉
  cp /opt/tomcat-6.0.44/webapps/g
    

    • 

  • Spring之使用事务缘由(3-XML实现)
ihuning
spring

     
用事务通知声明式地管理事务
 
事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理，可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知，为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后，就需要将它与切入点关联起来。由于事务通知是在 <aop:
    

    • 

  • GCD使用经验与技巧浅谈
啸笑天
GC

    前言
GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”，本文就总结一些有关使用GCD的经验与技巧。
dispatch_once_t必须是全局或static变量
这一条算是“老生常谈”了，但我认为还是有必要强调一次，毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug，正确的如下： 1 
    

    • 

  • linux（Ubuntu）下常用命令备忘录1
macroli
linux工作ubuntu

    在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表：ls
ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容，但这样直接运行所得到的信息也是比较少的，通常它可以结合以下这些参数运行以查询更多的信息： 
ls / 显示/.下的所有文件和目录 
ls -l 给出文件或者文件夹的详细信息
ls -a 显示所有文件，包括隐藏文
    

    • 

  • nodejs同步操作mysql
qiaolevip
学习永无止境每天进步一点点mysqlnodejs

    // db-util.js
var mysql = require('mysql');
var pool = mysql.createPool({
connectionLimit : 10,
host: 'localhost',
user: 'root',
password: '',
database: 'test',
port: 3306
});

    

    • 

  • 一起学Hive系列文章
superlxw1234
hiveHive入门

     
[一起学Hive]系列文章 目录贴，入门Hive，持续更新中。
 
[一起学Hive]之一—Hive概述，Hive是什么
[一起学Hive]之二—Hive函数大全-完整版
[一起学Hive]之三—Hive中的数据库(Database)和表(Table)
[一起学Hive]之四-Hive的安装配置
[一起学Hive]之五-Hive的视图和分区
[一起学Hive
    

    • 

  • Spring开发利器：Spring Tool Suite 3.7.0 发布
wiselyman
spring

    Spring Tool Suite(简称STS)是基于Eclipse，专门针对Spring开发者提供大量的便捷功能的优秀开发工具。
 
在3.7.0版本主要做了如下的更新：
 
将eclipse版本更新至Eclipse Mars 4.5 GA
Spring Boot(JavaEE开发的颠覆者集大成者，推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示，
    

    •