Jiang锋时刻
Jiang锋时刻

大数据学习之Hadoop——07MapReduce相关练习01(wordCount + topN)

欢迎关注我的CSDN: https://blog.csdn.net/bingque6535

1. 编写WordCount

  1. Driver端

    package com.hjf.mr.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 9:49
 */
public class WordCountJob {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 创建Configuration和Job对象
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        // 指定Master对应的类, 就是当前所在的类
        job.setJarByClass(WordCountJob.class);

        // 指定Mapper和Reducer对应的类
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        // 指定Mapper端输出的key 和value 的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 指定Reducer端输出的key 和 value的类型
        // 如果Mapper端和Reducer端输出的key, value类型一样, 可省略其中一组的指定
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        
        Path inputPath = new Path("./Data/words.txt");
        Path outputPath = new Path("./Data/result");

        // 如果输出路径存在, 则删除
        FileSystem fs = FileSystem.get(conf);
        if (fs.exists(outputPath)){
            fs.delete(outputPath, true);
        }

        // 设置文件的输入路径 和 结果的返回路径
        FileInputFormat.setInputPaths(job, inputPath);
        FileOutputFormat.setOutputPath(job, outputPath);

        // 提交
        job.waitForCompletion(true);
        // job.submit();
    }
}

  2. Mapper端

    package com.hjf.mr.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 9:54
 *
 *  Mapper
 *      KEYIN: Mapper端输入key的类型, 一般都是LongWritable
 *      VALUEIN: Mapper端输入value的类型
 *      KEYOUT: Mapper端输出key的类型
 *      VALUEOUT: Mapper端输出value的类型
 */
public class WordCountMapper extends Mapper {
    IntWritable one = new IntWritable(1);
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 将Text型转换为String 型
        String lines = value.toString();
        String[] words = lines.split(" ");
        // word --> (word, 1)
        for (String word: words) {
            context.write(new Text(word), one);
        }
    }
}
  1. Reducer端 
    package com.hjf.mr.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 9:53
 *  Reducer
 *      KEYIN: reducer端输入key的类型
 *      VALUEIN: reducer端输入value的类型
 *      KEYOUT: reducer端输出key的类型
 *      VALUEOUT: reducer端输出value的类型
 */
public class WordCountReducer extends Reducer {
    @Override
    protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        // 相同key的value值进行累加
        for (IntWritable value: values) {
            sum += value.get();
        }
        IntWritable count = new IntWritable(sum);
        context.write(key, count);
    }
}

二. TopN

  1. 题目

    1、统计每门课程的平均分
    2、统计每门课程参考学生的平均分，并且按课程存入不同的结果文件，要求一门课程一个结果文件，并且按平均分从高到低排序，分数保留一位小数
    3、求出每门课程参考学生成绩最高的学生的信息：课程，姓名和平均分

  2. 数据集

    computer,huangxiaoming,85,86,41,75,93,42,85
    computer,xuzheng,54,52,86,91,42
    computer,huangbo,85,42,96,38
    english,zhaobenshan,54,52,86,91,42,85,75
    english,liuyifei,85,41,75,21,85,96,14
    algorithm,liuyifei,75,85,62,48,54,96,15
    computer,huangjiaju,85,75,86,85,85
    english,liuyifei,76,95,86,74,68,74,48
    english,huangdatou,48,58,67,86,15,33,85
    algorithm,huanglei,76,95,86,74,68,74,48
    algorithm,huangjiaju,85,75,86,85,85,74,86
    computer,huangdatou,48,58,67,86,15,33,85

    english,zhouqi,85,86,41,75,93,42,85,75,55,47,22
    english,huangbo,85,42,96,38,55,47,22
    algorithm,liutao,85,75,85,99,66
    computer,huangzitao,85,86,41,75,93,42,85
    math,wangbaoqiang,85,86,41,75,93,42,85
    computer,liujialing,85,41,75,21,85,96,14,74,86
    computer,liuyifei,75,85,62,48,54,96,15
    computer,liutao,85,75,85,99,66,88,75,91
    computer,huanglei,76,95,86,74,68,74,48
    english,liujialing,75,85,62,48,54,96,15
    math,huanglei,76,95,86,74,68,74,48
    math,huangjiaju,85,75,86,85,85,74,86
    math,liutao,48,58,67,86,15,33,85
    english,huanglei,85,75,85,99,66,88,75,91
    math,xuzheng,54,52,86,91,42,85,75
    math,huangxiaoming,85,75,85,99,66,88,75,91
    math,liujialing,85,86,41,75,93,42,85,75
    english,huangxiaoming,85,86,41,75,93,42,85
    algorithm,huangdatou,48,58,67,86,15,33,85
    algorithm,huangzitao,85,86,41,75,93,42,85,75

1. 问题1

问题: 统计每门课程平均分
思路:
1. 先计算每名学生的每门课程的平均分
2. 再用计算得到的平均分累加计算课程平均分

  1. Driver 端

    package com.hjf.mr.top_n.question1;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 11:06
 *
 */
public class TopNJob1 {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(TopNJob1.class);
        job.setMapperClass(TopNMapper1.class);
        job.setReducerClass(TopNReducer1.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(DoubleWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(DoubleWritable.class);

        Path inputPath = new Path("./Data/score.txt");
        Path outputPath = new Path("./Data/result");

        FileSystem fs = FileSystem.get(conf);
        if (fs.exists(outputPath)) {
            fs.delete(outputPath, true);
        }

        FileInputFormat.setInputPaths(job, inputPath);
        FileOutputFormat.setOutputPath(job, outputPath);

        job.waitForCompletion(true);
    }
}

  2. Mapper 端

    package com.hjf.mr.top_n.question1;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 11:12
 */
public class TopNMapper1 extends Mapper {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String lines = value.toString();
        String[] split = lines.split(",");
        Text courseName = new Text(split[0]);
        double sum = 0.0;
        int count = split.length - 2;
        for (int i = 2; i < split.length; i++) {
            sum += Integer.parseInt(split[i]);
        }
        DoubleWritable avg = new DoubleWritable(sum / count);
        context.write(courseName, avg);

    }
}

  3. Reducer 端

    package com.hjf.mr.top_n.question1;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 11:13
 */
public class TopNReducer1 extends Reducer {
    @Override
    protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
        double sum = 0.0;
        int count = 0;
        for (DoubleWritable value: values){
            sum += value.get();
            count += 1;
        }
        DoubleWritable result = new DoubleWritable(sum / count);
        context.write(key, result);
    }
}

2. 问题2

  1. Driver

    package com.hjf.mr.top_n.question2;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 11:06
 *
 */
public class TopNJob2 {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);
        
        // 指定自定义分区类
        job.setPartitionerClass(TopNPartition.class);
        // 指定分区数
        job.setNumReduceTasks(4);

        job.setJarByClass(TopNJob2.class);
        job.setMapperClass(TopNMapper2.class);
        job.setReducerClass(TopNReducer2.class);
        job.setMapOutputKeyClass(CourseScore.class);
        job.setMapOutputValueClass(NullWritable.class);
        job.setOutputKeyClass(CourseScore.class);
        job.setOutputValueClass(NullWritable.class);
        Path inputPath = new Path("./Data/score.txt");
        Path outputPath = new Path("./Data/result");
        FileSystem fs = FileSystem.get(conf);
        if (fs.exists(outputPath)) {
            fs.delete(outputPath, true);
        }
        FileInputFormat.setInputPaths(job, inputPath);
        FileOutputFormat.setOutputPath(job, outputPath);
        job.waitForCompletion(true);
    }
}

  2. Mapper

    package com.hjf.mr.top_n.question2;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 11:12
 */
public class TopNMapper2 extends Mapper {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String lines = value.toString();
        String[] split = lines.split(",");
        String courseName = split[0];
        String name = split[1];
        double sum = 0.0;
        int count = split.length - 2;
        for (int i = 2; i < split.length; i++) {
            sum += Integer.parseInt(split[i]);
        }
        CourseScore courseScore = new CourseScore(courseName, name, sum / count);
        context.write(courseScore, NullWritable.get());
    }
}

  3. Reducer

    package com.hjf.mr.top_n.question2;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.text.DecimalFormat;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 11:13
 */
public class TopNReducer2 extends Reducer {
    @Override
    protected void reduce(CourseScore key, Iterable values, Context context) throws IOException, InterruptedException {
        double sum = 0.0;

        for (NullWritable value: values) {
            // 获取 CourseScore对象中的score值, 并将其保留一位小数, 
            // 然后再重新封装成CourseScore对象
            double score = key.getScore();
            DecimalFormat df = new DecimalFormat("0.0");
            double format = Double.parseDouble(df.format(score));
            CourseScore courseScore = new CourseScore(key.getCourse(), key.getName(), format);

            context.write(courseScore, value);
        }
    }
}

  4. Partition

    package com.hjf.mr.top_n.question2;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Partitioner;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 15:42
 * 
 *  Partitioner
 *      pattition对应的key, value类型应该和Mapper端输出类型保持一致
 */
public class TopNPartition extends Partitioner {

    @Override
    public int getPartition(CourseScore courseScore, NullWritable nullWritable, int numPartitions) {
        String course = courseScore.getCourse();
        // 将不同课程名的信息保存到不同的分区中
        switch (course) {
            case "algorithm":
                return 0;
            case "computer":
                return 1;
            case "english":
                return 2;
            default:
                return 3;
        }
    }
}

  5. 自定义类型

    package com.hjf.mr.top_n.question2;

import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

/**
 * @author Jiang锋时刻
 * @create 2020-05-17 15:48
 */
public class CourseScore implements WritableComparable {
    private String course;
    private String name;
    private double score;
    
    // 反序列化时, 需要反射调用空参构造函数, 所以必须要有该空参构造函数
    public CourseScore() {
    }

    public CourseScore(String course, String name, double score) {
        this.course = course;
        this.name = name;
        this.score = score;
    }

    public String getCourse() {
        return course;
    }

    public double getScore() {
        return score;
    }

    public String getName() {
        return name;
    }

    @Override
    public int compareTo(CourseScore that) {
        if (this.score > that.score){
            return -1;
        } else if (this.score < that.score) {
            return 1;
        } else {
            return 0;
        }
    }
    
    // 重写序列化方法
    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(course);
        out.writeUTF(name);
        out.writeDouble(score);
    }
    
    // 重写反序列化方法
    // 注意: 反序列化的顺序和序列化的顺序必须完全一致
    @Override
    public void readFields(DataInput in) throws IOException {
        course = in.readUTF();
        name = in.readUTF();
        score = in.readDouble();
    }

    @Override
    public String toString() {
        return "课程: " + course + ", 姓名: " + name + ", 分数: " + score;
    }
}

3. 问题三

问题3只需在问题2代码的基础上修改一下输出条件即可

public class TopNReducer3 extends Reducer {
    // 注意: 必须设置在reduce函数外部, 否则每次运行都会被重新初始化
    // 设置一个变量, 用于统计输出的数据条数
    int count = 0;
    // 需要输出前几的数据, 这里就设置为数字几
    private final int top = 3;
    @Override
    protected void reduce(CourseScore key, Iterable values, Context context) throws IOException, InterruptedException {
        for (NullWritable value: values) {
            double score = key.getScore();
            DecimalFormat df = new DecimalFormat("0.0");
            double format = Double.parseDouble(df.format(score));
            CourseScore courseScore = new CourseScore(key.getCourse(), key.getName(), format);
            if (count++ < top){
                context.write(courseScore, value);
            }
        }
    }
}

欢迎关注我的CSDN: https://blog.csdn.net/bingque6535

你可能感兴趣的:(大数据学习之Hadoop——07MapReduce相关练习01(wordCount + topN))

  • 鸿萌数据恢复服务：Mac 文件系统是如何影响 Mac 数据恢复的? 鸿萌数据安全 macosmac数据恢复
    天津鸿萌科贸发展有限公司从事数据安全服务二十余年，致力于为各领域客户提供专业的数据备份、数据恢复解决方案与服务，并针对企业面临的数据安全风险，提供专业的相关数据安全培训。公司是多款国际主流数据恢复软件的授权代理商，为数据恢复公司、数据取证机构及有专业技能的个人或企业提供官方正版软件产品。文章内容：1.什么是文件系统?2.Mac文件系统的类型3.了解各种Mac文件系统4.在Mac上恢复被删除或丢失的
  • 网上商城项目总结报告 WEB前端程序贵 前端
    网上商城项目总结报告1：掌握的知识通过网上商城这个实战项目的开发，不仅了解到了一个项目的业务逻辑，而且掌握了实现相关业务功能的方法。通过这个实战项目，了解到了模块化开发项目的基础结构的搭建，以及项目文件的管理方式。通过这个实战项目，运用封装的接口api文档实现了客户端服务器之间的交互知识。通过封装的axios实例对象与方法，向服务器请求数据，然后渲染页面。通过运用localStorage本地储存的
  • 《高效阅读》读后感 阳光日记_7b8a
    高效阅读作者:渡边康弘最近很困惑，读的书很多，但是记住的却很少，通过读书对自己的影响微乎甚微，感觉是不是自己的阅读方法有问题，于是看了这本书。这本书利用三个晚上孩子睡着后的时间读完的，也是最近读的最快、最有感觉的一本书，深深的被书中的内容所吸引。这本书是核心内容是“共振阅读法”，但讲这种阅读方法的篇幅不多，举例比较多。这种阅读方法就是找到书中的“共振词汇”，也就是关键字，通过关注与关键字相关的内容
  • 慢练 金泸光
    我们平时在对太极拳的理解就是整齐和规范，其实真正太极养生需要去慢练，慢练是学好太极拳的基础，太极拳缓慢的练习，能够有效地规范自己的动作，体会拳架中丰富的内涵及精髓。图片发自App慢练就是细练，细练能松透全身，松透全身就能适应太极拳的万千变化，练成周身一家。如果动作练习的较快，许多细微动作之处、动作间的转换和过渡等细节，就会一带而过。图片发自App选用杨氏太极拳85式，对于太极拳的慢练有着极大的好处
  • 抖音购物如何获得返利？返利什么平台高 返金app平台高佣返利省钱
    使用返金商城app用户在抖音购物可以获得一定的返利。这一功能的推出，让消费者在购物的同时，也能享受到更多的实惠。据了解，抖音的返利功能是通过与电商平台的合作实现的。具体来说，用户在抖音上点击相关链接后，会被引导到电商平台的购物页面进行购物，而购物完成后，用户可以在抖音上收到相应的返利。这种方式不仅可以让消费者享受到更多的优惠，还能在一定程度上刺激消费者的购物欲望。此外，抖音的返利功能还具有一定的社
  • 系统架构师软考历年论文题目（2009-2024年）及分析 pccai-vip 系统架构师系统架构
    时间题目20091.论基于DSSA的软件架构设计与应用；2.论信息系统建模方法；3.论基于REST服务的Web应用系统设计；4.论软件可靠性设计与应用20101.论软件的静态演化和动态演化及其应用；2.论数据挖掘技术的应用；3.论大规模分布式系统缓存设计策略；4.论软件可靠性评价20111.论模型驱动架构在系统开发中的应用；2.论企业集成平台的架构设计；3.论企业架构管理与应用；4.论软件需求获取
  • MyBatis 方法重载的陷阱及解决方案 molashaonian mybatis方法重载异常方法名相同
    在使用MyBatis进行开发时，尤其是使用注解模式（如@Select、@Insert等）时，开发者常常会遇到这样一个问题：为什么我的方法重载不能正常工作？即使在Java中允许方法名相同但参数不同的重载，MyBatis在处理注解的SQL方法时却并不支持这种方式。这篇文章将深入探讨MyBatis的这个特性及如何规避相关的坑。问题背景在标准的Java开发中，方法重载是一种常见的设计模式。方法重载允许我们
  • 可爱的学生 秋秋历史苑
    上午，上完两节课后，本想在办公室休息一下，正遇上另一位老师临时有急事，她的一个学生交给我帮她管一下，很简单，也就是督促孩子记下词语，多音字以及练习题批改。二年级的一个小男孩，挺腼腆的。自己默默地在本子上记着七八个词语，过了一会儿，告诉我可以听写了。我接过孩子的书就开始了报词语。刚刚记忆了片刻，而且还抄写了几遍，居然合书即忘。其实大人也一样，一个生字，刚学会了它的读音及写法，呆会儿听写估计也得望。我
  • 2021-01-14 闲谈道非
    清晨的露珠晶莹剔透，未来得及从草叶尖滑落就已凝固成透明的晶体。天空挂着的猎户座星体依旧清晰可辩，妖风骤起，包裹着一层又一层的衣物形同虚设，透骨的凉意转瞬遍布浑身。食指与中指间的香烟透着微弱的红光，冉冉升起的白烟与嘴巴哈出的白雾交汇在一起，牙齿在咯咯作响。白烟处惊现你的身影，挥舞长袖醉倒红烛案台，清澈的眼睛多了一层迷雾，藏着不属于这个季节的烟雨。红盖头上的金色凤凰灵动栩栩如生，红灯笼下的脸颊红红似滚
  • Linux dmesg命令：显示开机信息 fafadsj666 linux数据库数据挖掘机器学习大数据
    通过学习《Linux启动管理》一章可以知道，在系统启动过程中，内核还会进行一次系统检测（第一次是BIOS进行加测），但是检测的过程不是没有显示在屏幕上，就是会快速的在屏幕上一闪而过那么，如果开机时来不及查看相关信息，我们是否可以在开机后查看呢？答案是肯定的，使用dmesg命令就可以。无论是系统启动过程中，还是系统运行过程中，只要是内核产生的信息，都会被存储在系统缓冲区中，已经为大家精心准备了大数据
  • 大数据新视界 --大数据大厂之揭秘大数据时代 Excel 魔法：大厂数据分析师进阶秘籍 青云交 大数据新视界Excel数据分析函数公式数据透视表图表功能规划求解数据分析工具库大数据新视界数据库
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
  • AI 模型：全能与专精之辩 —— 一场科技界的 “超级大比拼” 青云交 AIjava学习人工智能全能与专精精度速度鲁棒性道德规范发展趋势AI模型OpenAI
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
  • Java面试题--JVM大厂篇之深入解析JVM中的Serial GC：工作原理与代际区别 青云交 Java大厂面试题Java虚拟机（JVM）专栏Java技术栈SerialGC工作原理年轻代垃圾回收MinorGC老年代垃圾回收MajorGCFullGC年轻代和老年代的区别SerialGC垃圾收集器单线程垃圾收集器
    目录引言：正文：一、SerialGC工作原理年轻代垃圾回收（MinorGC）：老年代垃圾回收（MajorGC或FullGC）：二、年轻代和老年代的区别年轻代（YoungGeneration）：老年代（OldGeneration）：结束语：引言：Java虚拟机（JVM）作为Java程序的运行环境，其性能和稳定性在很大程度上依赖于垃圾收集器（GC）的效率。SerialGC是JVM中最古老也是最简单的一
  • 公共部门为什么要进行人力资源战略规划？ 林品如大号
    《礼记·中庸》中提到“凡事预则立，不预则废。”由此可见，事先规划和谋定的预案或战略对于一件事情的成败的重要影响作用。传统意义上的“战略”指的是在一场战争或战斗背后所隐含的筹划、谋略与构想。现实中“战略”的内涵应拓展到更广的事项或决定层面。在中华五千年的浩荡历史长河中，“战略”管理的经典案例比比皆是。古有《曹刿论剑》中“一鼓作气，再而衰，三而竭。彼竭我盈，故克之。”的军事战略；近有毛泽东的《论持久战
  • 潜意识通过负面情绪向你传达哪些信号 云手a
    洛伊德认为：人的情绪如同一座冰山，分为三个部分。第一个部分是意识，浮在海面上，大概只占百分之五；第二部分是潜意识，隐藏在水下的庞然大物，约占95%；第三部分是前意识，是连结意识和潜意识的层面。而人的行为举止，只有少部分是由意识所控制，而大部分是由潜意识所主宰，而且是在人本身没有觉察到的情况下对人的行为举止发生作用的。潜意识隐藏在海面之下，它聚集了人类数百万年来的遗传基因层次的信息，囊括了人类生存最
  • 精仿手表在哪里买【2024科普一下】 桃朵桃朵
    在2024年，随着科技的进步和互联网的普及，购买精仿手表的渠道和方式也变得越来越多样化。为了帮助大家更好地了解如何购买精仿手表，本文将科普一下相关的知识和技巧。【更多详情加薇信了解：FB2260】首先，要选择可靠的购买渠道。购买精仿手表时，一定要选择正规的商家和平台，避免购买到质量差、假冒伪劣的产品。在选择商家时，可以参考商家的信誉评分、历史评价等信息，确保选择的商家具有良好的信誉。此外，一些知名
  • golang面试题 001 Jay_hj11 golang面试Golanggolang后端数据结构开发语言面试
    001gochannelclose后读的问题golangchannel关闭后，其中剩余的数据，是可以继续读取的。请看下面的测试例子。创建一个带有缓冲的channel，向channel中发送数据，然后关闭channel，最后，从channel中读取数据，输出结果。packagemainimport"fmt"//gochannelclose后读的问题funcmain(){ch:=make(chanst
  • 2022-01-28 朗月斋主
    日历翻动的脚步越来越快，春天的气息却姗姗来迟。在清凉的寒风中，每日来去匆匆。蓦然发现，不知何时安置的小小的走廊里的星空，树枝上的彩灯，门厅悬挂的灯笼，悄悄的传递越来越浓厚的节日的信号。加把劲，把牛年的最后一段排满日程。让悄然而至的虎年有个生龙活虎的开头。
  • 【python】爬取网站数据 进击的C语言 网络
    编码问题因为涉及到中文，所以必然地涉及到了编码的问题，这一次借这个机会算是彻底搞清楚了。问题要从文字的编码讲起。原本的英文编码只有0~255，刚好是8位1个字节。为了表示各种不同的语言，自然要进行扩充。中文的话有GB系列。可能还听说过Unicode和UTF-8，那么，它们之间是什么关系呢？Unicode是一种编码方案，又称万国码，可见其包含之广。但是具体存储到计算机上，并不用这种编码，可以说它起着
  • 深度学习--对抗生成网络（GAN, Generative Adversarial Network） Ambition_LAO 深度学习生成对抗网络
    对抗生成网络（GAN,GenerativeAdversarialNetwork）是一种深度学习模型，由IanGoodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。1.概念GAN由两个神经网络组成：生成器（Generator）和判别器（Discrimina
  • 【菊言菊语】和爱丽丝一起去“漫游”（五） 山中雏菊
    思考：本节微课讲述了书中一些典故的来历。您对哪一个典故印象深刻？还有哪些书籍或诗词也引用了典故？今天的微课继续跟着爱丽丝一起去漫游，《爱丽丝漫游奇境记》荒诞不经的故事情节让全世界的人们都为之疯狂。书中引用大量典故，这是作者卡罗尔写作的又一特点。第三章《绕圈跑和尾巴》中征服者威廉；第五章《毛毛虫的劝告》中改编的诗歌；第六章《猪和胡椒》中“公爵”“柴郡猫”；第七章《疯狂的茶会》中“疯帽匠”“三月兔”“
  • 一招改掉孩子磨蹭的坏习惯 路姐说
    https://shop43404796.youzan.com/wscvis/knowledge/index?p=contentshow&alias=2xctkvk0tdnk4&kdt_id=43212628&reft=1572314576745_1572320684212&spm=f.80650183_uc.43212628_fake43212628&sf=wx_menu#/contentsho
  • 三生三世枕上书之再续前缘 远古众神再聚首，东华算计少绾 诗韵_三生三世小说创作者
    接上话凤九听了少绾这话哭笑不得，而正在朝膳房走来的东华的脸却黑了一个八度……随后，东华转身径直去了芬陀利池，钓了一条肥鲫鱼，转身去了膳房。而这边，狐帝狐后还有折颜听说了少绾醒了，如今在太晨宫的消息，想来毕竟当年也算是同窗好友，便一道前往了太晨宫。却独独没有一个人向墨渊透露出半点风声。刚进太晨宫，折颜便说道“少绾，这么多年了，你也可算是醒了”少绾看了折颜，再顺势看到了折颜身后的一个白衣男子，没有理会
  • 面试问题001 li星野 刷题面试开发语言linux
    进程和线程的区别进程是资源分配和调度的基本单位。线程是程序执行的最小单位，线程是进程的子任务，是进程内的执行单元。一个进程至少有一个线程，一个进程可以运行多个线程，这些线程共享同一块内存。资源开销：进程：由于每个进程都有独立的内存空间，创建和销毁进程的开销较大。进程间切换需要保存和恢复整个进程的状态，因此上下文切换的开销较高。线程：线程共享相同的内存空间，创建和销毁线程的开销较小。线程间切换只需要
  • 大数据新视界 --大数据大厂之数据挖掘入门：用 R 语言开启数据宝藏的探索之旅 青云交 大数据新视界数据库大数据数据挖掘R语言算法案例未来趋势应用场景学习建议大数据新视界
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
  • 【网络安全 | 代码审计】JFinal之DenyAccessJsp绕过 秋说 网络安全web安全java代码审计漏洞挖掘
    未经许可，不得转载。文章目录前言代码审计推理绕过Tomcat解析JSP总结概念验证阐发前言JFinal是一个基于Java的轻量级MVC框架，用于快速构建Web应用程序。它的设计理念是追求极简、灵活、高效，旨在提高开发效率，减少冗余代码的编写，适合中小型项目以及对性能有较高要求的项目。在较新的JFinal版本中，默认情况下无法直接通过浏览器地址栏输入.jsp文件名来访问对应的JSP文件。也就是说，主
  • 芭睿芭睿：开启生物护肤之门 缔造美丽奇迹 3adced8f1ee8
    生物护肤并不是营销噱头，是人类对生物科学的一种新认识和新体验。美国JDD皮肤科药学临床杂志在其2014年第13刊中就写道：护肤品已经从低端的物理防护和中等精细化学上升到了生物护肤时代。一个偶然的机会，在一次世界高级化妆品配方师闭门研讨会中，强微特公司的生物科学家们当时了解到：“在世界化妆品原料中，90%以上是化学合成原料，生物原料只占比不到10%，但恰恰是这10%能够真正引导皮肤自我修护”。强微特
  • Visual Studio中的Android模拟器使用详解 wurui8 androidandroidstudioandroidandroid应用
    关注微信号：javalearns随时随地学Java或扫一扫随时随地学JavaMicrosoft本周发布了VisualStudio2015预览版,里面包含Android开发工具.安装的时候,如果选Android开发,VisualStudio会把调试Android应用程序用的VisualStudio模拟器也装上.在介绍这个新模拟器之前,我们先来聊一聊,为什么需要一个新的Android模拟器–当然,你也
  • 面对电子产品的诱惑，我们真的是很无力！2019-04-22 武哥a
    早晨孩子上学走了之后，我跟爱人一起吃饭。餐桌上聊起来这些天孩子使用手机的情况。我是已经觉得有点黔驴技穷了，真的是没有办法。他总是能够找到各种各样的理由，把爱人的手机拿在手里，趁着我不注意就开始玩。每次我从外面回来，一进门就看到他在玩手机。我从楼上下来，一看到他就是在玩手机，我对这个事情真的是绞尽脑汁深恶痛绝了。我们围绕这个问题早上交流了很长时间，我也看到了自身的问题，喜欢走极端，总是喜欢用压迫逼迫
  • 寒假学生日记（八） 笑笑8
    腾龙作品2019年1月26日星期六离过年还有九天，春节是什么日子？是辞旧迎新的日子，家家户户都要扫屋子，我们家当然也不例外。扫屋时，我和爸爸、妈妈、哥哥谁都没有闲，都在忙着打扫，我整理着我天天写作业的桌子，整理桌子上的书本，把他们放在该放的地方，再把收纳箱内到所有物品到出来，然后进行分类，整理齐的把他们摆在收纳箱内，桌上整理完后，整理桌下，把隔层里的东西都拿出来，整整齐齐的放在箱内，最后搬进杂物间
  • Hadoop(一) 朱辉辉33 hadooplinux
    今天在诺基亚第一天开始培训大数据，因为之前没接触过Linux，所以这次一起学了，任务量还是蛮大的。 首先下载安装了Xshell软件，然后公司给了账号密码连接上了河南郑州那边的服务器，接下来开始按照给的资料学习，全英文的，头也不讲解，说锻炼我们的学习能力，然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧.    在hdfs下，运行hadoop fs -mkdir /u
  • maven An error occurred while filtering resources blackproof maven报错
    转：http://stackoverflow.com/questions/18145774/eclipse-an-error-occurred-while-filtering-resources   maven报错： maven An error occurred while filtering resources   Maven -> Update Proje
  • jdk常用故障排查命令 daysinsun jvm
    linux下常见定位命令： 1、jps      输出Java进程       -q       只输出进程ID的名称，省略主类的名称；       -m      输出进程启动时传递给main函数的参数；     &nb
  • java 位移运算与乘法运算 周凡杨 java位移运算乘法
      对于 JAVA 编程中，适当的采用位移运算，会减少代码的运行时间，提高项目的运行效率。这个可以从一道面试题说起：     问题： 用最有效率的方法算出2 乘以8 等於几?” 答案：2 << 3 由此就引发了我的思考，为什么位移运算会比乘法运算更快呢？其实简单的想想，计算机的内存是用由 0 和 1 组成的二
  • java中的枚举(enmu) g21121 java
    从jdk1.5开始，java增加了enum(枚举)这个类型，但是大家在平时运用中还是比较少用到枚举的，而且很多人和我一样对枚举一知半解，下面就跟大家一起学习下enmu枚举。先看一个最简单的枚举类型，一个返回类型的枚举： public enum ResultType { /** * 成功 */ SUCCESS, /** * 失败 */ FAIL,
  • MQ初级学习 510888780 activemq
    1.下载ActiveMQ 去官方网站下载：http://activemq.apache.org/ 2.运行ActiveMQ 解压缩apache-activemq-5.9.0-bin.zip到C盘，然后双击apache-activemq-5.9.0-\bin\activemq-admin.bat运行ActiveMQ程序。 启动ActiveMQ以后，登陆：http://localhos
  • Spring_Transactional_Propagation 布衣凌宇 springtransactional
    //事务传播属性 @Transactional(propagation=Propagation.REQUIRED)//如果有事务，那么加入事务，没有的话新创建一个 @Transactional(propagation=Propagation.NOT_SUPPORTED)//这个方法不开启事务 @Transactional(propagation=Propagation.REQUIREDS_N
  • 我的spring学习笔记12-idref与ref的区别 aijuans spring
    idref用来将容器内其他bean的id传给<constructor-arg>/<property>元素，同时提供错误验证功能。例如： <bean id ="theTargetBean" class="..." /> <bean id ="theClientBean" class=&quo
  • Jqplot之折线图 antlove jsjqueryWebtimeseriesjqplot
    timeseriesChart.html <script type="text/javascript" src="jslib/jquery.min.js"></script> <script type="text/javascript" src="jslib/excanvas.min.js&
  • JDBC中事务处理应用 百合不是茶 javaJDBC编程事务控制语句
      解释事务的概念; 事务控制是sql语句中的核心之一;事务控制的作用就是保证数据的正常执行与异常之后可以恢复   事务常用命令:             Commit提交         
  • [转]ConcurrentHashMap Collections.synchronizedMap和Hashtable讨论 bijian1013 java多线程线程安全HashMap
    在Java类库中出现的第一个关联的集合类是Hashtable，它是JDK1.0的一部分。 Hashtable提供了一种易于使用的、线程安全的、关联的map功能，这当然也是方便的。然而，线程安全性是凭代价换来的――Hashtable的所有方法都是同步的。此时，无竞争的同步会导致可观的性能代价。Hashtable的后继者HashMap是作为JDK1.2中的集合框架的一部分出现的，它通过提供一个不同步的
  • ng-if与ng-show、ng-hide指令的区别和注意事项 bijian1013 JavaScriptAngularJS
            angularJS中的ng-show、ng-hide、ng-if指令都可以用来控制dom元素的显示或隐藏。ng-show和ng-hide根据所给表达式的值来显示或隐藏HTML元素。当赋值给ng-show指令的值为false时元素会被隐藏，值为true时元素会显示。ng-hide功能类似，使用方式相反。元素的显示或
  • 【持久化框架MyBatis3七】MyBatis3定义typeHandler bit1129 TypeHandler
    什么是typeHandler? typeHandler用于将某个类型的数据映射到表的某一列上，以完成MyBatis列跟某个属性的映射   内置typeHandler MyBatis内置了很多typeHandler，这写typeHandler通过org.apache.ibatis.type.TypeHandlerRegistry进行注册，比如对于日期型数据的typeHandler，
  • 上传下载文件rz,sz命令 bitcarter linux命令rz
    刚开始使用rz上传和sz下载命令： 因为我们是通过secureCRT终端工具进行使用的所以会有上传下载这样的需求： 我遇到的问题： sz下载A文件10M左右，没有问题 但是将这个文件A再传到另一天服务器上时就出现传不上去，甚至出现乱码，死掉现象，具体问题 解决方法： 上传命令改为;rz -ybe 下载命令改为：sz -be filename 如果还是有问题： 那就是文
  • 通过ngx-lua来统计nginx上的虚拟主机性能数据 ronin47 ngx-lua　统计 解禁ip
    介绍 以前我们为nginx做统计,都是通过对日志的分析来完成.比较麻烦,现在基于ngx_lua插件,开发了实时统计站点状态的脚本,解放生产力.项目主页: https://github.com/skyeydemon/ngx-lua-stats 功能 支持分不同虚拟主机统计, 同一个虚拟主机下可以分不同的location统计. 可以统计与query-times request-time
  • java-68-把数组排成最小的数。一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的。例如输入数组{32, 321}，则输出32132 bylijinnan java
    import java.util.Arrays; import java.util.Comparator; public class MinNumFromIntArray { /** * Q68输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。 * 例如输入数组{32, 321}，则输出这两个能排成的最小数字32132。请给出解决问题
  • Oracle基本操作 ccii Oracle SQL总结Oracle SQL语法Oracle基本操作Oracle SQL
    一、表操作 1. 常用数据类型 NUMBER(p,s)：可变长度的数字。p表示整数加小数的最大位数，s为最大小数位数。支持最大精度为38位 NVARCHAR2(size)：变长字符串，最大长度为4000字节（以字符数为单位） VARCHAR2(size)：变长字符串，最大长度为4000字节（以字节数为单位） CHAR(size)：定长字符串，最大长度为2000字节，最小为1字节，默认
  • [强人工智能]实现强人工智能的路线图 comsci 人工智能
        1：创建一个用于记录拓扑网络连接的矩阵数据表      2:自动构造或者人工复制一个包含10万个连接(1000*1000)的流程图      3：将这个流程图导入到矩阵数据表中      4：在矩阵的每个有意义的节点中嵌入一段简单的
  • 给Tomcat，Apache配置gzip压缩(HTTP压缩)功能 cwqcwqmax9 apache
    背景： HTTP 压缩可以大大提高浏览网站的速度，它的原理是，在客户端请求网页后，从服务器端将网页文件压缩，再下载到客户端，由客户端的浏览器负责解压缩并浏览。相对于普通的浏览过程HTML ,CSS,Javascript , Text ，它可以节省40%左右的流量。更为重要的是，它可以对动态生成的，包括CGI、PHP , JSP , ASP , Servlet,SHTML等输出的网页也能进行压缩，
  • SpringMVC and Struts2 dashuaifu struts2springMVC
    SpringMVC VS Struts2 1: spring3开发效率高于struts 2: spring3 mvc可以认为已经100%零配置 3: struts2是类级别的拦截， 一个类对应一个request上下文， springmvc是方法级别的拦截，一个方法对应一个request上下文，而方法同时又跟一个url对应 所以说从架构本身上 spring3 mvc就容易实现r
  • windows常用命令行命令 dcj3sjt126com windowscmdcommand
    在windows系统中，点击开始－运行，可以直接输入命令行，快速打开一些原本需要多次点击图标才能打开的界面，如常用的输入cmd打开dos命令行，输入taskmgr打开任务管理器。此处列出了网上搜集到的一些常用命令。winver 检查windows版本 wmimgmt.msc 打开windows管理体系结构(wmi) wupdmgr windows更新程序 wscrip
  • 再看知名应用背后的第三方开源项目 dcj3sjt126com ios
    知名应用程序的设计和技术一直都是开发者需要学习的，同样这些应用所使用的开源框架也是不可忽视的一部分。此前《 iOS第三方开源库的吐槽和备忘》中作者ibireme列举了国内多款知名应用所使用的开源框架，并对其中一些框架进行了分析，同样国外开发者 @iOSCowboy也在博客中给我们列出了国外多款知名应用使用的开源框架。另外txx's blog中详细介绍了 Facebook Paper使用的第三
  • Objective-c单例模式的正确写法 jsntghf 单例iosiPhone
    一般情况下，可能我们写的单例模式是这样的： #import <Foundation/Foundation.h> @interface Downloader : NSObject + (instancetype)sharedDownloader; @end #import "Downloader.h" @implementation
  • jquery easyui datagrid 加载成功，选中某一行 hae jqueryeasyuidatagrid数据加载
    1.首先你需要设置datagrid的onLoadSuccess $( '#dg' ).datagrid({onLoadSuccess :  function (data){      $( '#dg' ).datagrid( 'selectRow' ,3); }});   2.onL
  • jQuery用户数字打分评价效果 ini JavaScripthtmljqueryWebcss
    效果体验：http://hovertree.com/texiao/jquery/5.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>jQuery用户数字打分评分代码 - HoverTree</
  • mybatis的paramType kerryg DAOsql
    MyBatis传多个参数： 1、采用#{0},#{1}获得参数：    Dao层函数方法：     public User selectUser(String name,String area); 对应的Mapper.xml    <select id="selectUser" result
  • centos 7安装mysql5.5 MrLee23 centos
    首先centos7 已经不支持mysql，因为收费了你懂得，所以内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb，以下为卸载mariadb，安装mysql的步骤。   #列出所有被安装的rpm package rpm -qa | grep mariadb   #卸载 rpm -e mariadb-libs-5.
  • 利用thrift来实现消息群发 qifeifei thrift
               Thrift项目一般用来做内部项目接偶用的，还有能跨不同语言的功能，非常方便，一般前端系统和后台server线上都是3个节点，然后前端通过获取client来访问后台server，那么如果是多太server，就是有一个负载均衡的方法，然后最后访问其中一个节点。那么换个思路，能不能发送给所有节点的server呢，如果能就
  • 实现一个sizeof获取Java对象大小 teasp javaHotSpot内存对象大小sizeof
       由于Java的设计者不想让程序员管理和了解内存的使用，我们想要知道一个对象在内存中的大小变得比较困难了。本文提供了可以获取对象的大小的方法，但是由于各个虚拟机在内存使用上可能存在不同，因此该方法不能在各虚拟机上都适用，而是仅在hotspot 32位虚拟机上，或者其它内存管理方式与hotspot 32位虚拟机相同的虚拟机上 适用。     
  • SVN错误及处理 xiangqian0505 SVN提交文件时服务器强行关闭
    在SVN服务控制台打开资源库“SVN无法读取current” ---摘自网络 写道 SVN无法读取current修复方法 Can't read file : End of file found 文件：repository/db/txn_current、repository/db/current   其中current记录当前最新版本号，txn_current记录版本库中版本
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他