lehuai
lehuai

51cto赵强HADOOP学习（三）

MapReduce基本原理

51cto赵强HADOOP学习（三）_第1张图片
image.png

基本概念

MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。

MapReduce由两个阶段组成：Map和Reduce，用于只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。

这两个函数的形参是key、value对，表示函数的输入信息。

#jps
#start-all.sh
#jps
#hdfs dfs -lsr /
#hdfs dfs -cat /input/data.txt
#cd /root/training/hadoop-2.4.1/share/hadoop/mapreduce
#hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /input/data.txt /output
#hdfs dfs -lsr /
#hdfs dfs -cat /output/part-r-00000
hdfs dfs -cat /input/data.txt
51cto赵强HADOOP学习（三）_第2张图片
image.png

第一个MapReduce程序

51cto赵强HADOOP学习（三）_第3张图片
image.png 
package demo;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

    public static void main(String[] args) throws Exception{
        //申明一个job
        Configuration conf = new Configuration();
        Job job = new Job(conf);
        
        //指明程序的入口
        job.setJarByClass(WordCount.class);
        
        //指明输入的数据
        //FileInputFormat.addInputPath(job,new Path("/input/data.txt"));
                                                                          //第二种
                FileInputFormat.addInputPath(job,new Path(args[0]));
        //组装Mapper和Reducer
        //设置Mapper
        job.setMapperClass(WordCountMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        
        //设置Reducer
        job.setReducerClass(WordCountReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        
        //指明数据输出的路径
        //FileOutputFormat.setOutputPath(job, new Path("/output1"));
                FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //提交任务运行
        //job.waitForCompletion(true);
                job.waitForCompletion(false);

    }

}
                                  //  k1  v1        k2     v2
//class WordCountMapper extends Mapper{
class WordCountMapper extends Mapper{

    @Override
    protected void map(LongWritable key1, Text value1,Context context)
            throws IOException, InterruptedException {
        //分词
        //key1        value1
        //  1          I love Beijing
        String var = value1.toString();
        String[] words = var.split(" ");
        
        //统计每个单词的频率，得到k2和v2
        for(String word:words) {
            //                      k2                    v2
            context.write(new Text(word), new LongWritable(1));
            
        }
    }
    
    
    
}
                                    //k3        v3      k4      v4
class WordCountReducer extends Reducer{

    @Override
    protected void reduce(Text key, Iterable values,Context context) 
            throws IOException, InterruptedException {
        
        //key     values
        // I        (1,1)
        //得到每个单词总的频率
        long sum = 0;
        
        for(LongWritable value:values) {
            sum += value.get();
        }
        
        //将k4和v4输出
        context.write(key, new LongWritable(sum));
    }
    
    
}

右击程序，选择Export，Java，JAR file

51cto赵强HADOOP学习（三）_第4张图片
image.png

51cto赵强HADOOP学习（三）_第5张图片
image.png

51cto赵强HADOOP学习（三）_第6张图片
image.png

51cto赵强HADOOP学习（三）_第7张图片
image.png

51cto赵强HADOOP学习（三）_第8张图片
image.png

51cto赵强HADOOP学习（三）_第9张图片
image.png

上传到training目录下

#cd ~/training
#hadoop jar wc.jar
#hdfs dfs -lsr /output1
# hdfs dfs -cat /output1/part-r-00000

#hadoop jar wc.jar /input/data.txt /output2
#hdfs dfs -lsr /output2

MapReduce的序列化

序列化（Serialization）是指把结构化对象转化为字节流。

反序列化（Deserialization）是序列化的逆过程。即把字节流转回结构化对象

Java序列化（java.io.Serializable）

Hadoop序列化的特点

序列化格式特点：

-紧凑：高效使用存储空间。
-快速：读写数据的额外开销小
-可扩展：可透明地读取老格式的数据
-互操作：支持多语言的交互

Hadoop的序列化格式：Writable

Hadoop序列化的作用

序列化在分布式环境的两大作用：进程间通信，永久存储。
Hadoop节点间通信。
#more emp.csv
# hdfs dfs -put emp.csv /input/emp.csv
51cto赵强HADOOP学习（三）_第10张图片
image.png

demo.se-Emp.java

package demo.se;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.Writable;

//代表员工
public class Emp implements Writable{
    //7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
    private int empno;
    private String ename;
    private String job;
    private int mgr;
    private String hiredate;
    private int sal;
    private int comm;
    private int deptno;
    
    public Emp(){
        
        
    }
    
        @Override
    public String toString() {
        return "The salary of" + this.ename + "is" + this.sal;
    }

    @Override
    public void readFields(DataInput input) throws IOException {
        // 反序列化
        this.empno = input.readInt();
        this.ename = input.readUTF();
        this.job = input.readUTF();
        this.mgr = input.readInt();
        this.hiredate = input.readUTF();
        this.sal = input.readInt();
        this.comm = input.readInt();
        this.deptno = input.readInt();
        
        
    }

    @Override
    public void write(DataOutput output) throws IOException {
        // 序列化
        output.writeInt(empno);
        output.writeUTF(ename);
        output.writeUTF(job);
        output.writeInt(mgr);
        output.writeUTF(hiredate);
        output.writeInt(sal);
        output.writeInt(comm);
        output.writeInt(deptno);
    }

    public int getEmpno() {
        return empno;
    }

    public void setEmpno(int empno) {
        this.empno = empno;
    }

    public String getEname() {
        return ename;
    }

    public void setEname(String ename) {
        this.ename = ename;
    }

    public String getJob() {
        return job;
    }

    public void setJob(String job) {
        this.job = job;
    }

    public int getMgr() {
        return mgr;
    }

    public void setMgr(int mgr) {
        this.mgr = mgr;
    }

    public String getHiredate() {
        return hiredate;
    }

    public void setHiredate(String hiredate) {
        this.hiredate = hiredate;
    }

    public int getSal() {
        return sal;
    }

    public void setSal(int sal) {
        this.sal = sal;
    }

    public int getComm() {
        return comm;
    }

    public void setComm(int comm) {
        this.comm = comm;
    }

    public int getDeptno() {
        return deptno;
    }

    public void setDeptno(int deptno) {
        this.deptno = deptno;
    }
}

demo.se-EmpMain.java

package demo.se;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class EmpMain {

    public static void main(String[] args) throws Exception{
        //申明一个job
        Configuration conf = new Configuration();
        Job job = new Job(conf);
        
        //指明程序的入口
        job.setJarByClass(EmpMain.class);
                
        //指明输入的数据
        FileInputFormat.setInputPaths(job,new Path(args[0]));
                
        //组装Mapper和Reducer
        //设置Mapper
        job.setMapperClass(EmpMapper.class);
        job.setMapOutputKeyClass(LongWritable.class);
        job.setMapOutputValueClass(Emp.class);
        
        //指明数据输出的路径
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        
        //提交任务运行
        job.waitForCompletion(true);
    }

}
//7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
class EmpMapper extends Mapper{

    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        //7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
        String str = value.toString();
        String[] words = str.split(",");
        
        //创建一个Emp的对象
        Emp emp = new Emp();
        
        //设置员工的属性
        emp.setEmpno(Integer.parseInt(words[0]));
        emp.setEname(words[1]);
        emp.setJob(words[2]);
        
        //设置员工的经理
        try {
            emp.setMgr(Integer.parseInt(words[3]));
        }catch(Exception ex) {
            emp.setMgr(0);
        }
        
        emp.setHiredate(words[4]);
        emp.setSal(Integer.parseInt(words[5]));
        
        //设置员工的奖金
        try {
            emp.setComm(Integer.parseInt(words[6]));
        }catch(Exception ex) {
            emp.setComm(0);
        }       
        emp.setDeptno(Integer.parseInt(words[7]));
        
        //输出            key:员工号                         value：员工hdfs 
        context.write(new LongWritable(emp.getEmpno()), emp);
    }   
}
打包。
# hadoop jar se.jar /input/emp.csv /outputemp
#hdfs dfs -lsr /outputemp
#hdfs dfs -cat /outputemp/part-r-00000

MapReduce的排序

在Map和Reduce阶段进行排序时，比较的是key2

value2是不参与排序比较的。

如果要想让value2也进行排序，需要把key2和value2组装成新的类，作为key2，才能参与比较。

demo.sort.Emp.java
package demo.sort;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;

//代表员工
public class Emp implements WritableComparable{
    //7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
    private int empno;
    private String ename;
    private String job;
    private int mgr;
    private String hiredate;
    private int sal;
    private int comm;
    private int deptno;
    
    public Emp(){
        
        
    }
    
    @Override
    public int compareTo(Emp e) {
        //按照薪水进行排序
        if(this.sal >= e.sal) {
            return 1;
        }else {
            return -1;
        }
    }
    @Override
    public String toString() {
        return "The salary of" + this.ename + " is" + this.sal;
    }



    @Override
    public void readFields(DataInput input) throws IOException {
        // 反序列化
        this.empno = input.readInt();
        this.ename = input.readUTF();
        this.job = input.readUTF();
        this.mgr = input.readInt();
        this.hiredate = input.readUTF();
        this.sal = input.readInt();
        this.comm = input.readInt();
        this.deptno = input.readInt();
        
        
    }

    @Override
    public void write(DataOutput output) throws IOException {
        // 序列化
        output.writeInt(empno);
        output.writeUTF(ename);
        output.writeUTF(job);
        output.writeInt(mgr);
        output.writeUTF(hiredate);
        output.writeInt(sal);
        output.writeInt(comm);
        output.writeInt(deptno);
    }

    public int getEmpno() {
        return empno;
    }

    public void setEmpno(int empno) {
        this.empno = empno;
    }

    public String getEname() {
        return ename;
    }

    public void setEname(String ename) {
        this.ename = ename;
    }

    public String getJob() {
        return job;
    }

    public void setJob(String job) {
        this.job = job;
    }

    public int getMgr() {
        return mgr;
    }

    public void setMgr(int mgr) {
        this.mgr = mgr;
    }

    public String getHiredate() {
        return hiredate;
    }

    public void setHiredate(String hiredate) {
        this.hiredate = hiredate;
    }

    public int getSal() {
        return sal;
    }

    public void setSal(int sal) {
        this.sal = sal;
    }

    public int getComm() {
        return comm;
    }

    public void setComm(int comm) {
        this.comm = comm;
    }

    public int getDeptno() {
        return deptno;
    }

    public void setDeptno(int deptno) {
        this.deptno = deptno;
    }
    
    
}
demo.sort.EmpSortMain.java
package demo.sort;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class EmpSortMain {

    public static void main(String[] args) throws Exception{
        //申明一个job
                Configuration conf = new Configuration();
                Job job = new Job(conf);
                
                //指明程序的入口
                job.setJarByClass(EmpSortMain.class);
                        
                //指明输入的数据
                FileInputFormat.setInputPaths(job,new Path(args[0]));
                        
                //组装Mapper和Reducer
                //设置Mapper
                job.setMapperClass(EmpMapper.class);
                job.setMapOutputKeyClass(Emp.class);
                job.setMapOutputValueClass(NullWritable.class);
                
                //指明数据输出的路径
                FileOutputFormat.setOutputPath(job, new Path(args[1]));
                
                //提交任务运行
                job.waitForCompletion(true);

    }

}
//7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
class EmpMapper extends Mapper{

    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        //7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
        String str = value.toString();
        String[] words = str.split(",");
        
        //创建一个Emp的对象
        Emp emp = new Emp();
        
        //设置员工的属性
        emp.setEmpno(Integer.parseInt(words[0]));
        emp.setEname(words[1]);
        emp.setJob(words[2]);
        
        //设置员工的经理
        try {
            emp.setMgr(Integer.parseInt(words[3]));
        }catch(Exception ex) {
            emp.setMgr(0);
        }
        
        emp.setHiredate(words[4]);
        emp.setSal(Integer.parseInt(words[5]));
        
        //设置员工的奖金
        try {
            emp.setComm(Integer.parseInt(words[6]));
        }catch(Exception ex) {
            emp.setComm(0);
        }       
        emp.setDeptno(Integer.parseInt(words[7]));
        
        //输出            key:Emp                         value：NullWritable
        context.write(emp,NullWritable.get());
    }   
}

#hadoop jar sort.jar /input/emp.csv /outputsortemp
#hdfs dfs -lsr /outputsortemp
#hdfs dfs -cat /outputsortemp/part-r-00000

MapReduce的分区

51cto赵强HADOOP学习（三）_第11张图片
image.png

Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类

MapReduce有一个默认的分区规则：只会产生一个分区

什么是Combiner？

每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量

combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。

如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。

WordCount.java

package demo;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

    public static void main(String[] args) throws Exception{
        //申明一个job
        Configuration conf = new Configuration();
        Job job = new Job(conf);
        
        //指明程序的入口
        job.setJarByClass(WordCount.class);
        
        //指明输入的数据
        FileInputFormat.addInputPath(job,new Path(args[0]));
        
        //组装Mapper和Reducer
        //设置Mapper
        job.setMapperClass(WordCountMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        
        //设置Combiner
        job.setCombinerClass(WordCountReducer.class);
        //设置Reducer
        job.setReducerClass(WordCountReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        
        //指明数据输出的路径
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        //提交任务运行
        job.waitForCompletion(true);
    }

}
                                  //  k1  v1        k2     v2
//class WordCountMapper extends Mapper{
class WordCountMapper extends Mapper{

    @Override
    protected void map(LongWritable key1, Text value1,Context context)
            throws IOException, InterruptedException {
        //分词
        //key1        value1
        //  1          I love Beijing
        String var = value1.toString();
        String[] words = var.split(" ");
        
        //统计每个单词的频率，得到k2和v2
        for(String word:words) {
            //                      k2                    v2
            context.write(new Text(word), new LongWritable(1));
            
        }
    }
    
    
    
}
                                    //k3        v3      k4      v4
class WordCountReducer extends Reducer{

    @Override
    protected void reduce(Text key, Iterable values,Context context) 
            throws IOException, InterruptedException {
        
        //key     values
        // I        (1,1)
        //得到每个单词总的频率
        long sum = 0;
        
        for(LongWritable value:values) {
            sum += value.get();
        }
        
        //将k4和v4输出
        context.write(key, new LongWritable(sum));
    }
    
    
}

#hadoop jar wcd.jar /input/data.txt /dd
#hdfs dfs -ls /dd
# hdfs dfs -cat /dd/part-r-00000

注意

-Combiner的输出是Reduce的输入，如果Combiner是可插拔的，添加Combiner绝不能改变最终的计算结果。所以Combiner值应该用于那种Reduce的输入key/value与输出key/value类型安全一致，且不影响最终结果的场景。不如累加，最大值等。

什么是Shuffle？

Shuffle的过程

51cto赵强HADOOP学习（三）_第12张图片
image.png

51cto赵强HADOOP学习（三）_第13张图片
image.png

你可能感兴趣的:(51cto赵强HADOOP学习（三）)

  • 喜报！积鼎科技荣获“2024上海最具投资潜力50佳创业企业”称号 积鼎科技-多相流在线 国产工业软件科技CFD流体仿真多相流
    在近日举行的外滩金融•上海国际股权投资论坛上，备受瞩目的“2024上海最具投资潜力50佳创业企业”榜单正式揭晓。积鼎科技成功入选50佳榜单，展现了强劲的发展潜力和投资价值。本次活动是在市经济信息化委指导下，中小企业办、市中小企业服务中心、市投资促进服务中心联合上海国际股权协会等三家行业协会共同组织开展了“2024上海最具投资潜力50佳创业企业”评选。10月中旬评选正式启动，百余家企业经过专家评委团
  • 火山引擎数据飞轮探索零售企业大促新场景：下放营销活动权限 人工智能
    “营销节奏变得更快了。”小陈任职于一家国内知名服装零售企业，这是她在营销策划岗位的第三年，对于刚刚过去的双11，“节奏快”是她的第一感受。女王节、618、双11、双12、年货节，是零售行业面临的主要线上活动时间点，“过去，通常在活动正式开始前一个月，我们就会制定全盘营销规划，比如什么样的节点在不同平台上线什么样的活动，聚焦到每一场活动，再去拆分目标人群、营销物料以及被关联到的福利券等，”小陈介绍，
  • frp、花生壳、P2Link——常见内网穿透工具分析
    内网穿透工具能够帮助用户将内网服务映射到外网，使外部设备能够访问内网资源。本篇将对三款常用的内网穿透工具进行分析，FRP、花生壳和P2Link1.frp简介：frp（FastReverseProxy）是一个高性能的反向代理应用，主要用于内网穿透。它通过建立安全的隧道，使得外部设备能够访问内网服务。优点：开源免费：frp是开源项目，用户可以自由使用和修改。灵活性强：支持多种协议，可以满足不同场景的需
  • 用大数据“喂养”出来的AI模型ChatGPT 爆火是大数据、大算力、强算法的支撑，中国缺乏的什么？ Ai17316391579 深度学习服务器人工智能
    先来了解一下ChatGPT的基本情况ChatGPT本质属于生成式人工智能，属于无监督或半监督的机器学习。与之相关的还有Discriminativemodeling区分式模型，区分式模型大多属于监督式学习。生成性人工智能目前有两种主要的框架：GAN（GenerativeAdversarialNetwork）和GPT（GenerativePre-trainedTransformer）。GAN目前广泛应
  • 【前端三剑客实现3D相册~爱她，就为她做一个3D相册吧！！！】 烂然星陈 前端动态集前端3dhtml5css3javascript
    爱她，就为她做一个3D相册吧！！！创建一个3D相册盒子效果的HTML页面引言一、技术栈二、页面结构三、样式设计四、JavaScript逻辑五、总结完整源码获取，私信了解更多！！！创建一个3D相册盒子效果的HTML页面引言在网页设计中，3D效果总能吸引用户的注意力，提升用户体验。本文介绍如何使用HTML、CSS和JavaScript创建一个3D相册盒子效果。这个效果不仅包含了3D旋转和缩放动画，还结
  • 使用gdb调试Python进程 weixin_34062329 python
    使用gdb调试Python进程有时我们会想调试一个正在运行的Python进程，或者一个Python进程的coredump。例如现在遇到一个mod_wsgi的进程僵死了，不接受请求，想看看究竟是运行到哪行Python代码呢？这时就需要祭出gdb了。主要是三步：1）确保你的gdb版本>=72）安装python-debuginfo包（如：python-debuginfo-2.6.6-29.el6_2.2
  • gdb调试python b10l07 python
    一、概述有时我们会想调试一个正在运行的Python进程，或者一个Python进程的coredump。例如现在遇到一个mod_wsgi的进程僵死了，不接受请求，想看看究竟是运行到哪行Python代码呢？这时就需要祭出gdb了。主要是三步：1）确保你的gdb版本>=72）安装python-debuginfo包（如：python-debuginfo-2.6.6-29.el6_2.2.x86_64.rpm
  • SIWAVE+ADS提取PCB走线寄生参数 坐忘行 仿真射频工程
    第一章PCB参数提取与RF匹配调试仿真–软件及基础第二章CST仿真PCB操作说明第三章SIWAVE仿真PCB操作说明第四章Q3D提取PCB走线RLCG参数第五章CST仿真PCB射频通路间的隔离度第六章HFSS仿真PCB射频通路间的隔离度第七章HFSS3DLayout仿真PCB操作说明第八章SIWAVE+ADS提取PCB走线寄生参数————————————————前言前面介绍了Q3D仿真PCB走线寄
  • [ vulhub漏洞复现篇 ] Apache Tomcat 文件包含漏洞 (CVE-2020-1938) _PowerShell 渗透测试自学篇[靶场实战]vulhubapachetomcatjava
    博主介绍‍博主介绍：大家好，我是_PowerShell，很高兴认识大家~✨主攻领域：【渗透领域】【数据通信】【通讯安全】【web安全】【面试分析】点赞➕评论➕收藏==养成习惯（一键三连）欢迎关注一起学习一起讨论⭐️一起进步文末有彩蛋作者水平有限，欢迎各位大佬指点，相互学习进步！目录博主介绍一、漏洞简介二、漏洞编号（选填）三、漏洞靶场（选填）1.vulhub靶场环境搭建2.切换到此靶场目录3.启动靶
  • 132道系统架构面试八股文（答案、分析和深入提问）整理 ocean2103 面试题系统架构面试职场和发展
    1.谈一谈缓存穿透、缓存击穿和缓存雪崩，以及解决办法回答在系统架构中，缓存是一种重要的性能优化手段，但在实际使用中可能会遭遇一些问题，如缓存穿透、缓存击穿和缓存雪崩。下面分别解释这三种现象及其解决方法。1.缓存穿透定义：缓存穿透是指用户请求的数据在缓存和数据库中都不存在，导致每次请求都直接查询数据库，造成对数据库的压力。解决办法：参数校验：在请求到达缓存和数据库之前，进行参数校验，拒绝无效请求。使
  • 五、React(环境配置和ES6语法糖） 老帅比阿 web前端开发javascriptreact.js前端
    文章目录一、React是什么？二、React能用来做什么？三、配置环境四、ES6语法糖总结一、React是什么？React是一个开源JavaScript库，用于专门为单页应用程序构建用户界面。它用于处理Web和移动应用程序的视图层，允许我们创建可重用的UI组件。二、React能用来做什么？React非常灵活。你学会了React，你就可以在各种各样的平台上使用它来构建高质量的用户界面。React是一
  • 3dsMax：虚拟现实与360度全景渲染技术教程_2024-07-15_18-03-08.Tex chenjj4003 游戏开发3dsmaxvr材质贴图中间件android
    3dsMax：虚拟现实与360度全景渲染技术教程3dsMax与虚拟现实的基础知识3dsMax软件概述3dsMax,由Autodesk公司开发，是一款广泛应用于三维建模、动画、渲染和视觉效果的软件。它不仅在游戏开发、电影特效、建筑可视化等领域有着卓越的表现，而且在虚拟现实(VR)和增强现实(AR)内容创作中也扮演着重要角色。3dsMax提供了强大的工具集，包括但不限于：建模工具：用于创建和编辑三维模
  • HTML静态网页作业(HTML+CSS)——外卖平台主题网页设计制作(8个页面) 2501_90365653 htmlcss学生网页htmlcss前端
    不定期分享源码，关注不丢失哦文章目录一、作品介绍二、作品演示1、首页2、商家列表页3、商家详情页4、商家图片页三、代码目录四、网站代码五、源码获取一、作品介绍️本套采用DIV+CSS布局，未使用Javacsript代码，共有8个页面。二、作品演示1、首页2、商家列表页3、商家详情页4、商家图片页三、代码目录四、网站代码北京[更换]你好，请登录/注册全部分类全部商家商家入驻关于我们常见问题我要登录用
  • 哈希算法篇——散落的秘密与精准的归宿，混沌中的秩序之美（上） 诚丞成 常用算法讲解哈希算法算法
    文章目录引言：混沌中的秩序之美第一章：哈希的本质——化繁为简的魔法第二章：经典哈希函数——一座算法的博物馆第三章：哈希表的奇迹——从无序到有序的转变3.1哈希函数的基本实现3.2基本的哈希表实现3.3哈希算法的实际应用小结引言：混沌中的秩序之美在信息科学的星空下，有一种算法宛如一位洞悉混沌的智者，能够以其独特的规则，在无限的可能性中找到秩序。这便是哈希算法（HashingAlgorithm），一个
  • kafka学习笔记5 PLAIN认证——筑梦之路 筑梦之路 linux系统运维Java技术kafka学习笔记
    在Kafka中，SASL（SimpleAuthenticationandSecurityLayer）机制包括三种常见的身份验证方式：SASL/PLAIN认证：含义是简单身份验证和授权层应用程序接口，PLAIN认证是其中一种最简单的用户名、密码认证方式，生产环境使用维护简单易用。可用于Kafka和其他应用程序之间的认证。SASL/SCRAM认证：SCRAM-SHA-256、SCRAM-SHA-512
  • 【设计模式】——装饰器模式（Decorator Pattern） J^T 设计模式C/C++设计模式装饰器模式c++系统架构
    目录引言一、装饰器模式的基本概念核心思想装饰器模式的架构UML图应用场景二、装饰器模式的优点与缺点优点缺点三、C++实现装饰器模式1.定义抽象组件2.实现具体组件3.定义装饰器基类4.实现具体装饰器5.客户端使用四、总结引言在软件开发中，设计模式是解决常见问题的最佳实践。装饰器模式（DecoratorPattern），又称为包装器模式（WrapperPattern），是一种结构型设计模式，它允许在
  • 域名怎么备案？域名备案流程及步骤 跨境商城搭建开发 githubphpjavahtml5vue.jspython
    一、什么是域名备案？域名备案，简单来说，就是将网站域名及相关信息提交给国家有关部门进行审核和管理，以确保网站的合法性和安全性。这一过程类似于给网站做一个实名认证，让网站具有合法的运营资质。二、域名备案的必要性域名备案不仅是国家法律法规的要求，也是保障网站安全、维护网络环境的重要举措。通过备案，可以有效打击非法网站，保护用户权益，提升互联网行业的整体规范水平。三、域名备案流程及步骤1.准备备案材料根
  • IOS APP上架被拒 4.3(a) - Design - Spam，成功 星辰文宇 iosiosuni-app
    目录一、被拒原因二、百度方法三、尝试uniapp打包iosapk，混淆代码1、JavaScript-obfuscator插件（我没有使用）编辑2、HbuliderXuniapp混淆（做了）3、IpaGuard混淆工具四、上传ipa文件1、先处理失败的App2、上传ipa文件一、被拒原因翻译一下：我们注意到，您的应用程序与终止的苹果开发者计划帐户之前提交的应用程序共享类似的二进制、元数据和/或概念。
  • 【SpringBoot3】Spring Boot 3.0 集成 Mybatis Plus m0_74824517 面试学习路线阿里巴巴springbootmybatis后端
    文章目录一、什么是MybatisPlus特性二、SpringBoot3.0集成MybatisPlus三、MybatisPlus查询示例1、普通查询2、分页查询参考一、什么是MybatisPlusMyBatis-Plus（简称MP）是一个MyBatis的增强工具，在MyBatis的基础上只做增强不做改变，为简化开发、提高效率而生。特性无侵入：只做增强不做改变，引入它不会对现有工程产生影响，如丝般顺滑
  • Android 应用逆向与 Hook 技术进阶实战 阿贾克斯的黎明 javaandroid
    目录Android应用逆向与Hook技术进阶实战一、课程目标二、变量Hook详解（一）静态变量与实例变量区分（二）静态变量Hook步骤（三）实例变量Hook步骤三、构造函数Hook攻略（一）构造函数识别（二）Hook构造函数方法四、方法主动调用技巧（一）静态方法与实例方法区分及调用原则（二）静态方法调用示例（三）实例方法调用示例五、内部类Hook指南（一）内部类定义与识别（二）Hook内部类方法步
  • 如何使用LangChain内置工具和工具包 jkgSFS langchainmicrosoftpython
    在当今快速发展的人工智能应用开发中，利用现有的工具和工具包能大幅加快开发进程，提高应用的效率和功能性。本文将带您深入了解LangChain中的内置工具和工具包的使用方法，并通过示例代码进行演示。技术背景介绍LangChain是一个旨在简化应用程序创建的框架，其拥有丰富的第三方工具集成。这些工具可以帮助开发者轻松访问和操作如Wikipedia等大型数据集。核心原理解析LangChain工具通过API
  • 【锂电池寿命】基于BP锂电池寿命预测（matlab) 大橘科研工作室 毕设锂电池方向（MATLAB版）matlab
    【锂电池寿命】基于BP锂电池寿命预测（matlab)文章目录【锂电池寿命】基于BP锂电池寿命预测（matlab)一、引言1.1、研究背景1.2、研究意义二、文献综述2.1、锂电池寿命预测研究现状2.2、常见预测方法对比2.3、BP神经网络在寿命预测中的应用三、研究方法与数据准备3.1、BP神经网络模型设计3.2、数据来源与预处理3.3、特征提取与选择四、模型训练与验证4.1、训练过程4.2、模型验
  • 为AI聊天工具添加一个知识系统 之40 总纲领和整体设计 之2 三种簿册(账簿/电话簿/户口簿) 一水鉴天 人工语言软件智能智能制造人工智能
    本文要点前面给出的是项目式开发的项目“口号”，有点像包治百病的“万金油”。但在原型（原型式开发的一个原型口号）上分别有三个口号--注意：它们的表达和项目口号完全不同。逻辑上：所有模型model都是错的，但某些模型是有用的。数学上：所有程序prcedure严格来讲都是不精确的，但是有些程序非常接近用户的预期；语言上：所有表达expression都是含糊的，但任何语言都具有巨大的表达力。现在剩下的就是
  • 为AI聊天工具添加一个知识系统 之33 通用项目文档模板 ：语言无关/实现无关/符号无关的纯粹的符号学原型 一水鉴天 人工语言软件智能智能制造人工智能cocoa
    本文要点要点提取本项目文档的三个部分（Part1公理化&个性化，Part2形式化&结构化，Part3自动化&智能化）应该给出三种限界上下文--分别确定了语言自由交流用户与访问上下文（语言）、敏捷开发上下文（程序）和稳固核心上下文（数据）。限界上下文是解决边缘模糊的对策--通过分界。它不同于为计算机分类和人类理解两个目的而分别设计的上下文映射和通用语言。但即使是这个扩大了的范围仍然是领域驱动设计DD
  • 智能工厂的设计软件 应用场景的一个例子：为AI聊天工具添加一个知识系统 之14 方案再探 之5：知识树三类节点对应的三种网络形式及其网络主机 一水鉴天 人工语言智能制造软件智能人工智能
    本文要点前面讨论过（前面有错这里做了修正），三种簿册归档对应通过不同的网络形式（分布式、对等式和去中心式）。每种网络主机上分别提供：分布式控制脚本、对等式账本和备记手本通过以上讨论，div模型已经涵盖以下内容：从内容提供者（某个AI聊天工具，特定接口）到知识树及其三种节点（通用接口）到网络主机及其三种网络形式（节点专属操作接口）的要求。后面需要进一步为三者设计一个能实现耦合和解耦的程序需要特别说明
  • STL--set（集合） 不是吧啊喂 C++c++开发语言
    目录前言set:multiset:一、set对象创建1、默认构造2、初始化列表3、迭代器4、拷贝构造二、set赋值操作1、=set对象2、=初始化列表三、set大小操作1、判空2、大小四、set数据插入1、单值插入2、多值插入五、set数据查找六、set数据删除1、s.erase(x);删除x2、s.erase(迭代器);删除迭代器所在位置的值3、s.erase(迭代器1，迭代器2);七、set数
  • C++重要类型：string类 不是吧啊喂 C++c++开发语言蓝桥杯
    目录前言一、头文件二、定义与赋值1、定义一个空的string对象。2、用一个字符串常量初始化string对象。3、通过复制另一个string对象来初始化。三、访问字符四、内置函数前言在C++中，string类是标准库的一部分，用于处理字符串。它提供了一种更方便、更安全的方式来操作文本数据，相比于C风格的字符串（以char*和一组相关的函数来处理）有很多优势。一、头文件在使用string作为变量类型
  • STL--vector（二） 不是吧啊喂 c++开发语言
    目录一、vector数值插入1、尾插：v.push_back(x)2、在迭代器之前插入二、vector数据删除1、删除最后元素2、删除任意元素3、清空所有元素三、vector扩容机制调整vector：四、vector随机访问五、vector内存交换应用1：缩容应用2：内存清理六、vector空间预留七、vector高效删除八、vector数据排序一、vector数值插入1、尾插：v.push_ba
  • 不用到2038年，MySQL的TIMESTAMP就能把我们系统搞崩 大老二在不在 程序员Java面试java后端程序人生
    不用到2038年，MySQL的TIMESTAMP就能把我们系统搞崩MySql中常见的时间类型有三种DATE,DATETIME和TIMESTAMP，其中DATE类型用于表示日期，但是不会包含时间，格式为YYYY-MM-DD，而DATETIME和TIMESTAMP用于表示日期和时间，常见的格式为YYYY-MM-DDHH:MM:SS，也可以带6位小数来表示微秒。不同于DATETIME，TIMESTAMP
  • 新星计划Day11【数据结构与算法】 排序算法2 京与旧铺 java学习排序算法java算法
    新星计划Day11【数据结构与算法】排序算法2‍博客主页：京与旧铺的博客主页✨欢迎关注点赞收藏⭐留言✒本文由京与旧铺原创，csdn首发！系列专栏：java学习参考网课：尚硅谷首发时间：2022年5月13日你做三四月的事，八九月就会有答案，一起加油吧如果觉得博主的文章还不错的话，请三连支持一下博主哦最后的话，作者是一个新人，在很多方面还做的不好，欢迎大佬指正，一起学习哦，冲冲冲推荐一款模拟面试、刷题
  • Spring中@Value注解，需要注意的地方 无量 springbean@Valuexml
    Spring 3以后,支持@Value注解的方式获取properties文件中的配置值，简化了读取配置文件的复杂操作 1、在applicationContext.xml文件(或引用文件中)中配置properties文件 <bean id="appProperty" class="org.springframework.beans.fac
  • mongoDB 分片 开窍的石头 mongodb
        mongoDB的分片。要mongos查询数据时候 先查询configsvr看数据在那台shard上，configsvr上边放的是metar信息，指的是那条数据在那个片上。由此可以看出mongo在做分片的时候咱们至少要有一个configsvr,和两个以上的shard（片）信息。     第一步启动两台以上的mongo服务 &nb
  • OVER(PARTITION BY)函数用法 0624chenhong oracle
    这篇写得很好，引自 http://www.cnblogs.com/lanzi/archive/2010/10/26/1861338.html OVER(PARTITION BY)函数用法 2010年10月26日 OVER(PARTITION BY)函数介绍 开窗函数        &nb
  • Android开发中，ADB server didn't ACK 解决方法 一炮送你回车库 Android开发
    首先通知：凡是安装360、豌豆荚、腾讯管家的全部卸载，然后再尝试。   一直没搞明白这个问题咋出现的，但今天看到一个方法，搞定了！原来是豌豆荚占用了 5037 端口导致。 参见原文章：一个豌豆荚引发的血案——关于ADB server didn't ACK的问题 简单来讲，首先将Windows任务进程中的豌豆荚干掉，如果还是不行，再继续按下列步骤排查。 &nb
  • canvas中的像素绘制问题 换个号韩国红果果 JavaScriptcanvas
    pixl的绘制，1.如果绘制点正处于相邻像素交叉线，绘制x像素的线宽，则从交叉线分别向前向后绘制x/2个像素，如果x/2是整数，则刚好填满x个像素，如果是小数，则先把整数格填满，再去绘制剩下的小数部分，绘制时，是将小数部分的颜色用来除以一个像素的宽度，颜色会变淡。所以要用整数坐标来画的话（即绘制点正处于相邻像素交叉线时），线宽必须是2的整数倍。否则会出现不饱满的像素。 2.如果绘制点为一个像素的
  • 编码乱码问题 灵静志远 javajvmjsp编码
    1、JVM中单个字符占用的字节长度跟编码方式有关，而默认编码方式又跟平台是一一对应的或说平台决定了默认字符编码方式；2、对于单个字符：ISO-8859-1单字节编码，GBK双字节编码，UTF-8三字节编码；因此中文平台(中文平台默认字符集编码GBK)下一个中文字符占2个字节，而英文平台(英文平台默认字符集编码Cp1252(类似于ISO-8859-1))。 3、getBytes()、getByte
  • java 求几个月后的日期 darkranger calendargetinstance
    Date plandate = planDate.toDate(); SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd"); Calendar cal = Calendar.getInstance(); cal.setTime(plandate); // 取得三个月后时间 cal.add(Calendar.M
  • 数据库设计的三大范式（通俗易懂） aijuans 数据库复习
    关系数据库中的关系必须满足一定的要求。满足不同程度要求的为不同范式。数据库的设计范式是数据库设计所需要满足的规范。只有理解数据库的设计范式，才能设计出高效率、优雅的数据库，否则可能会设计出错误的数据库. 目前，主要有六种范式：第一范式、第二范式、第三范式、BC范式、第四范式和第五范式。满足最低要求的叫第一范式，简称1NF。在第一范式基础上进一步满足一些要求的为第二范式，简称2NF。其余依此类推。
  • 想学工作流怎么入手 atongyeye jbpm
    工作流在工作中变得越来越重要，很多朋友想学工作流却不知如何入手。 很多朋友习惯性的这看一点，那了解一点，既不系统，也容易半途而废。好比学武功，最好的办法是有一本武功秘籍。研究明白，则犹如打通任督二脉。 系统学习工作流，很重要的一本书《JBPM工作流开发指南》。 本人苦苦学习两个月，基本上可以解决大部分流程问题。整理一下学习思路，有兴趣的朋友可以参考下。 1  首先要
  • Context和SQLiteOpenHelper创建数据库 百合不是茶 androidContext创建数据库
           一直以为安卓数据库的创建就是使用SQLiteOpenHelper创建,但是最近在android的一本书上看到了Context也可以创建数据库,下面我们一起分析这两种方式创建数据库的方式和区别,重点在SQLiteOpenHelper     一:SQLiteOpenHelper创建数据库:   1,SQLi
  • 浅谈group by和distinct bijian1013 oracle数据库group bydistinct
            group by和distinct只了去重意义一样，但是group by应用范围更广泛些，如分组汇总或者从聚合函数里筛选数据等。         譬如：统计每id数并且只显示数大于3 select id ,count(id) from ta
  • vi opertion 征客丶 macoprationvi
    进入 command mode （命令行模式） 按 esc 键 再按 shift + 冒号 注：以下命令中 带 $ 【在命令行模式下进行】，不带 $ 【在非命令行模式下进行】 一、文件操作 1.1、强制退出不保存 $ q! 1.2、保存 $ w 1.3、保存并退出 $ wq 1.4、刷新或重新加载已打开的文件 $ e 二、光标移动 2.1、跳到指定行 数字
  • 【Spark十四】深入Spark RDD第三部分RDD基本API bit1129 spark
      对于K/V类型的RDD,如下操作是什么含义？   val rdd = sc.parallelize(List(("A",3),("C",6),("A",1),("B",5)) rdd.reduceByKey(_+_).collect  reduceByKey在这里的操作，是把
  • java类加载机制 BlueSkator java虚拟机
    java类加载机制 1.java类加载器的树状结构 引导类加载器 ^ | 扩展类加载器 ^ | 系统类加载器 java使用代理模式来完成类加载，java的类加载器也有类似于继承的关系，引导类是最顶层的加载器，它是所有类的根加载器，它负责加载java核心库。当一个类加载器接到装载类到虚拟机的请求时，通常会代理给父类加载器，若已经是根加载器了，就自己完成加载。 虚拟机区分一个Cla
  • 动态添加文本框 BreakingBad 文本框
      <script>     var num=1; function AddInput() {      var str="";     str+="<input 
  • 读《研磨设计模式》-代码笔记-单例模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ public class Singleton { } /* * 懒汉模式。注意，getInstance如果在多线程环境中调用，需要加上synchronized，否则存在线程不安全问题 */ class LazySingleton
  • iOS应用打包发布常见问题 chenhbc iosiOS发布iOS上传iOS打包
    这个月公司安排我一个人做iOS客户端开发，由于急着用，我先发布一个版本，由于第一次发布iOS应用，期间出了不少问题，记录于此。   1、使用Application Loader 发布时报错：Communication error.please use diagnostic mode to check connectivity.you need to have outbound acc
  • 工作流复杂拓扑结构处理新思路 comsci 设计模式工作算法企业应用OO
    我们走的设计路线和国外的产品不太一样，不一样在哪里呢？  国外的流程的设计思路是通过事先定义一整套规则(类似XPDL)来约束和控制流程图的复杂度(我对国外的产品了解不够多，仅仅是在有限的了解程度上面提出这样的看法)，从而避免在流程引擎中处理这些复杂的图的问题，而我们却没有通过事先定义这样的复杂的规则来约束和降低用户自定义流程图的灵活性，这样一来，在引擎和流程流转控制这一个层面就会遇到很
  • oracle 11g新特性Flashback data archive daizj oracle
    1. 什么是flashback data archive Flashback data archive是oracle 11g中引入的一个新特性。Flashback archive是一个新的数据库对象，用于存储一个或多表的历史数据。Flashback archive是一个逻辑对象，概念上类似于表空间。实际上flashback archive可以看作是存储一个或多个表的所有事务变化的逻辑空间。
  • 多叉树:2-3-4树 dieslrae 树
        平衡树多叉树,每个节点最多有4个子节点和3个数据项,2,3,4的含义是指一个节点可能含有的子节点的个数,效率比红黑树稍差.一般不允许出现重复关键字值.2-3-4树有以下特征:     1、有一个数据项的节点总是有2个子节点(称为2-节点)     2、有两个数据项的节点总是有3个子节点(称为3-节
  • C语言学习七动态分配 malloc的使用 dcj3sjt126com clanguagemalloc
    /* 2013年3月15日15:16:24 malloc 就memory(内存) allocate(分配)的缩写 本程序没有实际含义，只是理解使用 */ # include <stdio.h> # include <malloc.h> int main(void) { int i = 5; //分配了4个字节 静态分配 int * p
  • Objective-C编码规范[译] dcj3sjt126com 代码规范
      原文链接 : The official raywenderlich.com Objective-C style guide 原文作者 : raywenderlich.com Team 译文出自 : raywenderlich.com Objective-C编码规范 译者 : Sam Lau
  • 0.性能优化-目录 frank1234 性能优化
    从今天开始笔者陆续发表一些性能测试相关的文章，主要是对自己前段时间学习的总结，由于水平有限，性能测试领域很深，本人理解的也比较浅，欢迎各位大咖批评指正。 主要内容包括： 一、性能测试指标 吞吐量、TPS、响应时间、负载、可扩展性、PV、思考时间 http://frank1234.iteye.com/blog/2180305 二、性能测试策略 生产环境相同 基准测试 预热等 htt
  • Java父类取得子类传递的泛型参数Class类型 happyqing java泛型父类子类Class
      import java.lang.reflect.ParameterizedType; import java.lang.reflect.Type; import org.junit.Test; abstract class BaseDao<T> { public void getType() { //Class<E> clazz =
  • 跟我学SpringMVC目录汇总贴、PDF下载、源码下载 jinnianshilongnian springMVC
      ----广告-------------------------------------------------------------- 网站核心商详页开发 掌握Java技术，掌握并发/异步工具使用，熟悉spring、ibatis框架； 掌握数据库技术，表设计和索引优化，分库分表/读写分离； 了解缓存技术，熟练使用如Redis/Memcached等主流技术； 了解Ngin
  • the HTTP rewrite module requires the PCRE library 流浪鱼 rewrite
    ./configure: error: the HTTP rewrite module requires the PCRE library. 模块依赖性Nginx需要依赖下面3个包 1. gzip 模块需要 zlib 库 ( 下载: http://www.zlib.net/ ) 2. rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ ) 3. s
  • 第12章 Ajax（中） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Optimize query with Query Stripping in Web Intelligence blueoxygen BO
    http://wiki.sdn.sap.com/wiki/display/BOBJ/Optimize+query+with+Query+Stripping+in+Web+Intelligence and a very straightfoward video http://www.sdn.sap.com/irj/scn/events?rid=/library/uuid/40ec3a0c-936
  • Java开发者写SQL时常犯的10个错误 tomcat_oracle javasql
    1、不用PreparedStatements 　　有意思的是，在JDBC出现了许多年后的今天，这个错误依然出现在博客、论坛和邮件列表中，即便要记住和理解它是一件很简单的事。开发者不使用PreparedStatements的原因可能有如下几个： 　　他们对PreparedStatements不了解 　　他们认为使用PreparedStatements太慢了 　　他们认为写Prepar
  • 世纪互联与结盟有感 阿尔萨斯
    10月10日，世纪互联与（Foxcon）签约成立合资公司，有感。 全球电子制造业巨头（全球500强企业）与世纪互联共同看好IDC、云计算等业务在中国的增长空间，双方迅速果断出手，在资本层面上达成合作，此举体现了全球电子制造业巨头对世纪互联IDC业务的欣赏与信任，另一方面反映出世纪互联目前良好的运营状况与广阔的发展前景。 众所周知，精于电子产品制造（世界第一），对于世纪互联而言，能够与结盟
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他