一只yami
一只yami

Netty自定义TCP协议通讯实例

Netty自定义TCP协议通讯实例

网络编程的基本模型就是客户机到服务器模型，简单来说就是进程与进程之间的通讯

两个进程之间必须要有一个提供固定的位置，让另一个进程知道这个位置并建立联系，这样两个进程就可以相互通讯

其中提供固定位置的叫服务端，连接固定位置的叫客户端

实际上因为是双向通讯，服务端客户端并没有太大的界限

今天写一个实例，使用netty4来实现一个自定义的tcp报文解析

先说说自定义tcp协议的意义

文本协议：
对协议头的 size 没特别要求对解析速度没特别要求需要协议轻松
支持变长 header 且保持较友好的扩展性（如像 HTTP 一样可以随意增加 header）
可升级协议且不增加协议本身复杂度
要求容易调试

二进制协议：
要求协议头 size 要足够小
要求解析速度要足够快
协议头相对较固定，变动的可能性较低，但仍然需要留一些扩展位

比如即时通讯就很适合用二进制协议，因为即时通讯需要频繁收发消息，对于传输和解析的速度都有比较高的要求
另外一个就是二进制协议没有协议文档几乎不可读

进入代码阶段

本文代码链接：后端代码

一、服务端

1.新建工程

这次不需要boot了，新建一个空的maven项目引入依赖


    io.netty
    netty-all
    4.1.53.Final



    org.projectlombok
    lombok
    1.18.12





    org.slf4j
    slf4j-api
    1.7.25

    

    ch.qos.logback
    logback-classic
    1.2.3

    

    commons-codec
    commons-codec
    1.15

其中logback是给lombok的@Slf4j的实现，commons-codec用于获取md5

2.实现一个服务端

netty的基本使用就是建立一个worker和一个boss EventLoopGroup，然后配置编码解码器以及自定义handler，事件监听等，使得开发者的核心可以转移到处理数据。



        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();

        ServerBootstrap bootstrap = new ServerBootstrap();
        bootstrap.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class)
                .option(ChannelOption.TCP_NODELAY, true).handler(new LoggingHandler(LogLevel.INFO))
                .childHandler(new ChannelInitializer() {

                    @Override
                    protected void initChannel(SocketChannel ch) throws Exception {
                        
                        ch.pipeline().addLast(
                                // 自定义解码器
                                new DecodeHandler(),
                                new StringEncoder(CharsetUtil.UTF_8),
                                // 自定义的文件处理handler
                                new TcpServerHandler());
                    }
                });

        try {
            int port = 8888;
            String host = "127.0.0.1";

            ChannelFuture future = bootstrap.bind(host, port).sync();

            log.info("启动服务器 端口[{}]", port);

            future.channel().closeFuture().sync();

        } catch (InterruptedException e) {
            log.error("%s", e);
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }

除了常规配置之外，我们要做的就是实现一个自定义的解码器DecodeHandler以及消息处理器TcpServerHandler

3.协议制定

开始解码前我们需要有一个协议，才能知道该怎么解

业务的报文处理
解析
定义协议 PS：x表示占几个字节
[[版本x2][报文总长度x2][消息类型x1][文件标识x16][分片序号x2][文件总大小x8][分片文件长度x2][分片文件数据]]
消息类型 0x01 上传文件 0x02 合并文件

示例报文（16进制）：

0055041d015b886f17f511ed7908128e68520b8aa300000000000001159cf50400504b03041400000000003b0a3948000000000000000000000000180000007068616e746f6d6a732d322e312e312d77696e646f77732f504b0304140000000000670a39480000000000000000000000001c0000007068616e746f6d6a732d322e312e312d77696e646f77732f62696e2f504b0304140000000800bd0a394821ec01d2cbbf140100a01b01290000007068616e746f6d6a732d322e312e312d77696e646f77732f62696e2f7068616e746f6d6a732e657865ec9a8b3fd3ff1ec777373336b5106313b94d482a22e6325b85264285ad92cba2167329b731b799cbeae474fd955427bf2ebf748e44c45c6a2315e9942256a9c8a52531b9ec7cbf9ddbe35c1e8fd31f70be0f1eefafd79efb787edf9feff7cdc383ef4e31040e814010c0a74a0581d442fe7a5021fffba04221102dd25d2d48b5fa23e35aa8cf23e3c0e898043237fe6054fcee38f2dedd070e1ce491f7ec23c7271e20c71c207b6d0d20c71d8cd867a3a98931fddb1aebdb1ef4245caee4fffd73edd4267e3250c79107f987809a3193cc27ffedb5f81f5f6fe2b32e8195c15f0bd4df7646f27997c19af2e375ad7e063fe30a58937fbcff81b30f3ff5c7eb7bf9d13fd6f9951f7e05cc197cc48fd737f1e3ae8395f7b7f513800a726e4005f3a41f755bccde68d0e1df7bc0a441203e503844e07739e8ef991c02836a40b11088d8000a210341d504944bc3c021920928840954b0bb7820874120a81feff867857081d7f17f3d8543a85900f8e3e39ff5af85fa8b0216f20e02896561e062601d70dd58dc7feed1fc6e0c1c0bf9df47281d0367407efed8ce0cb103ca8f6bfbabd78f9be85f0e3ed00a805b0d9cfee8c58feb2f00eabf715480b3894f88df0b7e41feebb54008402d02d87fe52490ff1f3f7bacb1715a0dee93b1a63a1a1588db19d4fccaf6eb7d730c7c7f2ed0573b185c0702d963fc7a56150db579201e865a5ec7ee68ed24950f0e86c75771542b6c77b7d5c1be3db2860a069b7c1bcf52a56437eb7b29111780fdf157f52da82ec0be86f0d7b4318bbd4cd11117cd39c8ac61c8a275ace0ee8b86f136b4d00e518c92e2f7fda95aa5520d6c80af7511598bd0b9ed3c5dc1ac8a4712b4ab14b86634ae4cd27560d74c8e2451db890383310317ba8862eceb17b13138b65eac4fbf50f3c28e59b27334119f00756bb177350fb6db88c0464477b8cfb02ec2be94eb71ec8d535c89a38d9ff7ae264a911832cc6c8dc4199a3a6ac5ba8cbabed63472bb458c615f12c99a4371af7e106e0da3d80de2c2a6590e656be19b22e4b68eac59f1de52172a8731ec62ea9d93217b2f4678315c901c8ca7565dda3e071fe65d4ae34420c7d69d1ae2835a495d1d6253469adb175a8655e3e0b8ec8059b1674434c7923fd39b3c4644536259dc52a2ba71faf5b95e5e560a47

推荐使用NetAssist调试

4.解码器

解码器的意义在于先一步处理得到报文

TCP是一个“流”协议，所谓流，就是没有界限的一长串二进制数据。TCP作为传输层协议并不不了解上层业务数据的具体含义，它会根据TCP缓冲区的实际情况进行数据包的划分，所以在业务上认为是一个完整的包，可能会被TCP拆分成多个包进行发送，也有可能把多个小的包封装成一个大的数据包发送，这就是所谓的TCP粘包和拆包问题。

所以我们需要在解码器对每一包进行校验，小于校验和的包需要粘包，大于校验和的包需要拆包，这样才能正确解析
至于怎么解决这个可以专门分析，网上也有很多方案，这里不谈

除了粘包拆包问题，我们还可能有对原始报文进行解密的操作，为了保证下游的handler拿到的bytebuf是与协议文档一样的格式，我们需要先解密，并把业务部分报文传达下去，甚至可以在定义了一定格式的报文后，直接在decoder中把二进制数据变成对象或者等类型，下游再解析。

public class DecodeHandler extends ByteToMessageDecoder {

    @Override
    protected void decode(ChannelHandlerContext ctx, ByteBuf byteBuf, List out) throws Exception {
        // 取到tag与报文长度后再处理，各2字节
        if (byteBuf.readableBytes() < 4) {
            return;
        }
        // 记录当前ByteBuf的读指针位置，以便下面取报文长度字节
        // pos是一个完整报文的开始位置，报文整体会在ByteBuf中移动，类似内存管理，所以基于字节的判断报文长度等等，都是基于pos，否则可以在byteBuf.readBytes（）之后加，byteBuf.discardReadBytes();整理ByteBuf，使pos回到0开始位置
        int pos = byteBuf.readerIndex();
        
        //不同协议头建议使用策略模式处理
        short protocol = byteBuf.readShort();//前面两个字节是协议版本 0x55
        
        int msgLen = byteBuf.readShort();//第三第四个字节表示报文长度

        // 收到的报文长度不足一个完整的报文，继续接收
        if (byteBuf.readableBytes() < msgLen) {
            return;
        }
        
        // 提出完整报文(readBytes读到msg中)，放到list给下一个Handler处理
        if (msgLen > 0) {
            out.add(byteBuf.readBytes(msgLen));
        }

    }

}
 
 
5.自定义handler
 
 
从上面的DecodeHandler可以看到，前4个字节用来做协议版本和报文长度，已经read了，丢到out中给到下游的是这四个字节以外的数据
 
 
// 前面4个字节已经在decode阶段跳过了
        byte msgType = byteBuf.readByte();// 读取一个字节为消息类型

        switch (msgType) {
        case 0x01:
            upload(byteBuf);
            break;
        case 0x02:
            merge(byteBuf);
            break;
        }

 
 
所以在handler中可以直接读取一个字节判断当前的报文类型再分发
 然后根据已有的协议进行解析
 
 
// 业务的报文处理
// 解析
// 定义协议 PS：x表示占几个字节
// [[版本x2][报文总长度x2][消息类型x1][文件标识x16][分片序号x2][文件总大小x8][分片文件长度x2][分片文件数据]]
// 消息类型 0x01 上传文件 0x02 合并文件

byte[] filenameBytes = new byte[16];
buf.readBytes(filenameBytes);// 读取16字节是文件名
String filename = ByteUtils.bytesToHex(filenameBytes);// 我这里是md5不会有中文没有乱码的问题

short fileseq = buf.readShort();// 读取2字节是分片序号

long filesize = buf.readLong();// 读取8字节是文件总大小

short chunksize = buf.readShort();// 读取2字节是分片文件长度

byte[] dataBytes = new byte[chunksize];
buf.readBytes(dataBytes);

 
 
已经有大佬写好框架，只需要做解析的同学，做这个不算太难，稍微有些枯燥，需要认真细心，不要解错
 
 
二、客户端
 
 
相对服务端而言，客户端需要搜集本次通讯的报文数据，无论是protobuf也好byte数据也好，都比服务端要复杂一些
 
 
由于我们的netty实现了一个tcp服务端，所以可以客户端只要使用tcp协议就可以通讯，我们使用java提供的socketapi即可
 
 
核心代码
 
 
/**
     * TODO 本来发送是不需要返回值的，但是这里为了使用latch来计算发了多少，通过返回true来表示发送成功一个
     * 
     * @param msg
     * @return
     */
    synchronized public boolean sendMsgBySocket(ByteBuffer msg) {
        try {
//          Socket socket = getSocketClient();

            //这段代码仅仅调试用，尽量一个不要开多个socket跟服务端通信，应该使用同一个链路，多次发送消息，服务端解决粘包和拆包的问题
            // 要连接的服务端IP地址和端口-----------------------------------
            String host = "127.0.0.1";
            int port = 8888;

            // 与服务端建立连接
            this.socket = new Socket(host, port);
            //---------------------------------------------------------

            // 建立连接后获得输出流
            OutputStream outputStream = socket.getOutputStream();
            byte[] msgArray = msg.array();
            // 报文头start-----------------------------------------------
            // 55表示协议版本
            short protocol = 0x55;
            ByteBuffer header = ByteBuffer.allocate(4);
            header.putShort(protocol);// 版本x2

            // 写入本次报文总长度 固定是37 + 分片文件长度
            short length = (short) (msgArray.length);
            header.putShort(length);// 报文总长度x2
            // 报文头end-----------------------------------------------
            outputStream.write(header.array());
            outputStream.write(msgArray);
            outputStream.flush();

            InputStream inputStream = socket.getInputStream();
            byte[] bytes = new byte[1024];
            int read = 0;

            while (true) {
                // 死循环直到服务器返回 这里可以添加超时机制，防止服务器出问题后无限循环
                read = inputStream.read(bytes);
                if (read > 0) {
                    String result = new String(bytes);
                    log.info("receive : {}", result);
                    if ("ok".equals(result)) {
                        // 假定回复ok就是成功了
                        return true;
                    }
                    break;
                }
            }

        } catch (Exception e) {
            log.error("[{}]", e);
        }

        return false;

    }

 
 
这里的含义是我们先组装好要发送的报文ByteBuffer，然后调用这个发起socket通讯
 
 
其他分享的代码
 这次做的是通过tcp分片上传大文件
 
 
思想还是和上篇一样，客户端分片，通过md5获得唯一标识以免重复，每个报文包括分片序号，唯一标识，总大小分片大小还有分片数据
 
 
因为我们要规定每个分片的最大大小才能计算分片数量
 
 
所以这里可以利用FileChannel，分段读取，无需切片文件，也避免把整个文件读取到内存
 
 
FileChannel fileChannel = FileChannel.open(Paths.get(file.getAbsolutePath()),
                    EnumSet.of(StandardOpenOption.READ));

    // 每个分片最大1024，所以只有最后一片不一定是1024，但是也能算出来
    int lastSize = (int) (fileChannel.size() - ((chunk - 1) * 1024));// 总长度减去前片的和

    for (int chunkNum = 0; chunkNum < chunk; chunkNum++) {

        int size = chunkNum == chunk ? lastSize : chunkSize;

        ByteBuffer buffer = ByteBuffer.allocate(size);

        fileChannel.read(buffer);

 
 
我规定每个分片最大1024字节也就是1kb，所以每次最多读1k，最后一片可能小于等于1k，每循环一次就把报文放到线程池中等待发送
 
 
利用CountDownLatch设定一个屏障，要求发送的总数达到才关闭线程池，在服务端返回ok后latch.countDown()达到计数的效果
 
 
// 设定一个计数器
    CountDownLatch latch = new CountDownLatch(chunk);
    fixedThreadPool.execute(() -> {
            // 将组装好的报文，在线程池中创建线程运行
            client.sendMsgBySocket(msgBuffer);
            // 应该要判断是否成功的。这里不判断认为都成功
            latch.countDown();
        });
    // 所有线程没发送完全之前 一直等待
    latch.await();

 
 
分片大小1k确实有点小，不过这是为了看测试效果，实际上要根据通讯网络来定义分片大小，带宽好的大一些
 
 
 
  
 
   
  
   
 
  
 
  
 
 
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(Netty自定义TCP协议通讯实例)

        

            

                
    
                    
  • UI学习——cell的复用和自定义cell
                        Magnetic_h
ui学习
                        
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
    
                    
    • 
                    
  • c++ 的iostream 和 c++的stdio的区别和联系
                        黄卷青灯77
c++算法开发语言iostreamstdio
                        
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
    
                    
    • 
                    
  • 高级编程--XML+socket练习题
                        masa010
java开发语言
                        
    1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
    
                    
    • 
                    
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）
                        编程经验分享
开发工具服务器sshlinux
                        
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
    
                    
    • 
                    
  • 四章-32-点要素的聚合
                        彩云飘过

                        
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
    
                    
    • 
                    
  • Python 实现图片裁剪（附代码） | Python工具
                        剑客阿良_ALiang

                        
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    
                    
    • 
                    
  • 高级 ECharts 技巧：自定义图表主题与样式
                        SnowMan1993
echarts信息可视化数据分析
                        
    ECharts是一个强大的数据可视化库，提供了多种内置主题和样式，但你也可以根据项目的设计需求，自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题，以提升数据可视化的吸引力和一致性。1.什么是ECharts主题？ECharts的主题是指定义图表样式的配置项，包括颜色、字体、线条样式等。通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
    
                    
    • 
                    
  • Xinference如何注册自定义模型
                        玩人工智能的辣条哥
人工智能AI大模型Xinference
                        
    环境：Xinference问题描述：Xinference如何注册自定义模型解决方案：1.写个model_config.json，内容如下{"version":1,"context_length":2048,"model_name":"custom-llama-3","model_lang":["en","ch"],"model_ability":["generate","chat"],"model
    
                    
    • 
                    
  • ES聚合分析原理与代码实例讲解
                        光剑书架上的书
大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
                        
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
    
                    
    • 
                    
  • 网络编程基础
                        记得开心一点啊
网络
                        
    目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
    
                    
    • 
                    
  • 快节奏
                        地方天圆

                        
    现在生活都是快节奏，使人来不及品味生活中的酸甜苦辣。交通、通讯、办公条件的高度发达，缩短了距离，节省了时间，提高了效率，但同时也使人成为缺少思考的动物，成为流水线上的一道工序。人人都有干不完的活、接不完的电话、参加不完的应酬。工作，急匆匆；办事，急匆匆；走路，急匆匆；吃饭，急匆匆；走亲串友，急匆匆；就连说话、甚至睡觉也都是急匆匆。快节奏的环境，使我们养成了快节奏的思维、习惯、心态，很难静下心来，认
    
                    
    • 
                    
  • 用Python实现读取统计单词个数
                        程序媛了了
python游戏java
                        
    完整实例代码：fromcollectionsimportCounterdefpythonit():danci={}withopen("pythonit.txt","r",encoding="utf-8")asf:foriinf:words=i.strip().split()forwordinwords:ifwordnotindanci:danci[word]=1else:danci[word]+=
    
                    
    • 
                    
  • esp32开发快速入门 8 : MQTT 的快速入门，基于esp32实现MQTT通信
                        z755924843
ESP32开发快速入门服务器网络运维
                        
    MQTT介绍简介MQTT（MessageQueuingTelemetryTransport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联
    
                    
    • 
                    
  • mac 备份android 手机通讯录导入iphone,iphone如何导出通讯录（轻松教你iPhone备份通讯录的方法）...
                        weixin_39762838
mac备份android手机通讯录导入iphone
                        
    在日新月异的手机更替中，换手机已经成为一个非常稀松平常的事情，但将旧手机上面的通讯录导入到新手机还是让不少小伙伴为难，本篇将给大家详细讲解这方面的知识：“苹果手机通讯录怎么导入到新手机”及“安卓手机通讯录导入到新手机”的方法。一、苹果手机通讯录导入到新手机常用方法(SIM卡导入)在苹果手机主频幕上找到“设置”，单击进入设置菜单，下拉菜单列表，点击“邮件、通讯录、日历”，然后找到“导入SIM卡通讯录
    
                    
    • 
                    
  • C++ lambda闭包消除类成员变量
                        barbyQAQ
c++c++java算法
                        
    原文链接：https://blog.csdn.net/qq_51470638/article/details/142151502一、背景在面向对象编程时，常常要添加类成员变量。然而类成员一旦多了之后，也会带来干扰。拿到一个类，一看成员变量好几十个，就问你怕不怕？二、解决思路可以借助函数式编程思想，来消除一些不必要的类成员变量。三、实例举个例子：classClassA{public:...intfu
    
                    
    • 
                    
  • uniapp map组件自定义markers标记点
                        以对_
uni-app学习记录uni-appjavascript前端
                        
    需求是根据后端返回数据在地图上显示标记点，并且根据数据状态控制标记点颜色，标记点背景通过两张图片实现控制{{item.options.labelName}}exportdefault{data(){return{storeIndex:0,locaInfo:{longitude:120.445172,latitude:36.111387},markers:[//标点列表{id:1,//标记点idin
    
                    
    • 
                    
  • 《 C++ 修炼全景指南：九 》打破编程瓶颈！掌握二叉搜索树的高效实现与技巧
                        Lenyiin
C++修炼全景指南技术指南c++算法stl
                        
    摘要本文详细探讨了二叉搜索树（BinarySearchTree,BST）的核心概念和技术细节，包括插入、查找、删除、遍历等基本操作，并结合实际代码演示了如何实现这些功能。文章深入分析了二叉搜索树的性能优势及其时间复杂度，同时介绍了前驱、后继的查找方法等高级功能。通过自定义实现的二叉搜索树类，读者能够掌握其实际应用，此外，文章还建议进一步扩展为平衡树（如AVL树、红黑树）以优化极端情况下的性能退化。
    
                    
    • 
                    
  • 笋丁网页自动回复机器人V3.0.0免授权版源码
                        希希分享
软希网58soho_cn源码资源笋丁网页自动回复机器人
                        
    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
    
                    
    • 
                    
  • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    
                    
    • 
                    
  • 阿里云服务器4核8G配置购买及价格类文章汇总（10篇）
                        阿里云最新优惠和活动汇总

                        
    阿里云服务器4核8G配置如何购买？价格是多少？4核8G配置的阿里云服务器可以通过云服务器产品页购买也可以通过阿里云活动去下单购买，一般通过活动购买的用户比较多，但是不同实例规格的阿里云服务器价格不一样，带宽不同价格也不一样，本文为大家汇总了10篇关于阿里云服务器4核8G配置购买教程文章和价格类文章，分为购买类文章和价格类文章，以供大家参考如何购买阿里云服务器4核8G配置和最新优惠价格是多少。阿里云
    
                    
    • 
                    
  • 自定义队列
                        junjun2018

                        
    队列：像排队吃饭一样，先到的先点菜，后来的后点菜。以下代码展示使用单向列表实现的队列。//链表是以节点为单位的，对于单向链表，每个节点中包含一个值和指向下一个对象的引用publicclassNode{Objectvalue;Nodenext;publicNode(Objectvalue){this.value=value;}publicObjectgetValue(){returnvalue;}p
    
                    
    • 
                    
  • MyBatis 详解
                        阿贾克斯的黎明
javamybatis
                        
    目录目录一、MyBatis是什么二、为什么使用MyBatis（一）灵活性高（二）性能优化（三）易于维护三、怎么用MyBatis（一）添加依赖（二）配置MyBatis（三）创建实体类和接口（四）使用MyBatis一、MyBatis是什么MyBatis是一个优秀的持久层框架，它支持自定义SQL、存储过程以及高级映射。MyBatis免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。它可以通过简
    
                    
    • 
                    
  • 2019-07-09 AutoCompleteTextView 问题
                        皮皮铭

                        
    实现自定义Adapter要实现Filterable接口，不然会报错重写getFilter()方法performFiltering()方法实现过滤数据的操作publishResults()用来接收performFiltering()的返回值，发布。
    
                    
    • 
                    
  • 03-Cesium自定义着色器完整代码以及注释
                        fxshy
着色器javascript
                        
    1.效果展示2.完整代码自定义着色器完整代码#map{position:absolute;width:100%;height:100%;top:0;left:0;right:0;bottom:0;}Cesium.Ion.defaultAccessToken='eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJqdGkiOiJhZjZkZDAwZC1mNTFhLTRhO
    
                    
    • 
                    
  • Python编程 - 初识面向对象
                        易辰君
Python核心编程python开发语言
                        
    目录前言一、面向对象二、类和对象（一）类简介定义类（二）对象简介创建对象（三）总结三、实例属性和实例方法（一）实例属性创建的基本语法使用示例（二）实例方法定义实例方法的基本语法调用示例方法的示例（三）总结四、类中的self（一）基本概念（二）作用访问实例属性调用其他实例方法在构造函数中初始化对象（三）总结五、__init__方法（一）__init__方法的特点（二）基本语法（三）示例（四）总结前言
    
                    
    • 
                    
  • 【C语言】- 自定义类型：结构体、枚举、联合
                        Cavalier_01
C语言
                        
    【C语言】：操作符（https://mp.csdn.net/editor/html/115218055）数据类型（https://mp.csdn.net/editor/html/115219664）自定义类型：结构体、枚举、联合（https://mp.csdn.net/editor/html/115373785）变量、常量（https://mp.csdn.net/editor/html/11523
    
                    
    • 
                    
  • 自定义分区
                        我的K8409
Hadoophdfshadoop大数据
                        
    通过简单例子了解partition分区类的重写方法分区是在MR的过程中进行的，属于Shuffle阶段但是在Job端不要忘记进行调用：job.setPartitionerClass(xxx.class)按照年龄分区：classAgePartitionerextendsPartitioner{@OverridepublicintgetPartition(MyComparablekey,NullWrit
    
                    
    • 
                    
  • 高性能javascript--算法和流程控制
                        海淀萌狗

                        
    -for,while和do-while性能相当-避免使用for-in循环，==除非遍历一个属性量未知的对象==es5:for-in遍历的对象便不局限于数组，还可以遍历对象。原因：for-in每次迭代操作会同时搜索实例或者原型属性，for-in循环的每次迭代都会产生更多开销，因此要比其他循环类型慢，一般速度为其他类型循环的1/7。因此，除非明确需要迭代一个属性数量未知的对象，否则应避免使用for-i
    
                    
    • 
                    
  • ansible的安装、使用
                        ytym00

                        
    简介高度模块化，调用特定的模块，完成特定的任务，基于Yaml，来完成批量任务的模板化，来支持playbook。基于Python语言实现，主要使用Paramiko、PyYAML和JinJa2三个关键模块，部署简单(agentless)，主从模式，支持自定义模块，支持playbook，幂等性：允许重复执行N次，没有变化时，只会执行第一次。特点：1、Configuration(cfengine,chef
    
                    
    • 
                    
  • idea使用自定义checkstyle.xml配置文件
                        Gemkey

                        
    1.下载插件image.png2.插件安装完后,找到设置中的checkstyle,点击"+",新增自定义规则image.png3.输入描述信息,点击Browse找到对应的文件image.pngimage.png4.可以把active勾上,则使用默认校验规则,点击OK,则可以开始使用自定义规则检测单个文件了image.png
    
                    
    • 
                                
  • ASM系列五 利用TreeApi 解析生成Class
                                    lijingyao8206
ASM字节码动态生成ClassNodeTreeAPI
                                    
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。 
         在介绍前，先要知道一点， Tree工程的接口基本可以完
    
                                
    • 
                                
  • 链表树——复合数据结构应用实例
                                    bardo
数据结构树型结构表结构设计链表菜单排序
                                    
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 
需求简介： 
经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
    
                                
    • 
                                
  • 为啥要用位运算代替取模呢
                                    chenchao051
位运算哈希汇编
                                    
      
  在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧， 
  
  JDK6中的HashMap中的indexFor方法： 
    /**
     * Returns index for hash code h.
     */
    static int indexFor(int h, int length) {

    
                                
    • 
                                
  • 最近的情况
                                    麦田的设计者
生活感悟计划软考想
                                    
          今天是2015年4月27号 
     整理一下最近的思绪以及要完成的任务 
            1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
    
                                
    • 
                                
  • PHP去掉字符串中最后一个字符的方法
                                    IT独行者
PHP字符串
                                    
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： 
$str = "1,2,3,4,5,6,";
$newstr = substr($str,0,strlen($str)-1);
echo $newstr; 
    
                                
    • 
                                
  • hadoop在linux上单机安装过程
                                    _wy_
linuxhadoop
                                    
    1、安装JDK 
    jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行： 
   export JAVA_HOME=/usr/java/jdk1.7.0_25  
    
                                
    • 
                                
  • JAVA进阶----分布式事务的一种简单处理方法
                                    无量
多系统交互分布式事务
                                    
    每个方法都是原子操作： 
 
提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 
 
A系统调用B,C,D系统完成分布式事务 
 
 
=========执行开始======== 
A.aa(); 
 
try { 
 B.bb(); 
} catch(Exception e) { 
 A.rollbackAa(); 
} 
 
try { 
 C.cc(); 
} catch(Excep
    
                                
    • 
                                
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉
                                    矮蛋蛋
hadoop互联网
                                    
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 
 
　　到底什么是移动DSP呢? 
 
　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广 
    
                                
    • 
                                
  • myelipse设置
                                    alafqq
IP
                                    
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 
 
 
 
注释模板导入步骤  
 
 
 
安装方法： 
打开eclipse/myeclipse 
选择 window-->Preferences-->JAVA-->Code-->Code 
    
                                
    • 
                                
  • java数组
                                    百合不是茶
java数组
                                    
    java数组的   声明  创建  初始化；   java支持C语言 
   
  
数组中的每个数都有唯一的一个下标 
  一维数组的定义   声明：  int[] a = new int[3];声明数组中有三个数int[3]    
int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数


    
                                
    • 
                                
  • javascript读取表单数据
                                    bijian1013
JavaScript
                                    
    利用javascript读取表单数据，可以利用以下三种方法获取： 
1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 
2、通过表单名称属性：var b = document.getElementsByName("name"); 
3、直接通过表单名字获取：var c = form.content.
    
                                
    • 
                                
  • 探索JUnit4扩展：使用Theory
                                    bijian1013
javaJUnitTheory
                                    
    理论机制（Theory） 
一.为什么要引用理论机制（Theory） 
        当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 
TDD 的优点： 
    &nb
    
                                
    • 
                                
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB
                                    bit1129
template
                                    
    什么是Spring Data Mongo 
Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 
1. 封装客户端跟MongoDB的链接管理 
2. 文档-对象映射，通过注解:@Document(collectio
    
                                
    • 
                                
  • 【Kafka八】Zookeeper上关于Kafka的配置信息
                                    bit1129
zookeeper
                                    
    问题： 
1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 
3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 
4. Producer跟Zookeeper究竟有没有关系？没有关系！！！ 
  
//consumers、config、brokers、cont
    
                                
    • 
                                
  • java OOM内存异常的四种类型及异常与解决方案
                                    ronin47
java OOM 内存异常
                                    
          　OOM异常的四种类型： 
　　　 
　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。 
  
  　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
    
                                
    • 
                                
  • java-实现链表反转-递归和非递归实现
                                    bylijinnan
java
                                    
    20120422更新： 
对链表中部分节点进行反转操作，这些节点相隔k个： 
0->1->2->3->4->5->6->7->8->9 
k=2 
8->1->6->3->4->5->2->7->0->9 
注意1 3 5 7 9 位置是不变的。 
解法： 
将链表拆成两部分： 
a.0-&
    
                                
    • 
                                
  • Netty源码学习-DelimiterBasedFrameDecoder
                                    bylijinnan
javanetty
                                    
     看DelimiterBasedFrameDecoder的API，有举例： 
 接收到的ChannelBuffer如下： 
 
 +--------------+
 | ABC\nDEF\r\n |
 +--------------+ 
 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： 
 
 +-----+----
    
                                
    • 
                                
  • linux的一些命令 -查看cc攻击-网口ip统计等
                                    hotsunshine
linux
                                    
    Linux判断CC攻击命令详解 
2011年12月23日 ⁄ 安全 ⁄ 暂无评论 
查看所有80端口的连接数 
 
 
netstat -nat|grep -i '80'|wc -l
对连接的IP按连接数量进行排序

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n
查看TCP连接状态

n
    
                                
    • 
                                
  • Spring获取SessionFactory
                                    ctrain
sessionFactory
                                    
    
String sql = "select sysdate from dual";
		
WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); 
String[] names = wac.getBeanDefinitionNames();
for(int i=0; i&
    
                                
    • 
                                
  • Hive几种导出数据方式
                                    daizj
hive数据导出
                                    
    Hive几种导出数据方式 
     
1.拷贝文件 
  
如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 
hadoop fs –cp source_path target_path 
  
2.导出到本地文件系统 
  
--不能使用insert into local directory来导出数据，会报错 
--只能使用
    
                                
    • 
                                
  • 编程之美
                                    dcj3sjt126com
编程PHP重构
                                    
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解 
  
header("Content-type: text/plain");
function static_function () {
    static $i = 0;
    if ($i++ < 1
    
                                
    • 
                                
  • Android保存用户名和密码
                                    dcj3sjt126com
android
                                    
    转自：http://www.2cto.com/kf/201401/272336.html 
我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 
1、通过普通 的txt文本存储 
2、通过properties属性文件进行存
    
                                
    • 
                                
  • Oracle 复习笔记之同义词
                                    eksliang
Oracle 同义词Oracle synonym
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 
1.什么是同义词 
      同义词是现有模式对象的一个别名。 
      概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
    
                                
    • 
                                
  • Ajax案例
                                    gongmeitao
Ajaxjsp
                                    
    数据库采用Sql Server2005 
项目名称为:Ajax_Demo 
1.com.demo.conn包 
package com.demo.conn; 
import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; 
//获取数据库连接的类public class DBConnec
    
                                
    • 
                                
  • ASP.NET中Request.RawUrl、Request.Url的区别
                                    hvt
.netWebC#asp.nethovertree
                                    
      
如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
    
                                
    • 
                                
  • SVG 教程 （七）SVG 实例，SVG 参考手册
                                    天梯梦
svg
                                    
    SVG 实例   在线实例 
下面的例子是把SVG代码直接嵌入到HTML代码中。 
谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 
注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。    SVG 实例 
SVG基本形状 
一个圆 
矩形 
不透明矩形 
一个矩形不透明2 
一个带圆角矩
    
                                
    • 
                                
  • 事务管理
                                    luyulong
javaspring编程事务
                                    
    事物管理 
 
spring事物的好处 
 
为不同的事物API提供了一致的编程模型 
支持声明式事务管理 
提供比大多数事务API更简单更易于使用的编程式事务管理API 
整合spring的各种数据访问抽象 
 
TransactionDefinition 
定义了事务策略 
 
int getIsolationLevel()得到当前事务的隔离级别 
 
READ_COMMITTED 
    
                                
    • 
                                
  • 基础数据结构和算法十一：Red-black binary search tree
                                    sunwinner
AlgorithmRed-black
                                    
      
The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
    
                                
    • 
                                
  • centos同步时间
                                    stunizhengjia
linux集群同步时间
                                    
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
    
                                
    • 
                                
  • ITeye 9月技术图书有奖试读获奖名单公布
                                    ITeye管理员
ITeye
                                    
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：  
  
  
《NFC：Arduino、Andro
    
                                
    •