sidesky
sidesky

Netty之解决TCP粘包拆包(自定义协议)

1、什么是粘包/拆包

       一般所谓的TCP粘包是在一次接收数据不能完全地体现一个完整的消息数据。TCP通讯为何存在粘包呢？主要原因是TCP是以流的方式来处理数据，再加上网络上MTU的往往小于在应用处理的消息数据，所以就会引发一次接收的数据无法满足消息的需要，导致粘包的存在。处理粘包的唯一方法就是制定应用层的数据通讯协议，通过协议来规范现有接收的数据是否满足消息数据的需要。

2、解决办法

     2.1、消息定长，报文大小固定长度，不够空格补全，发送和接收方遵循相同的约定，这样即使粘包了通过接收方编程实现获取定长报文也能区分。

     2.2、包尾添加特殊分隔符，例如每条报文结束都添加回车换行符（例如FTP协议）或者指定特殊字符作为报文分隔符，接收方通过特殊分隔符切分报文区分。

     2.3、将消息分为消息头和消息体，消息头中包含表示信息的总长度（或者消息体长度）的字段

3、自定义协议，来实现TCP的粘包/拆包问题

      3.0  自定义协议，开始标记           

              Netty之解决TCP粘包拆包(自定义协议)_第1张图片

      3.1  自定义协议的介绍

             Netty之解决TCP粘包拆包(自定义协议)_第2张图片

      3.2  自定义协议的类的封装

             Netty之解决TCP粘包拆包(自定义协议)_第3张图片

      3.3  自定义协议的编码器

             Netty之解决TCP粘包拆包(自定义协议)_第4张图片

      3.4  自定义协议的解码器

         Netty之解决TCP粘包拆包(自定义协议)_第5张图片 

4、协议相关的实现

      4.1  协议的封装

 

[java]  view plain  copy
 
 print?
  1. import java.util.Arrays;  
  2.   
  3. /** 
  4.  * 
     
  5.  * 自己定义的协议 
  6.  *  数据包格式 
  7.  * +——----——+——-----——+——----——+ 
  8.  * |协议开始标志|  长度             |   数据       | 
  9.  * +——----——+——-----——+——----——+ 
  10.  * 1.协议开始标志head_data，为int类型的数据，16进制表示为0X76 
  11.  * 2.传输数据的长度contentLength，int类型 
  12.  * 3.要传输的数据 
  13.  *  
  14.  */  
  15. public class SmartCarProtocol {  
  16.     /** 
  17.      * 消息的开头的信息标志 
  18.      */  
  19.     private int head_data = ConstantValue.HEAD_DATA;  
  20.     /** 
  21.      * 消息的长度 
  22.      */  
  23.     private int contentLength;  
  24.     /** 
  25.      * 消息的内容 
  26.      */  
  27.     private byte[] content;  
  28.   
  29.     /** 
  30.      * 用于初始化，SmartCarProtocol 
  31.      *  
  32.      * @param contentLength 
  33.      *            协议里面，消息数据的长度 
  34.      * @param content 
  35.      *            协议里面，消息的数据 
  36.      */  
  37.     public SmartCarProtocol(int contentLength, byte[] content) {  
  38.         this.contentLength = contentLength;  
  39.         this.content = content;  
  40.     }  
  41.   
  42.     public int getHead_data() {  
  43.         return head_data;  
  44.     }  
  45.   
  46.     public int getContentLength() {  
  47.         return contentLength;  
  48.     }  
  49.   
  50.     public void setContentLength(int contentLength) {  
  51.         this.contentLength = contentLength;  
  52.     }  
  53.   
  54.     public byte[] getContent() {  
  55.         return content;  
  56.     }  
  57.   
  58.     public void setContent(byte[] content) {  
  59.         this.content = content;  
  60.     }  
  61.   
  62.     @Override  
  63.     public String toString() {  
  64.         return "SmartCarProtocol [head_data=" + head_data + ", contentLength="  
  65.                 + contentLength + ", content=" + Arrays.toString(content) + "]";  
  66.     }  
  67.   
  68. }  

 

      4.2  协议的编码器

 

[java]  view plain  copy
 
 print?
  1. /** 
  2.  * 
     
  3.  * 自己定义的协议 
  4.  *  数据包格式 
  5.  * +——----——+——-----——+——----——+ 
  6.  * |协议开始标志|  长度             |   数据       | 
  7.  * +——----——+——-----——+——----——+ 
  8.  * 1.协议开始标志head_data，为int类型的数据，16进制表示为0X76 
  9.  * 2.传输数据的长度contentLength，int类型 
  10.  * 3.要传输的数据 
  11.  *  
  12.  */  
  13. public class SmartCarEncoder extends MessageToByteEncoder {  
  14.   
  15.     @Override  
  16.     protected void encode(ChannelHandlerContext tcx, SmartCarProtocol msg,  
  17.             ByteBuf out) throws Exception {  
  18.         // 写入消息SmartCar的具体内容  
  19.         // 1.写入消息的开头的信息标志(int类型)  
  20.         out.writeInt(msg.getHead_data());  
  21.         // 2.写入消息的长度(int 类型)  
  22.         out.writeInt(msg.getContentLength());  
  23.         // 3.写入消息的内容(byte[]类型)  
  24.         out.writeBytes(msg.getContent());  
  25.     }  
  26. }  

 

      4.3  协议的解码器

 

[java]  view plain  copy
 
 print?
  1. import java.util.List;  
  2. import io.netty.buffer.ByteBuf;  
  3. import io.netty.channel.ChannelHandlerContext;  
  4. import io.netty.handler.codec.ByteToMessageDecoder;  
  5.   
  6. /** 
  7.  * 
     
  8.  * 自己定义的协议 
  9.  *  数据包格式 
  10.  * +——----——+——-----——+——----——+ 
  11.  * |协议开始标志|  长度             |   数据       | 
  12.  * +——----——+——-----——+——----——+ 
  13.  * 1.协议开始标志head_data，为int类型的数据，16进制表示为0X76 
  14.  * 2.传输数据的长度contentLength，int类型 
  15.  * 3.要传输的数据,长度不应该超过2048，防止socket流的攻击 
  16.  *  
  17.  */  
  18. public class SmartCarDecoder extends ByteToMessageDecoder {  
  19.   
  20.     /** 
  21.      * 
     
  22.      * 协议开始的标准head_data，int类型，占据4个字节. 
  23.      * 表示数据的长度contentLength，int类型，占据4个字节. 
  24.      *  
  25.      */  
  26.     public final int BASE_LENGTH = 4 + 4;  
  27.   
  28.     @Override  
  29.     protected void decode(ChannelHandlerContext ctx, ByteBuf buffer,  
  30.             List out) throws Exception {  
  31.         // 可读长度必须大于基本长度  
  32.         if (buffer.readableBytes() >= BASE_LENGTH) {  
  33.             // 防止socket字节流攻击  
  34.             // 防止，客户端传来的数据过大  
  35.             // 因为，太大的数据，是不合理的  
  36.             if (buffer.readableBytes() > 2048) {  
  37.                 buffer.skipBytes(buffer.readableBytes());  
  38.             }  
  39.   
  40.             // 记录包头开始的index  
  41.             int beginReader;  
  42.   
  43.             while (true) {  
  44.                 // 获取包头开始的index  
  45.                 beginReader = buffer.readerIndex();  
  46.                 // 标记包头开始的index  
  47.                 buffer.markReaderIndex();  
  48.                 // 读到了协议的开始标志，结束while循环  
  49.                 if (buffer.readInt() == ConstantValue.HEAD_DATA) {  
  50.                     break;  
  51.                 }  
  52.   
  53.                 // 未读到包头，略过一个字节  
  54.                 // 每次略过，一个字节，去读取，包头信息的开始标记  
  55.                 buffer.resetReaderIndex();  
  56.                 buffer.readByte();  
  57.   
  58.                 // 当略过，一个字节之后，  
  59.                 // 数据包的长度，又变得不满足  
  60.                 // 此时，应该结束。等待后面的数据到达  
  61.                 if (buffer.readableBytes() < BASE_LENGTH) {  
  62.                     return;  
  63.                 }  
  64.             }  
  65.   
  66.             // 消息的长度  
  67.   
  68.             int length = buffer.readInt();  
  69.             // 判断请求数据包数据是否到齐  
  70.             if (buffer.readableBytes() < length) {  
  71.                 // 还原读指针  
  72.                 buffer.readerIndex(beginReader);  
  73.                 return;  
  74.             }  
  75.   
  76.             // 读取data数据  
  77.             byte[] data = new byte[length];  
  78.             buffer.readBytes(data);  
  79.   
  80.             SmartCarProtocol protocol = new SmartCarProtocol(data.length, data);  
  81.             out.add(protocol);  
  82.         }  
  83.     }  
  84.   
  85. }  

    86.  

          4.4  服务端加入协议的编/解码器

              Netty之解决TCP粘包拆包(自定义协议)_第6张图片  

          4.5  客户端加入协议的编/解码器

              Netty之解决TCP粘包拆包(自定义协议)_第7张图片

    5、服务端的实现

     

    [java]  view plain  copy
     
     print?
    1. import io.netty.bootstrap.ServerBootstrap;  
    2. import io.netty.channel.ChannelFuture;  
    3. import io.netty.channel.ChannelInitializer;  
    4. import io.netty.channel.ChannelOption;  
    5. import io.netty.channel.EventLoopGroup;  
    6. import io.netty.channel.nio.NioEventLoopGroup;  
    7. import io.netty.channel.socket.SocketChannel;  
    8. import io.netty.channel.socket.nio.NioServerSocketChannel;  
    9. import io.netty.handler.logging.LogLevel;  
    10. import io.netty.handler.logging.LoggingHandler;  
    11.   
    12. public class Server {  
    13.   
    14.     public Server() {  
    15.     }  
    16.   
    17.     public void bind(int port) throws Exception {  
    18.         // 配置NIO线程组  
    19.         EventLoopGroup bossGroup = new NioEventLoopGroup();  
    20.         EventLoopGroup workerGroup = new NioEventLoopGroup();  
    21.         try {  
    22.             // 服务器辅助启动类配置  
    23.             ServerBootstrap b = new ServerBootstrap();  
    24.             b.group(bossGroup, workerGroup)  
    25.                     .channel(NioServerSocketChannel.class)  
    26.                     .handler(new LoggingHandler(LogLevel.INFO))  
    27.                     .childHandler(new ChildChannelHandler())//  
    28.                     .option(ChannelOption.SO_BACKLOG, 1024) // 设置tcp缓冲区 // (5)  
    29.                     .childOption(ChannelOption.SO_KEEPALIVE, true); // (6)  
    30.             // 绑定端口 同步等待绑定成功  
    31.             ChannelFuture f = b.bind(port).sync(); // (7)  
    32.             // 等到服务端监听端口关闭  
    33.             f.channel().closeFuture().sync();  
    34.         } finally {  
    35.             // 优雅释放线程资源  
    36.             workerGroup.shutdownGracefully();  
    37.             bossGroup.shutdownGracefully();  
    38.         }  
    39.     }  
    40.   
    41.     /** 
    42.      * 网络事件处理器 
    43.      */  
    44.     private class ChildChannelHandler extends ChannelInitializer {  
    45.         @Override  
    46.         protected void initChannel(SocketChannel ch) throws Exception {  
    47.             // 添加自定义协议的编解码工具  
    48.             ch.pipeline().addLast(new SmartCarEncoder());  
    49.             ch.pipeline().addLast(new SmartCarDecoder());  
    50.             // 处理网络IO  
    51.             ch.pipeline().addLast(new ServerHandler());  
    52.         }  
    53.     }  
    54.   
    55.     public static void main(String[] args) throws Exception {  
    56.         new Server().bind(9999);  
    57.     }  
    58. }  

    6、服务端Handler的实现

     

     

    [java]  view plain  copy
     
     print?
    1. import io.netty.channel.ChannelHandlerAdapter;  
    2. import io.netty.channel.ChannelHandlerContext;  
    3.   
    4. public class ServerHandler extends ChannelHandlerAdapter {  
    5.     // 用于获取客户端发送的信息  
    6.     @Override  
    7.     public void channelRead(ChannelHandlerContext ctx, Object msg)  
    8.             throws Exception {  
    9.         // 用于获取客户端发来的数据信息  
    10.         SmartCarProtocol body = (SmartCarProtocol) msg;  
    11.         System.out.println("Server接受的客户端的信息 :" + body.toString());  
    12.   
    13.         // 会写数据给客户端  
    14.         String str = "Hi I am Server ...";  
    15.         SmartCarProtocol response = new SmartCarProtocol(str.getBytes().length,  
    16.                 str.getBytes());  
    17.         // 当服务端完成写操作后，关闭与客户端的连接  
    18.         ctx.writeAndFlush(response);  
    19.         // .addListener(ChannelFutureListener.CLOSE);  
    20.   
    21.         // 当有写操作时，不需要手动释放msg的引用  
    22.         // 当只有读操作时，才需要手动释放msg的引用  
    23.     }  
    24.   
    25.     @Override  
    26.     public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause)  
    27.             throws Exception {  
    28.         // cause.printStackTrace();  
    29.         ctx.close();  
    30.     }  
    31. }  

    7、客户端的实现

     

     

    [java]  view plain  copy
     
     print?
    1. import io.netty.bootstrap.Bootstrap;  
    2. import io.netty.channel.ChannelFuture;  
    3. import io.netty.channel.ChannelInitializer;  
    4. import io.netty.channel.ChannelOption;  
    5. import io.netty.channel.EventLoopGroup;  
    6. import io.netty.channel.nio.NioEventLoopGroup;  
    7. import io.netty.channel.socket.SocketChannel;  
    8. import io.netty.channel.socket.nio.NioSocketChannel;  
    9.   
    10. public class Client {  
    11.   
    12.     /** 
    13.      * 连接服务器 
    14.      *  
    15.      * @param port 
    16.      * @param host 
    17.      * @throws Exception 
    18.      */  
    19.     public void connect(int port, String host) throws Exception {  
    20.         // 配置客户端NIO线程组  
    21.         EventLoopGroup group = new NioEventLoopGroup();  
    22.         try {  
    23.             // 客户端辅助启动类 对客户端配置  
    24.             Bootstrap b = new Bootstrap();  
    25.             b.group(group)//  
    26.                     .channel(NioSocketChannel.class)//  
    27.                     .option(ChannelOption.TCP_NODELAY, true)//  
    28.                     .handler(new MyChannelHandler());//  
    29.             // 异步链接服务器 同步等待链接成功  
    30.             ChannelFuture f = b.connect(host, port).sync();  
    31.   
    32.             // 等待链接关闭  
    33.             f.channel().closeFuture().sync();  
    34.   
    35.         } finally {  
    36.             group.shutdownGracefully();  
    37.             System.out.println("客户端优雅的释放了线程资源...");  
    38.         }  
    39.   
    40.     }  
    41.   
    42.     /** 
    43.      * 网络事件处理器 
    44.      */  
    45.     private class MyChannelHandler extends ChannelInitializer {  
    46.         @Override  
    47.         protected void initChannel(SocketChannel ch) throws Exception {  
    48.             // 添加自定义协议的编解码工具  
    49.             ch.pipeline().addLast(new SmartCarEncoder());  
    50.             ch.pipeline().addLast(new SmartCarDecoder());  
    51.             // 处理网络IO  
    52.             ch.pipeline().addLast(new ClientHandler());  
    53.         }  
    54.   
    55.     }  
    56.   
    57.     public static void main(String[] args) throws Exception {  
    58.         new Client().connect(9999, "127.0.0.1");  
    59.   
    60.     }  
    61.   
    62. }  

    8、客户端Handler的实现

     

     

    [java]  view plain  copy
     
     print?
    1. import io.netty.channel.ChannelHandlerAdapter;  
    2. import io.netty.channel.ChannelHandlerContext;  
    3. import io.netty.util.ReferenceCountUtil;  
    4.   
    5. //用于读取客户端发来的信息  
    6. public class ClientHandler extends ChannelHandlerAdapter {  
    7.   
    8.     // 客户端与服务端，连接成功的售后  
    9.     @Override  
    10.     public void channelActive(ChannelHandlerContext ctx) throws Exception {  
    11.         // 发送SmartCar协议的消息  
    12.         // 要发送的信息  
    13.         String data = "I am client ...";  
    14.         // 获得要发送信息的字节数组  
    15.         byte[] content = data.getBytes();  
    16.         // 要发送信息的长度  
    17.         int contentLength = content.length;  
    18.   
    19.         SmartCarProtocol protocol = new SmartCarProtocol(contentLength, content);  
    20.   
    21.         ctx.writeAndFlush(protocol);  
    22.     }  
    23.   
    24.     // 只是读数据，没有写数据的话  
    25.     // 需要自己手动的释放的消息  
    26.     @Override  
    27.     public void channelRead(ChannelHandlerContext ctx, Object msg)  
    28.             throws Exception {  
    29.         try {  
    30.             // 用于获取客户端发来的数据信息  
    31.             SmartCarProtocol body = (SmartCarProtocol) msg;  
    32.             System.out.println("Client接受的客户端的信息 :" + body.toString());  
    33.   
    34.         } finally {  
    35.             ReferenceCountUtil.release(msg);  
    36.         }  
    37.     }  
    38.   
    39.     @Override  
    40.     public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause)  
    41.             throws Exception {  
    42.         ctx.close();  
    43.     }  
    44.   
    45. }  

    9、参考的博客地址

     

     

    [java]  view plain  copy
     
     print?
    1. http://www.cnblogs.com/whthomas/p/netty-custom-protocol.html  
    2. http://www.cnblogs.com/fanguangdexiaoyuer/p/6131042.html  

    你可能感兴趣的:(Netty之解决TCP粘包拆包(自定义协议))

    • 2020-01-25 晴岚85
      郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
    • UI学习——cell的复用和自定义cell Magnetic_h ui学习
      目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
    • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
      在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
    • Long类型前后端数据不一致 igotyback 前端
      响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    • 扫地机类清洁产品之直流无刷电机控制 悟空胆好小 清洁服务机器人单片机人工智能
      扫地机类清洁产品之直流无刷电机控制1.1前言扫地机产品有很多的电机控制，滚刷电机1个，边刷电机1-2个，清水泵电机，风机一个，部分中高端产品支持抹布功能，也就是存在抹布盘电机，还有追觅科沃斯石头等边刷抬升电机，滚刷抬升电机等的，这些电机有直流有刷电机，直接无刷电机，步进电机，电磁阀，挪动泵等不同类型。电机的原理，驱动控制方式也不行。接下来一段时间的几个文章会作个专题分析分享。直流有刷电机会自动持续
    • 我校举行新老教师师徒结对仪式暨名师专业工作室工作交流活动 李蕾1229
      为促进我校教师专业发展，发挥骨干教师的引领带头作用，11月6日下午，我校举行新老教师师徒结对仪式暨名师专业工作室工作交流活动。图片发自App会议由教师发展处李蕾主任主持，首先，由范校长宣读新老教师结对名单及双方承担职责。随后，两位新调入教师陈玉萍、莫正杰分别和他们的师傅鲍元美、刘召彬老师签订了师徒结对协议书。图片发自App图片发自App师徒拥抱、握手。有了师傅就有了目标有了方向，相信两位新教师在师
    • 高级编程--XML+socket练习题 masa010 java开发语言
      1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
    • 2018-07-23-催眠日作业-#不一样的31天#-66小鹿 小鹿_33
      预言日：人总是在逃避命运的路上，与之不期而遇。心理学上有个著名的名词，叫做自证预言；经济学上也有一个很著名的定律叫做，墨菲定律；在灵修派上，还有一个很著名的法则，叫做吸引力法则。这3个领域的词，虽然看起来不太一样，但是他们都在告诉人们一个现象：你越担心什么，就越有可能会发生什么。同样的道理，你越想得到什么，就应该要积极地去创造什么。无论是自证预言，墨菲定律还是吸引力法则，对人都有正反2个维度的影响
    • 《大清方方案》| 第二话 谁佐清欢
      和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
    • 《庄子.达生9》 钱江潮369
      【原文】孔子观于吕梁，县水三十仞，流沫四十里，鼋鼍鱼鳖之所不能游也。见一丈夫游之，以为有苦而欲死也，使弟子并流而拯之。数百步而出，被发行歌而游于塘下。孔子从而问焉，曰：“吾以子为鬼，察子则人也。请问，‘蹈水有道乎’”曰：“亡，吾无道。吾始乎故，长乎性，成乎命。与齐俱入，与汩偕出，从水之道而不为私焉。此吾所以蹈之也。”孔子曰：“何谓始乎故，长乎性，成乎命？”曰：“吾生于陵而安于陵，故也；长于水而安于
    • 怎么起诉借钱不还的人？怎样起诉欠款不还的人？ 影子爱学习
      怎么起诉借钱不还的人？怎样起诉欠款不还的人？如果遇到难以解决的法律问题，我们可以匹配专业律师。例如：婚姻家庭（离婚纠纷）、刑事辩护、合同纠纷、债权债务、房产（继承）纠纷、交通事故、劳动争议、人身损害、公司相关法律事务（法律顾问）等咨询推荐手机/微信:15633770876【全国案件皆可】借钱不还起诉对方需要哪些资料起诉欠钱不还的，一般需要的材料包括以下这些：借据、收据、欠条、付款凭证等证据，以及向
    • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
      目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
    • 18-115 一切思考不能有效转化为行动，都TM是扯淡！ 成长时间线
      7月25号写了一篇关于为什么会断更如此严重的反思，然而，之后日更仅仅维持了一周，又出现了这次更严重的现象。从8月2号到昨天8月6号，5天！又是5天没有更文！虽然这次断更时间和上次一样，那为什么说这次更严重？因为上次之后就分析了问题的原因，以及应该如何解决，按理说应该会好转，然而，没过几天严重断更的现象再次出现，想想，经过反思，问题依然没有解决与改变，这让我有些担忧。到底是哪里出了问题，难道我就真的
    • 高端密码学院笔记285 柚子_b4b4
      高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
    • 2020-04-12每天三百字之连接与替代 冷眼看潮
      不知道是不是好为人师，有时候还真想和别人分享一下我对某些现象的看法或者解释。人类社会不断发展进步的过程，就是不断连接与替代的过程。人类发现了火并应用火以后，告别了茹毛饮血的野兽般的原始生活（火烧、烹饪替代了生食）人类用石器代替了完全手工，工具的使用使人类进步一大步。类似这样的替代还有很多，随着科技的发展，有更多的原始的事物被替代，代之以更高效、更先进的技术。在近现代，汽车替代了马车，高速公路和铁路
    • 从0到500+，我是如何利用自媒体赚钱？ 一列脚印
      运营公众号半个多月，从零基础的小白到现在慢慢懂了一些运营的知识。做好公众号是很不容易的，要做很多事情；排版、码字、引流…通通需要自己解决，业余时间全都花费在这上面涨这么多粉丝是真的不容易，对比知乎大佬来说，我们这种没资源，没人脉，还没钱的小透明来说，想要一个月涨粉上万，怕是今天没睡醒（不过你有的方法，算我piapia打脸）至少我是清醒的，自己慢慢努力，实现我的万粉目标！大家快来围观、支持我吧！孩子
    • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
      深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
    • 利用LangChain的StackExchange组件实现智能问答系统 nseejrukjhad langchainmicrosoft数据库python
      利用LangChain的StackExchange组件实现智能问答系统引言在当今的软件开发世界中，StackOverflow已经成为程序员解决问题的首选平台之一。而LangChain作为一个强大的AI应用开发框架，提供了StackExchange组件，使我们能够轻松地将StackOverflow的海量知识库集成到我们的应用中。本文将详细介绍如何使用LangChain的StackExchange组件
    • 东南林氏之九牧林候选父系 祖缘树TheYtree
      渊源介绍东晋初年晋安林始祖林禄公入闽，传十世隋右丞林茂，由晋安迁居莆田北螺村。又五世而至林万宠，唐开元间任高平太守，生三子：韬、披、昌。韬公之孙攒，唐德宗立双阙以旌表其孝，时号"阙下林家"。昌公字茂吉，乃万宠公第三子，官兵部司马，配宋氏，生一子名萍。萍于唐贞元间明经及第，官沣洲司马(后追赠中宪大夫)。唐太和年间归隐后，迁居仙游游洋，世称“游洋林”；其后裔居游洋后迁移漳州漳浦路下，由路下林第四房平和
    • 把握“三度”打造“三有”干部队伍 辛德瑞拉卡卡卡
      “胜败兴亡之分，不得不归咎于人事也”。干部队伍建设工作的好坏，关系到党和国家的发展全局。近日，新疆维吾尔自治区党委书记马兴瑞在部分党群单位走访调研时强调，要努力培养造就忠诚干净担当的高素质专业化干部队伍。各级组织部门应当在培养选拔干部、吸收优秀青年到党内来、培养造就优秀人才上下功夫，切实增强干部投身实践、解决问题、推进工作的能力，着力打造高素质专业化干部队伍。“天生我材必有用”，增强选育有“准度”
    • 大伟说成语之唉声叹气 求索大伟
      ＊大伟说成语＊【唉声叹气】叹气：因心里不痛快或不如意而吐出长气，发出声音。因为痛苦、憋闷或感伤而发出叹息的声音。【大伟说】情绪外露，非人类所特有，动物亦有情绪，悲哀和欢乐所表示的情绪亦是不一样的，会嗷嗷大叫也会低吟痛哭。不同的是，人类的情绪更复杂，更多样，更丰富。唉声叹气，可以说是最基础的情绪，因为无奈而举足无措，不知该如何如何化解，只有独自一人慢慢承受，长吁短叹不知如何是好，其实是无能无力的表现
    • libyuv之linux编译 jaronho Linuxlinux运维服务器
      文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
    • CX8903：Ebike自行车仪表电源方案开发,Ebike智能仪表电源芯片 诚芯微科技 社交电子
      CX8903：电动Ebike自行车仪表电源方案开发,Ebike智能仪表电源芯片推荐。电动助力自行车EBIKE凭借其环保、健康、低噪、和便捷等特点，成为了越来越受欢迎的骑行便利交通工具。提供电动Ebike自行车仪表电源方案开发、E-BIKE电动助力自行车仪表供电电源解决方案。CX8903采用100V高压制造工艺（芯片最高耐压可到100V以上），SOP-8L贴片封装，CX8903内置100V/90mΩ
    • CX8836：小体积大功率升降压方案推荐（附Demo设计指南） 诚芯微科技 社交电子
      CX8836是一颗同步四开关单向升降压控制器，在4.5V-40V宽输入电压范围内稳定工作，持续负载电流10A，能够在输入高于或低于输出电压时稳定调节输出电压，可适用于USBPD快充、车载充电器、HUB、汽车启停系统、工业PC电源等多种升降压应用场合，为大功率TYPE-CPD车载充电器提供最优解决方案。提供CX8836Demo测试、CX8836样品申请及CX8836方案开发技术支持。CX8836同升
    • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
      前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    • 怎么做淘客赚钱(2022最新免费淘客盈利的方法) 高省_飞智666600
      很多人都不知道什么是淘宝客，今天小编为大家解答一下吧。淘宝客，现在简称淘客，是时下比较流行的一个词语，特质为淘宝店推广商品获取提成的人，这些人没有自己的产品，只是在淘宝里面选择适合自己的产品，在自己比较熟悉的领域推广，把产品卖出去之后，会从淘宝店家那里获得百分之五到百分之五十左右的佣金。淘宝客付出的是什么呢？时间。你需要花时间去选适合自己推广的产品，需要花时间去选自己的推广方法，如果你打算自己做个
    • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
      华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    • 高级 ECharts 技巧：自定义图表主题与样式 SnowMan1993 echarts信息可视化数据分析
      ECharts是一个强大的数据可视化库，提供了多种内置主题和样式，但你也可以根据项目的设计需求，自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题，以提升数据可视化的吸引力和一致性。1.什么是ECharts主题？ECharts的主题是指定义图表样式的配置项，包括颜色、字体、线条样式等。通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
    • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
      文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    • 锁之缘 尘缘诗词原创作品
      是谁追寻梦的足迹，是谁在偷偷的哭泣，日月隔离在黑白天地情感在心中蔓延的痕迹天与地的距离有多远流失的星晨落入哪片空间不要让泪水模糊双眼心牢中一样充满温暖谁说爱情没有永远白娘子又为何爱许仙蝴蝶墓地展翅翩翩轻歌慢舞袖卷人间传奇千古留爱万年…………月落星飞徘徊是选择不去问自已为合舍不得寂寞本就是痛苦的不在追寻梦中的痕迹才不会失去真实的自已
    • apache ftpserver-CentOS config gengzg apache
      <server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
    • 优化MySQL数据库性能的八种方法 AILIKES sqlmysql
      1、选取最适用的字段属性 　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的 性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
    • JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
      JeeSite 企业信息化快速开发平台 平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
    • 通过Spring Mail Api发送邮件 120153216 邮件main
      原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。 【Spring Mail API】 Spring Mail API都在org.spri
    • Pysvn 程序员使用指南 2002wmj SVN
      源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
    • 在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
      SELECT  R.session_id AS BlockedSessionID ,          S.session_id AS BlockingSessionID ,          Q1.text AS Block
    • Intent 常用的用法备忘 7454103 .netandroidGoogleBlogF#
      Intent     应该算是Android中特有的东西。你可以在Intent中指定程序 要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料 。都指定好后，只要调用startActivity()，Android系统 会自动寻找最符合你指定要求的应用 程序，并执行该程序。 下面列出几种Intent 的用法 显示网页:
    • Spring定时器时间配置 adminjun spring时间配置定时器
      红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
    • POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
      来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。 思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。 代码： #include <iostream> #include <cstdio>
    • 重构笔记——提取方法（Extract Method） ayaoxinchao java重构提炼函数局部变量提取方法
      提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。   下面是我学习这个重构手法的笔记：   提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
    • 为UILabel添加点击事件 bewithme UILabel
          默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。   UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
    • NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis数据库NoSQL
      一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
    • SecureCRT使用备注 bingyingao secureCRT每页行数
      SecureCRT日志和卷屏行数设置 一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
    • 【Scala九】Scala核心三：泛型 bit1129 scala
      泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
    • 素数与音乐 bookjovi 素数数学haskell
          由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。     闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
    • Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
              这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。         简单的说，IdentityHashMap和HashM
    • 读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java设计模式
      声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
    • PS人像润饰&调色教程集锦 cherishLC PS
        1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/   新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。   所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
    • 更新多个字段的UPDATE语句 crabdave update
      更新多个字段的UPDATE语句                    update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
    • hive实例讲解实现in和not in子句 daizj hivenot inin
      本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。 假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
    • 一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
      这是人类算24点的方法？！！！ 事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态 朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。 然后么。。。我就在深夜很得瑟的问室友求室友算 刚出完题，文哥的暴走之旅开始了 5秒后
    • 关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yiiframework
      在使用 YIi的路径管理工具时，发现了一个问题。                    <?php         
    • 对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
      概述   “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。   “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
    • 学习编程那点事 gcq511120594 编程互联网
      一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
    • Reverse Linked List II hcx2013 list
      Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return 
    • Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
      目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
    • Hadoop集群工具distcp liyonghui160com
          1. 环境描述 两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
    • 一个备份MySQL数据库的简单Shell脚本 pda158 mysql脚本
      　　主脚本（用于备份mysql数据库）： 　　该Shell脚本可以自动备份 数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。 　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
    • 300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
      A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
    • thrift总结 - 跨语言服务开发 uule thrift
      官网 官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍   RPC    POM： <dependency> <groupId>org.apache.thrift</groupId>