樂浩beyond
樂浩beyond

#Netty入门——拆粘包与编解码（三）

Netty入门——拆粘包与编解码（三）

回顾一下上一篇文章中MyClientInitializer类中的代码。

        //(1)加入拆包器
        pipeline.addLast(new LengthFieldBasedFrameDecoder(Integer.MAX_VALUE,0,4,0,4));  
        //(2)加入粘包器
        pipeline.addLast(new LengthFieldPrepender(4));             
        //字符串解码 (3)
        pipeline.addLast(new StringDecoder(CharsetUtil.UTF_8));
        //字符串编码 (4)
        pipeline.addLast(new StringEncoder(CharsetUtil.UTF_8));

上面代码中用到了Netty的拆包器、粘包器、编解码器。本文会对Netty 是如何拆包进行分析。

TCP的粘包与拆包

在TCP/IP协议中，数据是以二进制流的方式传播的，数据包映射到数据链路层、IP 层和 TCP 层分别叫Frame、Packet、Segment，我们这边不死磕如何翻译，下面都统一用英文表示。

粘包

粘包是TCP在传输过程中，为了提高有效负载，把多个数据包合并成一个数据包发送的现象。如何理解？比如10字节的数据，每次发送1个字节，需要10次TCP传输，10 ACK 确认。如果合并成一个数据包一起发送，可以提高有效负载，节省带宽（前提是对数据实时性要求不高的场景）。
但是粘包会引发语义级别的message识别问题。比如下面这张图：


image.png

ABC+DEF+GHI分3个message, 也就是3个Frame 发送出去，接收端收到4个Frame，不在是原来的3个message 对应的3 个Frame。这就是TCP的粘包与半包现象。AB、H、I的情况是半包，CDEFG的情况是粘包。虽然顺序是和原来一样，但是分组不再是原来的3个分组，这个时候就需要语义上message识别，即拆包。

拆包

发送端把4个数据包粘成2个就需要接收端把这2个数据包拆分成4个。按照如下步骤进行拆包：


#Netty入门——拆粘包与编解码（三）_第1张图片
image.png

1、读取数据，根据协议判断是否可以构成一个完整的包
2、如果能够构成一个完整的数据包，那么和之前接收到的数据一起拼接成一个完整的数据包给业务逻辑层，多余的数据等待下一次的拼接。
3、如果不能，那么继续从缓存中读取数据。

那么如何判断是否是一个完整的包？
有两种方式：
方式 1：分隔符。为人熟知的SMTP、POP3、IMAP、Telnet等等。下图显示的是使用“\r\n”分隔符的处理过程。


#Netty入门——拆粘包与编解码（三）_第2张图片
image.png

图中的数字说明：1、字节流。2、第一帧。3、第二帧
方式 2：固定长度。大家最熟悉的HTTP协议就是这种方式：Header+Content。

  • Header : 协议头部，放置一些Meta信息。

  • Content : 应用之间交互的信息主体。
    在HTTP header中 通过Content-Length告知message有多长，应用层才能识别到这条message。比如下图的HTTP1.1协议。


    #Netty入门——拆粘包与编解码（三）_第3张图片
    image.png

Netty拆包流程

首先在Netty的拆包流程中有两个重要的变量cumulation和cumulator。cumulation 是Netty中自定义的ByteBuf，与Java原生的ByteBuf还不一样，这个我们之后再讲，我们就直接理解成一个字节容器，cumulator 是一个累加器。

    ByteBuf cumulation;
    private Cumulator cumulator = MERGE_CUMULATOR;

累加器的代码如下。简单讲就是通过调用API buffer.writeBytes(in); 把in数据通过内存拷贝的方式合并到cumulation中，在合并前判断是否要对cumulation 进行扩容。

    public static final Cumulator MERGE_CUMULATOR = new Cumulator() {
        @Override
        public ByteBuf cumulate(ByteBufAllocator alloc, ByteBuf cumulation, ByteBuf in) {
            final ByteBuf buffer;
            if (cumulation.writerIndex() > cumulation.maxCapacity() - in.readableBytes()
                    || cumulation.refCnt() > 1 || cumulation.isReadOnly()) {
                // Expand cumulation (by replace it) when either there is not more room in the buffer
                // or if the refCnt is greater then 1 which may happen when the user use slice().retain() or
                // duplicate().retain() or if its read-only.
                //
                // See:
                // - https://github.com/netty/netty/issues/2327
                // - https://github.com/netty/netty/issues/1764
                buffer = expandCumulation(alloc, cumulation, in.readableBytes());
            } else {
                buffer = cumulation;
            }
            buffer.writeBytes(in);
            in.release();
            return buffer;
        }
    };

理解了这两个变量后我们在看ByteToMessageDecoder 中的channelRead方法，该方法是每次从缓冲区读到数据时自动调用。

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        if (msg instanceof ByteBuf) {
            CodecOutputList out = CodecOutputList.newInstance();
            try {
               //1、合并数据到字节容器中
                ByteBuf data = (ByteBuf) msg;
                first = cumulation == null;
                if (first) {
                    cumulation = data;
                } else {
                    cumulation = cumulator.cumulate(ctx.alloc(), cumulation, data);
                }
                //2、把字节容器中的数据拆包并添加到业务数据容器out中
                callDecode(ctx, cumulation, out);
            } catch (DecoderException e) {
                throw e;
            } catch (Throwable t) {
                throw new DecoderException(t);
            } finally {
                //3、清理字节容器
                if (cumulation != null && !cumulation.isReadable()) {
                    numReads = 0;
                    cumulation.release();
                    cumulation = null;
                } else if (++ numReads >= discardAfterReads) {
                    // We did enough reads already try to discard some bytes so we not risk to see a OOME.
                    // See https://github.com/netty/netty/issues/4275
                    numReads = 0;
                    discardSomeReadBytes();
                }
                //4、把拆包后的数据交给后面的Handler解码
                int size = out.size();
                decodeWasNull = !out.insertSinceRecycled();
                fireChannelRead(ctx, out, size);
                out.recycle();
            }
        } else {
            ctx.fireChannelRead(msg);
        }
    }

主要步骤已经在代码中注释。下面我们来具体分析一下。
1、合并数据到字节容器中。先判断字节容器cumulation中是否有数据，没有就直接赋值，有的话，有的话就调用累加器进行累加。
2、把字节容器中的数据拆包并添加到业务数据容器out中。
我们来看一下callDecode

protected void callDecode(ChannelHandlerContext ctx, ByteBuf in, List out) {
        try {
            while (in.isReadable()) {
                int outSize = out.size();
               ............
               //1、读取字节累加容器中的可读字节数
                int oldInputLength = in.readableBytes();
                //2、交给业务拆包器进行拆包
               decode(ctx, in, out);
              .............
                 //3、还没有解出数据包
                if (outSize == out.size()) {
                   //4、如果字节累加容器中的可读字节数没变跳出循环接着读数据
                    if (oldInputLength == in.readableBytes()) {
                        break;
                    } else {
                    //5、还没有解出数据包，继续解包
                        continue;
                    }
                }
                //6、解出来了，但是累加容器实际没有读到数据抛异常
                if (oldInputLength == in.readableBytes()) {
                    throw new DecoderException(
                            StringUtil.simpleClassName(getClass()) +
                            ".decode() did not read anything but decoded a message.");
                }
       ............
    }
 
 
3、清理字节容器。如果累加容器不为空并且没有可读数据，那么直接释放掉。否则如果还有未读数据，并且次数大于16，discardAfterReads的默认值为16。调用discardSomeReadBytes，discardSomeReadBytes源码如下表示当读索引超过容量的一半时，进行数据前移。
 
 
    @Override
    public ByteBuf discardSomeReadBytes() {
     ......
        if (readerIndex >= capacity() >>> 1) {
            setBytes(0, this, readerIndex, writerIndex - readerIndex);
            writerIndex -= readerIndex;
            adjustMarkers(readerIndex);
            readerIndex = 0;
        }
     ......
        return this;
    }

 
 
丢弃前
 
 
 
 
 
  
 
   
 
     
   
 
  
 
  

    image.png 
  
 
 
 
 
丢弃后
 
 
 
 
 
  
 
   
 
     
   
 
  
 
  

    image.png 
  
 
 
 
 
4、把拆包后的数据交给后面的Handler解码。通过fireChannelRead实现，同时会设置变量decodeWasNull，用来标识是否解出数据包。该变量用在 channelReadComplete 函数中，该函数的源码如下。
 
 
    @Override
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
        numReads = 0;
        discardSomeReadBytes();
        if (decodeWasNull) {
            decodeWasNull = false;
            if (!ctx.channel().config().isAutoRead()) {
                ctx.read();
            }
        }
        ctx.fireChannelReadComplete();
    }

 
 
decodeWasNull 为true，表示没有解出数据包，这个时候如果channel 设置成了非自动读取，调用ctx.read()。这个方法有什么作用呢？
 在AbstractChannelHandlerContext类中找到了read 方法。read()函数会调用invokeRead()，这个方法的源代码如下：
 
 
    private void invokeRead() {
        if (invokeHandler()) {
            try {
                ((ChannelOutboundHandler) handler()).read(this);
            } catch (Throwable t) {
                notifyHandlerException(t);
            }
        } else {
            read();
        }
    }

 
 
最终传播到HeadContext的read()方法，最后调用unsafe.beginRead()设置关心底层read事件，从而实现激活后自动读取数据。
 
 
        @Override
        public void read(ChannelHandlerContext ctx) {
            unsafe.beginRead();
        }

 
 
unsafe是Netty内部实现底层IO细节的类，beginRead()方法设定底层Selector关心read事件，如果read事件就绪，则会调用unsafe.read()方法读取数据，然后调用channelPipe.fireChannelRead()方法通知用户已读取到数据，可进行业务处理。
 
 
自定义协议的拆包
 
 
在上一篇文章中采用的是通用拆包器LengthFieldBasedFrameDecoder，基本上所有的基于长度的二进制协议都可以用他进行拆包。关于LengthFieldBasedFrameDecoder如何使用，我这里依然推荐闪电侠同学的这篇文章，LengthFieldBasedFrameDecoder，这里不在赘述。
 那么如何对自定义的协议进行拆包？
 我曾在上看到过关于这方面的文章，比如这篇文章，但是这篇文章中的例子却没有考虑半包问题，所以我这边以另外一个例子作为讲解内容。
 我在学习RPC开源框架的时候，偶然发现了张旭大神一个人写的RPC框架——Navi-pbrpc，这个框架基于Netty网络通信和Protobuf的序列化，非常适合学习RPC的同学入门（推荐学习完Navi-pbrpc源码，再去看Dubbo的源码会更好）。在这个框架中，应用层他自定义了一个协议，该协议基于header+body方式，header内含的body length属性来表明二进制数据长度，body采用经过protobuf压缩后的二进制数据。
 
 
NsHead是Navi-pbrpc 内部的header。NsHead + protobuf序列化body包结构示意如下
 
 
 
 
 
  
 
   
 
    #Netty入门——拆粘包与编解码（三）_第4张图片 
   
 
  
 
  

    image.png 
  
 
 
 
 
NsHead结构如下：
 
 
 
 
 
  
 
   
 
    #Netty入门——拆粘包与编解码（三）_第5张图片 
   
 
  
 
  

    image.png 
  
 
 
 
 
NsHead的固定长度36个字节，Header各字段中可以看到body-length字段，用来标识消息体长度。
 了解了协议结构之后，下面我们看一下Navi-pbrpc是如何进行拆包的。
 拆包的源码如下：
 
 
    @Override
    protected void decode(ChannelHandlerContext ctx, ByteBuf in, List out) throws Exception {
        // 解决半包问题，此时Nshead还没有接收全，channel中留存的字节流不做处理
        if (in.readableBytes() < NsHead.NSHEAD_LEN) {
            return;
        }

        in.markReaderIndex();

        byte[] bytes = new byte[NsHead.NSHEAD_LEN];
        in.readBytes(bytes, 0, NsHead.NSHEAD_LEN);

        NsHead nsHead = new NsHead();
        nsHead.wrap(bytes);

        // 解决半包问题，此时body还没有接收全，channel中留存的字节流不做处理，重置readerIndex
        if (in.readableBytes() < (int) nsHead.getBodyLen()) {
            in.resetReaderIndex();
            return;
        }

        // 此时接受到了足够的一个包，开始处理
        in.markReaderIndex();

        byte[] totalBytes = new byte[(int) nsHead.getBodyLen()];
        in.readBytes(totalBytes, 0, (int) nsHead.getBodyLen());

        PbrpcMsg decoded = PbrpcMsg.of(nsHead).setData(totalBytes);
        ContextHolder.putContext("_logid", nsHead.getLogId()); // TODO

        if (decoded != null) {
            out.add(decoded);
        }
    }
 
 
1、可以看到的是先从ByteBuf 中读取可读的字节数，如果没有达到NsHead的大小，就不做处理，如果达到了就读取36个字节到字节数组中，并且封装成一个nsHead，里面包含了上图NsHead结构里的所有字段。
 2、拿到NsHead中body-length,，可以知道body的长度，接着读取ByteBuf中可读字段大小，如果小于body长度就返回，否则读取ByteBuf到字节数组中，解决半包问题。
 3、最后利用Protobuf客户端SDK反序列化方法拿到消息体。
 这里涉及到Netty的ByteBuf，留在以后的文章中再讲。
 
 
总结
 
 
本文主要通过源码分析介绍了Netty的拆包流程，主要分为了四个步骤：
 1、合并数据到字节容器中。
 2、把字节容器中的数据拆包并添加到业务数据容器out中
 3、清理字节容器
 4、把拆包后的数据交给后面的Handler解码
 并且通过一个例子介绍了如何自定义协议拆包。其实不管是netty还是自己去拆包，流程无非是文章开头介绍的流程，万变不离其宗吧。
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(#Netty入门——拆粘包与编解码（三）)

        

            

                
    
                    
  • 斤斤计较的婚姻到底有多难？
                        白心之岂必有为

                        
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
    
                    
    • 
                    
  • QQ群采集助手，精准引流必备神器
                        2401_87347160
其他经验分享
                        
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
    
                    
    • 
                    
  • 机器学习与深度学习间关系与区别
                        ℒℴѵℯ心·动ꦿ໊ོ꫞
人工智能学习深度学习python
                        
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
    
                    
    • 
                    
  • 铭刻于星（四十二）
                        随风至

                        
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
    
                    
    • 
                    
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说
                        造命者说

                        
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
    
                    
    • 
                    
  • 随笔 | 仙一般的灵气
                        海思沧海

                        
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
    
                    
    • 
                    
  • 一百九十四章. 自相矛盾
                        巨木擎天

                        
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
    
                    
    • 
                    
  • 微服务下功能权限与数据权限的设计与实现
                        nbsaas-boot
微服务java架构
                        
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
    
                    
    • 
                    
  • 学点心理知识，呵护孩子健康
                        静候花开_7090

                        
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
    
                    
    • 
                    
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断
                        尐尐呅

                        
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
    
                    
    • 
                    
  • 《投行人生》读书笔记
                        小蘑菇的树洞

                        
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
    
                    
    • 
                    
  • 《策划经理回忆录之二》
                        路基雅虎

                        
    话说三年变六年，飘了，飘了……眨眼，2013年5月，老吴回到了他的家乡——油城从新开启他的工作幻想症生涯。很庆幸，这是一家很有追求，同时敢于尝试的，且实力不容低调的新星房企——金源置业(前身泰源置业)更值得庆幸的是第一个盘就是油城十路的标杆之一:金源盛世。2013年5月，到2015年11月，两年的陪伴，迎来了一场大爆发。2000个筹，5万/筹，直接回笼1个亿！！！这……让我开始认真审视这座看似五线
    
                    
    • 
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • 店群合一模式下的社区团购新发展——结合链动 2+1 模式、AI 智能名片与 S2B2C 商城小程序源码
                        说私域
人工智能小程序
                        
    摘要：本文探讨了店群合一的社区团购平台在当今商业环境中的重要性和优势。通过分析店群合一模式如何将互联网社群与线下终端紧密结合，阐述了链动2+1模式、AI智能名片和S2B2C商城小程序源码在这一模式中的应用价值。这些创新元素的结合为社区团购带来了新的机遇，提升了用户信任感、拓展了营销渠道，并实现了线上线下的完美融合。一、引言随着互联网技术的不断发展，社区团购作为一种新兴的商业模式，在满足消费者日常需
    
                    
    • 
                    
  • 2021-08-26
                        影幽

                        
    在生活中，女人与男人的感悟往往有所不同。人生最大的舞台就是生活，大幕随时都可能拉开，关键是你愿不愿意表演都无法躲避。在生活中，遇事不要急躁，不要急于下结论，尤其生气时不要做决断，要学会换位思考，大事化小小事化了，把复杂的事情尽量简单处理，千万不要把简单的事情复杂化。永远不要扭曲，别人善意，无药可救。昨天是张过期的支票，明天是张信用卡，只有今天才是现金，要善加利用！执着的攀登者不必去与别人比较自己的
    
                    
    • 
                    
  • 高级编程--XML+socket练习题
                        masa010
java开发语言
                        
    1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
    
                    
    • 
                    
  • 三大师传
                        beca酱

                        
    巴尔扎克的作品被誉为“法国社会的一面镜子”。文学大师维克多·雨果对巴尔扎克的评价是：“在最伟大的人物中间，巴尔扎克是名列前茅者；在最优秀的人物中间，巴尔扎克是佼佼者之一。”一个原本寂寂无名的小人物，从地中海的某个海岛上，只身一人来到巴黎，没有朋友，也没有名望。作为一个一文不名的外乡人，凭着赤手空拳赢得了巴黎，征服了整个法兰西，并且赢得了世界。这个人就是十九世纪法国伟大的军事家、政治家，法兰西第一帝
    
                    
    • 
                    
  • 开心
                        蒋泳频

                        
    从无比抗拒来上课到接受，感动，收获～看着波哥成长，晶晶幸福笑容满面。感觉自己做的事情很有意义，很开心！还有3个感召目标就是还有三个有缘人，哈哈。明天感召去明日计划：8：30-11：00小公益11：00-21点上班，感召图片发自App图片发自App图片发自App
    
                    
    • 
                    
  • 2018-07-23-催眠日作业-#不一样的31天#-66小鹿
                        小鹿_33

                        
    预言日：人总是在逃避命运的路上，与之不期而遇。心理学上有个著名的名词，叫做自证预言；经济学上也有一个很著名的定律叫做，墨菲定律；在灵修派上，还有一个很著名的法则，叫做吸引力法则。这3个领域的词，虽然看起来不太一样，但是他们都在告诉人们一个现象：你越担心什么，就越有可能会发生什么。同样的道理，你越想得到什么，就应该要积极地去创造什么。无论是自证预言，墨菲定律还是吸引力法则，对人都有正反2个维度的影响
    
                    
    • 
                    
  • 《大清方方案》| 第二话
                        谁佐清欢

                        
    和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
    
                    
    • 
                    
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数
                        广龙宇
一起学Rust#Rust设计模式rust设计模式开发语言
                        
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
    
                    
    • 
                    
  • 回溯 Leetcode 332 重新安排行程
                        mmaerd
Leetcode刷题学习记录leetcode算法职场和发展
                        
    重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
    
                    
    • 
                    
  • 每日一题——第九十题
                        互联网打工人no1
C语言程序设计每日一练c语言
                        
    题目：判断子串是否与主串匹配#include#include#include//////判断子串是否在主串中匹配//////主串///子串///boolisSubstring(constchar*str,constchar*substr){intlenstr=strlen(str);//计算主串的长度intlenSub=strlen(substr);//计算子串的长度//遍历主字符串，对每个可能得
    
                    
    • 
                    
  • Python数据分析与可视化实战指南
                        William数据分析
pythonpython数据
                        
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    
                    
    • 
                    
  • 《庄子.达生9》
                        钱江潮369

                        
    【原文】孔子观于吕梁，县水三十仞，流沫四十里，鼋鼍鱼鳖之所不能游也。见一丈夫游之，以为有苦而欲死也，使弟子并流而拯之。数百步而出，被发行歌而游于塘下。孔子从而问焉，曰：“吾以子为鬼，察子则人也。请问，‘蹈水有道乎’”曰：“亡，吾无道。吾始乎故，长乎性，成乎命。与齐俱入，与汩偕出，从水之道而不为私焉。此吾所以蹈之也。”孔子曰：“何谓始乎故，长乎性，成乎命？”曰：“吾生于陵而安于陵，故也；长于水而安于
    
                    
    • 
                    
  • 水泥质量纠纷案代理词
                        徐宝峰律师

                        
    贵州领航建设有限公司诉贵州纳雍隆庆乌江水泥有限公司产品质量纠纷案代理词尊敬的审判长、审判员：贵州千里律师事务所接受被告贵州纳雍隆庆乌江水泥有限公司的委托，指派我担任其诉讼代理人，参加本案的诉讼活动。下面，我结合本案事实和相关法律规定发表如下代理意见，供合议庭评议案件时参考：原告应当举证证明其遭受的损失与被告生产的水泥质量的因果关系。首先水泥是一种粉状水硬性无机胶凝材料。加水搅拌后成浆体，能在空气中
    
                    
    • 
                    
  • 第四天旅游线路预览——从换乘中心到喀纳斯湖
                        陟彼高冈yu
基于Googleearthstudio的旅游规划和预览旅游
                        
    第四天：从贾登峪到喀纳斯风景区入口，晚上住宿贾登峪；换乘中心有4路车，喀纳斯①号车，去喀纳斯湖，路程时长约5分钟；将上面的的行程安排进行动态展示，具体步骤见”Googleearthstudio进行动态轨迹显示制作过程“、“Googleearthstudio入门教程”和“Googleearthstudio进阶教程“相关内容，得到行程如下所示：Day4-2-480p
    
                    
    • 
                    
  • Goolge earth studio 进阶4——路径修改与平滑
                        陟彼高冈yu
Googleearthstudio进阶教程旅游
                        
    如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
    
                    
    • 
                    
  • Google earth studio 简介
                        陟彼高冈yu
旅游
                        
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
    
                    
    • 
                    
  • linux中sdl的使用教程,sdl使用入门
                        Melissa Corvinus
linux中sdl的使用教程
                        
    本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
    
                    
    • 
                                
  • ASM系列六 利用TreeApi 添加和移除类成员
                                    lijingyao8206
jvm动态代理ASM字节码技术TreeAPI
                                    
        同生成的做法一样，添加和移除类成员只要去修改fields和methods中的元素即可。这里我们拿一个简单的类做例子，下面这个Task类，我们来移除isNeedRemove方法，并且添加一个int 类型的addedField属性。 
  
package asm.core;

/**
 * Created by yunshen.ljy on 2015/6/
    
                                
    • 
                                
  • Springmvc-权限设计
                                    bee1314
springWebjsp
                                    
     
 万丈高楼平地起。 
 
权限管理对于管理系统而言已经是标配中的标配了吧，对于我等俗人更是不能免俗。同时就目前的项目状况而言，我们还不需要那么高大上的开源的解决方案，如Spring Security，Shiro。小伙伴一致决定我们还是从基本的功能迭代起来吧。 
目标：  
1.实现权限的管理（CRUD）
2.实现部门管理 （CRUD)
3.实现人员的管理 （CRUD）
4.实现部门和权限
    
                                
    • 
                                
  • 算法竞赛入门经典（第二版）第2章习题
                                    CrazyMizzz
c算法
                                    
    2.4.1 输出技巧 
#include <stdio.h> 
 
int 
main() 
{ 
 int i, n; 
 
 scanf("%d", &n); 
 for (i = 1; i <= n; i++) 
 printf("%d\n", i); 
 return 0; 
} 
 
习题2-2 水仙花数(daffodil
    
                                
    • 
                                
  • struts2中jsp自动跳转到Action
                                    麦田的设计者
jspwebxmlstruts2自动跳转
                                    
    1、在struts2的开发中，经常需要用户点击网页后就直接跳转到一个Action，执行Action里面的方法，利用mvc分层思想执行相应操作在界面上得到动态数据。毕竟用户不可能在地址栏里输入一个Action（不是专业人士） 
  
2、＜jsp:forward page="xxx.action" /＞ ，这个标签可以实现跳转，page的路径是相对地址,不同与jsp和j
    
                                
    • 
                                
  • php 操作webservice实例
                                    IT独行者
PHPwebservice
                                    
    首先大家要简单了解了何谓webservice，接下来就做两个非常简单的例子，webservice还是逃不开server端与client端。我测试的环境为：apache2.2.11 php5.2.10做这个测试之前，要确认你的php配置文件中已经将soap扩展打开，即extension=php_soap.dll; 
OK 现在我们来体验webservice 
//server端 serve
    
                                
    • 
                                
  • Windows下使用Vagrant安装linux系统
                                    _wy_
windowsvagrant
                                    
    准备工作： 
下载安装 VirtualBox ：https://www.virtualbox.org/ 
下载安装 Vagrant ：http://www.vagrantup.com/ 
下载需要使用的 box ： 
官方提供的范例：http://files.vagrantup.com/precise32.box 
还可以在 http://www.vagrantbox.es/ 
    
                                
    • 
                                
  • 更改linux的文件拥有者及用户组(chown和chgrp)
                                    无量
clinuxchgrpchown
                                    
    本文（转）  
http://blog.163.com/yanenshun@126/blog/static/128388169201203011157308/   
http://ydlmlh.iteye.com/blog/1435157   
一、基本使用：    
使用chown命令可以修改文件或目录所属的用户： 
       命令
    
                                
    • 
                                
  • linux下抓包工具
                                    矮蛋蛋
linux
                                    
    原文地址： 
http://blog.chinaunix.net/uid-23670869-id-2610683.html 
tcpdump -nn -vv -X udp port 8888 
上面命令是抓取udp包、端口为8888 
netstat -tln 命令是用来查看linux的端口使用情况 
 
13 . 列出所有的网络连接 
lsof -i 
14. 列出所有tcp 网络连接信息 
l
    
                                
    • 
                                
  • 我觉得mybatis是垃圾！：“每一个用mybatis的男纸，你伤不起”
                                    alafqq
mybatis
                                    
    最近看了  
每一个用mybatis的男纸，你伤不起 
原文地址 ：http://www.iteye.com/topic/1073938 
发表一下个人看法。欢迎大神拍砖； 
 
个人一直使用的是Ibatis框架，公司对其进行过小小的改良； 
最近换了公司，要使用新的框架。听说mybatis不错；就对其进行了部分的研究； 
 
发现多了一个mapper层；个人感觉就是个dao； 
 
 
    
                                
    • 
                                
  • 解决java数据交换之谜
                                    百合不是茶
数据交换
                                    
    交换两个数字的方法有以下三种  ，其中第一种最常用
 
  
/*
输出最小的一个数
*/
public class jiaohuan1 {

	public static void main(String[] args) {
	int a =4;
	int b = 3;
		if(a<b){
         //  第一种交换方式
		int tmep =
    
                                
    • 
                                
  • 渐变显示
                                    bijian1013
JavaScript
                                    
    <style type="text/css">
 #wxf {
  FILTER: progid:DXImageTransform.Microsoft.Gradient(GradientType=0, StartColorStr=#ffffff, EndColorStr=#97FF98);
  height: 25px;
 }
</style>
    
                                
    • 
                                
  • 探索JUnit4扩展：断言语法assertThat
                                    bijian1013
java单元测试assertThat
                                    
    一.概述 
        JUnit 设计的目的就是有效地抓住编程人员写代码的意图，然后快速检查他们的代码是否与他们的意图相匹配。 JUnit 发展至今，版本不停的翻新，但是所有版本都一致致力于解决一个问题，那就是如何发现编程人员的代码意图，并且如何使得编程人员更加容易地表达他们的代码意图。JUnit 4.4 也是为了如何能够
    
                                
    • 
                                
  • 【Gson三】Gson解析{"data":{"IM":["MSN","QQ","Gtalk"]}}
                                    bit1129
gson
                                    
       
如何把如下简单的JSON字符串反序列化为Java的POJO对象? 
{"data":{"IM":["MSN","QQ","Gtalk"]}} 
  
下面的POJO类Model无法完成正确的解析： 
  
import com.google.gson.Gson;
    
                                
    • 
                                
  • 【Kafka九】Kafka High Level API vs. Low Level API
                                    bit1129
kafka
                                    
    1. Kafka提供了两种Consumer API 
 
 High Level Consumer API 
 Low Level Consumer API(Kafka诡异的称之为Simple Consumer API，实际上非常复杂) 
 
在选用哪种Consumer API时，首先要弄清楚这两种API的工作原理，能做什么不能做什么，能做的话怎么做的以及用的时候，有哪些可能的问题 
 
    
                                
    • 
                                
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等
                                    ronin47
nginx lua
                                    
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com 
Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 
location /{
    
                                
    • 
                                
  • java-归并排序
                                    bylijinnan
java
                                    
    
import java.util.Arrays;


public class MergeSort {

	
	public static void main(String[] args) {

		int[] a={20,1,3,8,5,9,4,25};
		mergeSort(a,0,a.length-1);
		System.out.println(Arrays.to
    
                                
    • 
                                
  • Netty源码学习-CompositeChannelBuffer
                                    bylijinnan
javanetty
                                    
    CompositeChannelBuffer体现了Netty的“Transparent Zero Copy” 
 
查看API（ 
http://docs.jboss.org/netty/3.2/api/org/jboss/netty/buffer/package-summary.html#package_description） 
可以看到，所谓“Transparent Zero Copy”是通
    
                                
    • 
                                
  • Android中给Activity添加返回键
                                    hotsunshine
Activity
                                    
           
// this need android:minSdkVersion="11"
 getActionBar().setDisplayHomeAsUpEnabled(true);
 
 
 
   
 @Override
    public boolean onOptionsItemSelected(MenuItem item) {
        
    
                                
    • 
                                
  • 静态页面传参
                                    ctrain
静态
                                    
    
$(document).ready(function () {
	var request = {
		QueryString :
		function (val) {
			var uri = window.location.search;
			var re = new RegExp("" + val + "=([^&?]*)", &
    
                                
    • 
                                
  • Windows中查找某个目录下的所有文件中包含某个字符串的命令
                                    daizj
windows查找某个目录下的所有文件包含某个字符串
                                    
    findstr可以完成这个工作。 
     
[html]  
view plain 
copy       
 
 >findstr /s /i "string" *.*   
  
上面的命令表示，当前目录以及当前目录的所有子目录下的所有文件中查找"string&qu
    
                                
    • 
                                
  • 改善程序代码质量的一些技巧
                                    dcj3sjt126com
编程PHP重构
                                    
    有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码 时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。让我们看一些基本的编程技巧：    尽量保持方法简短    尽管很多人都遵
    
                                
    • 
                                
  • SharedPreferences对数据的存储
                                    dcj3sjt126com

                                    
    SharedPreferences简介：                                                   &nbs
    
                                
    • 
                                
  • linux复习笔记之bash shell (2) bash基础
                                    eksliang
bashbash shell
                                    
    转载请出自出处：
http://eksliang.iteye.com/blog/2104329  
1.影响显示结果的语系变量（locale） 
 1.1locale这个命令就是查看当前系统支持多少种语系，命令使用如下： 
[root@localhost shell]# locale
LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"

    
                                
    • 
                                
  • Android零碎知识总结
                                    gqdy365
android
                                    
    1、CopyOnWriteArrayList add(E) 和remove(int index)都是对新的数组进行修改和新增。所以在多线程操作时不会出现java.util.ConcurrentModificationException错误。 
所以最后得出结论：CopyOnWriteArrayList适合使用在读操作远远大于写操作的场景里，比如缓存。发生修改时候做copy，新老版本分离，保证读的高
    
                                
    • 
                                
  • HoverTree.Model.ArticleSelect类的作用
                                    hvt
Web.netC#hovertreeasp.net
                                    
    ArticleSelect类在命名空间HoverTree.Model中可以认为是文章查询条件类，用于存放查询文章时的条件，例如HvtId就是文章的id。HvtIsShow就是文章的显示属性，当为-1是，该条件不产生作用，当为0时，查询不公开显示的文章，当为1时查询公开显示的文章。HvtIsHome则为是否在首页显示。HoverTree系统源码完全开放，开发环境为Visual Studio 2013
    
                                
    • 
                                
  • PHP 判断是否使用代理 PHP Proxy Detector
                                    天梯梦
proxy
                                    
    1. php 类 
I found this class looking for something else actually but I remembered I needed some while ago something similar and I never found one. I'm sure it will help a lot of developers who try to 
    
                                
    • 
                                
  • apache的math库中的回归——regression（翻译）
                                    lvdccyb
Mathapache
                                    
    这个Math库，虽然不向weka那样专业的ML库，但是用户友好，易用。 
多元线性回归，协方差和相关性（皮尔逊和斯皮尔曼），分布测试（假设检验，t，卡方，G），统计。 
  
数学库中还包含，Cholesky，LU，SVD，QR，特征根分解，真不错。 
  
基本覆盖了：线代，统计，矩阵， 
最优化理论 
曲线拟合 
常微分方程 
遗传算法（GA）， 
还有3维的运算。。。 

    
                                
    • 
                                
  • 基础数据结构和算法十三：Undirected Graphs (2)
                                    sunwinner
Algorithm
                                    
      
Design pattern for graph processing.  
Since we consider a large number of graph-processing algorithms, our initial design goal is to decouple our implementations from the graph representation
    
                                
    • 
                                
  • 云计算平台最重要的五项技术
                                    sumapp
云计算云平台智城云
                                    
    云计算平台最重要的五项技术 
 
 
 
1、云服务器 
 
 
云服务器提供简单高效，处理能力可弹性伸缩的计算服务，支持国内领先的云计算技术和大规模分布存储技术，使您的系统更稳定、数据更安全、传输更快速、部署更灵活。 
 
 
特性 
 
机型丰富 
 
通过高性能服务器虚拟化为云服务器，提供丰富配置类型虚拟机，极大简化数据存储、数据库搭建、web服务器搭建等工作； 
 
仅需要几分钟，根据CP
    
                                
    • 
                                
  • 《京东技术解密》有奖试读获奖名单公布
                                    ITeye管理员
活动
                                    
    ITeye携手博文视点举办的12月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。  
 
 
12月试读活动回顾： 
http://webmaster.iteye.com/blog/2164754 
 
 
本次技术图书试读活动获奖名单及相应作品如下： 
 
 
一等奖（两名） 
 
 
 Microhardest：http://microhardest.ite
    
                                
    •