Franco蜡笔小强
Franco蜡笔小强

[Netty]pipeline(一)

作者：简书闪电侠
链接：https://www.jianshu.com/p/6efa9c5fa702

通过前面的源码系列文章中的netty reactor线程三部曲，我们已经知道，netty的reactor线程就像是一个发动机，驱动着整个netty框架的运行，而服务端的绑定和新连接的建立正是发动机的导火线，将发动机点燃

netty在服务端端口绑定和新连接建立的过程中会建立相应的channel，而与channel的动作密切相关的是pipeline这个概念，pipeline像是可以看作是一条流水线，原始的原料(字节流)进来，经过加工，最后输出

本文，我将以新连接的建立为例分为以下几个部分给你介绍netty中的pipeline是怎么玩转起来的

  • pipeline 初始化
  • pipeline 添加节点
  • pipeline 删除节点

pipeline 初始化

在新连接的建立这篇文章中，我们已经知道了创建NioSocketChannel的时候会将netty的核心组件创建出来

[Netty]pipeline(一)_第1张图片

channel中的核心组件

pipeline是其中的一员，在下面这段代码中被创建

AbstractChannel

protected AbstractChannel(Channel parent) {
    this.parent = parent;
    id = newId();
    unsafe = newUnsafe();
    pipeline = newChannelPipeline();
}

AbstractChannel

protected DefaultChannelPipeline newChannelPipeline() {
    return new DefaultChannelPipeline(this);
}

DefaultChannelPipeline

protected DefaultChannelPipeline(Channel channel) {
    this.channel = ObjectUtil.checkNotNull(channel, "channel");
    tail = new TailContext(this);
    head = new HeadContext(this);

    head.next = tail;
    tail.prev = head;
}

pipeline中保存了channel的引用，创建完pipeline之后，整个pipeline是这个样子的

[Netty]pipeline(一)_第2张图片

pipeline默认结构

pipeline中的每个节点是一个ChannelHandlerContext对象，每个context节点保存了它包裹的执行器 ChannelHandler 执行操作所需要的上下文，其实就是pipeline，因为pipeline包含了channel的引用，可以拿到所有的context信息

默认情况下，一条pipeline会有两个节点，head和tail，后面的文章我们具体分析这两个特殊的节点，今天我们重点放在pipeline

pipeline添加节点

下面是一段非常常见的客户端代码

bootstrap.childHandler(new ChannelInitializer() {
     @Override
     public void initChannel(SocketChannel ch) throws Exception {
         ChannelPipeline p = ch.pipeline();
         p.addLast(new Spliter())
         p.addLast(new Decoder());
         p.addLast(new BusinessHandler())
         p.addLast(new Encoder());
     }
});

首先，用一个spliter将来源TCP数据包拆包，然后将拆出来的包进行decoder，传入业务处理器BusinessHandler，业务处理完encoder，输出

整个pipeline结构如下

[Netty]pipeline(一)_第3张图片

pipeline结构

我用两种颜色区分了一下pipeline中两种不同类型的节点，一个是 ChannelInboundHandler，处理inBound事件，最典型的就是读取数据流，加工处理；还有一种类型的Handler是 ChannelOutboundHandler, 处理outBound事件，比如当调用writeAndFlush()类方法时，就会经过该种类型的handler

不管是哪种类型的handler，其外层对象 ChannelHandlerContext 之间都是通过双向链表连接，而区分一个 ChannelHandlerContext到底是in还是out，在添加节点的时候我们就可以看到netty是怎么处理的

DefaultChannelPipeline

@Override
public final ChannelPipeline addLast(ChannelHandler... handlers) {
    return addLast(null, handlers);
}

@Override
public final ChannelPipeline addLast(EventExecutorGroup executor, ChannelHandler... handlers) {
    for (ChannelHandler h: handlers) {
        addLast(executor, null, h);
    }
    return this;
}

public final ChannelPipeline addLast(EventExecutorGroup group, String name, ChannelHandler handler) {
    final AbstractChannelHandlerContext newCtx;
    synchronized (this) {
        // 1.检查是否有重复handler
        checkMultiplicity(handler);
        // 2.创建节点
        newCtx = newContext(group, filterName(name, handler), handler);
        // 3.添加节点
        addLast0(newCtx);
    }
   
    // 4.回调用户方法
    callHandlerAdded0(handler);
    
    return this;
}

这里简单地用synchronized方法是为了防止多线程并发操作pipeline底层的双向链表

我们还是逐步分析上面这段代码

1.检查是否有重复handler

在用户代码添加一条handler的时候，首先会查看该handler有没有添加过

private static void checkMultiplicity(ChannelHandler handler) {
    if (handler instanceof ChannelHandlerAdapter) {
        ChannelHandlerAdapter h = (ChannelHandlerAdapter) handler;
        if (!h.isSharable() && h.added) {
            throw new ChannelPipelineException(
                    h.getClass().getName() +
                    " is not a @Sharable handler, so can't be added or removed multiple times.");
        }
        h.added = true;
    }
}

netty使用一个成员变量added标识一个channel是否已经添加，上面这段代码很简单，如果当前要添加的Handler是非共享的，并且已经添加过，那就抛出异常，否则，标识该handler已经添加

由此可见，一个Handler如果是sharable的，就可以无限次被添加到pipeline中，我们客户端代码如果要让一个Handler被共用，只需要加一个@Sharable标注即可，如下

@Sharable
public class BusinessHandler {
    
}

而如果Handler是sharable的，一般就通过spring的注入的方式使用，不需要每次都new 一个

isSharable() 方法正是通过该Handler对应的类是否标注@Sharable来实现的

ChannelHandlerAdapter

public boolean isSharable() {
   Class clazz = getClass();
    Map, Boolean> cache = InternalThreadLocalMap.get().handlerSharableCache();
    Boolean sharable = cache.get(clazz);
    if (sharable == null) {
        sharable = clazz.isAnnotationPresent(Sharable.class);
        cache.put(clazz, sharable);
    }
    return sharable;
}

这里也可以看到，netty为了性能优化到极致，还使用了ThreadLocal来缓存Handler的状态，高并发海量连接下，每次有新连接添加Handler都会创建调用此方法

2.创建节点

回到主流程，看创建上下文这段代码

newCtx = newContext(group, filterName(name, handler), handler);

这里我们需要先分析 filterName(name, handler) 这段代码，这个函数用于给handler创建一个唯一性的名字

private String filterName(String name, ChannelHandler handler) {
    if (name == null) {
        return generateName(handler);
    }
    checkDuplicateName(name);
    return name;
}

显然，我们传入的name为null，netty就给我们生成一个默认的name，否则，检查是否有重名，检查通过的话就返回

netty创建默认name的规则为 简单类名#0，下面我们来看些具体是怎么实现的

private static final FastThreadLocal, String>> nameCaches =
        new FastThreadLocal, String>>() {
    @Override
    protected Map, String> initialValue() throws Exception {
        return new WeakHashMap, String>();
    }
};

private String generateName(ChannelHandler handler) {
    // 先查看缓存中是否有生成过默认name
    Map, String> cache = nameCaches.get();
    Class handlerType = handler.getClass();
    String name = cache.get(handlerType);
    // 没有生成过，就生成一个默认name，加入缓存 
    if (name == null) {
        name = generateName0(handlerType);
        cache.put(handlerType, name);
    }

    // 生成完了，还要看默认name有没有冲突
    if (context0(name) != null) {
        String baseName = name.substring(0, name.length() - 1);
        for (int i = 1;; i ++) {
            String newName = baseName + i;
            if (context0(newName) == null) {
                name = newName;
                break;
            }
        }
    }
    return name;
}

netty使用一个 FastThreadLocal(后面的文章会细说)变量来缓存Handler的类和默认名称的映射关系，在生成name的时候，首先查看缓存中有没有生成过默认name(简单类名#0)，如果没有生成，就调用generateName0()生成默认name，然后加入缓存

接下来还需要检查name是否和已有的name有冲突，调用context0()，查找pipeline里面有没有对应的context

private AbstractChannelHandlerContext context0(String name) {
    AbstractChannelHandlerContext context = head.next;
    while (context != tail) {
        if (context.name().equals(name)) {
            return context;
        }
        context = context.next;
    }
    return null;
}

context0()方法链表遍历每一个 ChannelHandlerContext，只要发现某个context的名字与待添加的name相同，就返回该context，最后抛出异常，可以看到，这个其实是一个线性搜索的过程

如果context0(name) != null 成立，说明现有的context里面已经有了一个默认name，那么就从 简单类名#1 往上一直找，直到找到一个唯一的name，比如简单类名#3

如果用户代码在添加Handler的时候指定了一个name，那么要做到事仅仅为检查一下是否有重复

private void checkDuplicateName(String name) {
    if (context0(name) != null) {
        throw new IllegalArgumentException("Duplicate handler name: " + name);
    }
}

处理完name之后，就进入到创建context的过程，由前面的调用链得知，group为null，因此childExecutor(group)也返回null

DefaultChannelPipeline

private AbstractChannelHandlerContext newContext(EventExecutorGroup group, String name, ChannelHandler handler) {
    return new DefaultChannelHandlerContext(this, childExecutor(group), name, handler);
}

private EventExecutor childExecutor(EventExecutorGroup group) {
    if (group == null) {
        return null;
    }
    //..
}

DefaultChannelHandlerContext

DefaultChannelHandlerContext(
        DefaultChannelPipeline pipeline, EventExecutor executor, String name, ChannelHandler handler) {
    super(pipeline, executor, name, isInbound(handler), isOutbound(handler));
    if (handler == null) {
        throw new NullPointerException("handler");
    }
    this.handler = handler;
}

构造函数中，DefaultChannelHandlerContext将参数回传到父类，保存Handler的引用，进入到其父类

AbstractChannelHandlerContext

AbstractChannelHandlerContext(DefaultChannelPipeline pipeline, EventExecutor executor, String name,
                              boolean inbound, boolean outbound) {
    this.name = ObjectUtil.checkNotNull(name, "name");
    this.pipeline = pipeline;
    this.executor = executor;
    this.inbound = inbound;
    this.outbound = outbound;
}

netty中用两个字段来表示这个channelHandlerContext属于inBound还是outBound，或者两者都是，两个boolean是通过下面两个小函数来判断(见上面一段代码)

DefaultChannelHandlerContext

private static boolean isInbound(ChannelHandler handler) {
    return handler instanceof ChannelInboundHandler;
}

private static boolean isOutbound(ChannelHandler handler) {
    return handler instanceof ChannelOutboundHandler;
}

通过instanceof关键字根据接口类型来判断，因此，如果一个Handler实现了两类接口，那么他既是一个inBound类型的Handler，又是一个outBound类型的Handler，比如下面这个类

[Netty]pipeline(一)_第4张图片

ChannelDuplexHandler

常用的，将decode操作和encode操作合并到一起的codec，一般会继承 MessageToMessageCodec，而MessageToMessageCodec就是继承ChannelDuplexHandler

MessageToMessageCodec

public abstract class MessageToMessageCodec extends ChannelDuplexHandler {

    protected abstract void encode(ChannelHandlerContext ctx, OUTBOUND_IN msg, List out)
            throws Exception;

    protected abstract void decode(ChannelHandlerContext ctx, INBOUND_IN msg, List out)
            throws Exception;
 }

 
  
context 创建完了之后，接下来终于要将创建完毕的context加入到pipeline中去了
 
  
3.添加节点
 
  
private void addLast0(AbstractChannelHandlerContext newCtx) {
    AbstractChannelHandlerContext prev = tail.prev;
    newCtx.prev = prev; // 1
    newCtx.next = tail; // 2
    prev.next = newCtx; // 3
    tail.prev = newCtx; // 4
}

 
  
用下面这幅图可见简单的表示这段过程，说白了，其实就是一个双向链表的插入操作
 
  
[Netty]pipeline(一)_第5张图片
 
  
添加节点过程
 
  
操作完毕，该context就加入到pipeline中
 
  
[Netty]pipeline(一)_第6张图片
 
  
添加节点之后
 
  
到这里，pipeline添加节点的操作就完成了，你可以根据此思路掌握所有的addxxx()系列方法
 
  
4.回调用户方法
 
  
 
   
AbstractChannelHandlerContext
 
  
 
  
private void callHandlerAdded0(final AbstractChannelHandlerContext ctx) {
    ctx.handler().handlerAdded(ctx);
    ctx.setAddComplete();
}


 
  
到了第四步，pipeline中的新节点添加完成，于是便开始回调用户代码 ctx.handler().handlerAdded(ctx);，常见的用户代码如下
 
  
 
   
AbstractChannelHandlerContext
 
  
 
  
public class DemoHandler extends SimpleChannelInboundHandler<...> {
    @Override
    public void handlerAdded(ChannelHandlerContext ctx) throws Exception {
        // 节点被添加完毕之后回调到此
        // do something
    }
}

 
  
接下来，设置该节点的状态
 
  
 
   
AbstractChannelHandlerContext
 
  
 
  
final void setAddComplete() {
    for (;;) {
        int oldState = handlerState;
        if (oldState == REMOVE_COMPLETE || HANDLER_STATE_UPDATER.compareAndSet(this, oldState, ADD_COMPLETE)) {
            return;
        }
    }
}

 
  
用cas修改节点的状态至：REMOVE_COMPLETE（说明该节点已经被移除） 或者 ADD_COMPLETE
 
  
pipeline删除节点
 
  
netty 有个最大的特性之一就是Handler可插拔，做到动态编织pipeline，比如在首次建立连接的时候，需要通过进行权限认证，在认证通过之后，就可以将此context移除，下次pipeline在传播事件的时候就就不会调用到权限认证处理器
 
  
下面是权限认证Handler最简单的实现，第一个数据包传来的是认证信息，如果校验通过，就删除此Handler，否则，直接关闭连接
 
  
public class AuthHandler extends SimpleChannelInboundHandler {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, ByteBuf data) throws Exception {
        if (verify(authDataPacket)) {
            ctx.pipeline().remove(this);
        } else {
            ctx.close();
        }
    }

    private boolean verify(ByteBuf byteBuf) {
        //...
    }
}

 
  
重点就在 ctx.pipeline().remove(this) 这段代码
 
  
@Override
public final ChannelPipeline remove(ChannelHandler handler) {
    remove(getContextOrDie(handler));
    
    return this;
}


 
  
remove操作相比add简单不少，分为三个步骤：
 
  
1.找到待删除的节点
 2.调整双向链表指针删除
 3.回调用户函数
 
  
1.找到待删除的节点
 
  
 
   
DefaultChannelPipeline
 
  
 
  
private AbstractChannelHandlerContext getContextOrDie(ChannelHandler handler) {
    AbstractChannelHandlerContext ctx = (AbstractChannelHandlerContext) context(handler);
    if (ctx == null) {
        throw new NoSuchElementException(handler.getClass().getName());
    } else {
        return ctx;
    }
}

@Override
public final ChannelHandlerContext context(ChannelHandler handler) {
    if (handler == null) {
        throw new NullPointerException("handler");
    }

    AbstractChannelHandlerContext ctx = head.next;
    for (;;) {

        if (ctx == null) {
            return null;
        }

        if (ctx.handler() == handler) {
            return ctx;
        }

        ctx = ctx.next;
    }
}

 
  
这里为了找到Handler对应的context，照样是通过依次遍历双向链表的方式，直到某一个context的Handler和当前Handler相同，便找到了该节点
 
  
2.调整双向链表指针删除
 
  
 
   
DefaultChannelPipeline
 
  
 
  
private AbstractChannelHandlerContext remove(final AbstractChannelHandlerContext ctx) {
    assert ctx != head && ctx != tail;

    synchronized (this) {
        // 2.调整双向链表指针删除
        remove0(ctx);
    }
    // 3.回调用户函数
    callHandlerRemoved0(ctx);
    return ctx;
}

private static void remove0(AbstractChannelHandlerContext ctx) {
    AbstractChannelHandlerContext prev = ctx.prev;
    AbstractChannelHandlerContext next = ctx.next;
    prev.next = next; // 1
    next.prev = prev; // 2
}


 
  
经历的过程要比添加节点要简单，可以用下面一幅图来表示
 
  
[Netty]pipeline(一)_第7张图片
 
  
删除节点过程
 
  
最后的结果为
 
  
[Netty]pipeline(一)_第8张图片
 
  
删除节点之后
 
  
结合这两幅图，可以很清晰地了解权限验证Handler的工作原理，另外，被删除的节点因为没有对象引用到，果过段时间就会被gc自动回收
 
  
3.回调用户函数
 
  
private void callHandlerRemoved0(final AbstractChannelHandlerContext ctx) {
    try {
        ctx.handler().handlerRemoved(ctx);
    } finally {
        ctx.setRemoved();
    }
}

 
  
到了第三步，pipeline中的节点删除完成，于是便开始回调用户代码 ctx.handler().handlerRemoved(ctx);，常见的代码如下
 
  
 
   
AbstractChannelHandlerContext
 
  
 
  
public class DemoHandler extends SimpleChannelInboundHandler<...> {
    @Override
    public void handlerRemoved(ChannelHandlerContext ctx) throws Exception {
        // 节点被删除完毕之后回调到此，可做一些资源清理
        // do something
    }
}

 
  
最后，将该节点的状态设置为removed
 
  
final void setRemoved() {
    handlerState = REMOVE_COMPLETE;
}

 
  
removexxx系列的其他方法族大同小异，你可以根据上面的思路展开其他的系列方法，这里不再赘述
 
  
总结
 
  
1.以新连接创建为例，新连接创建的过程中创建channel，而在创建channel的过程中创建了该channel对应的pipeline，创建完pipeline之后，自动给该pipeline添加了两个节点，即ChannelHandlerContext，ChannelHandlerContext中有用pipeline和channel所有的上下文信息。
 
  
2.pipeline是双向个链表结构，添加和删除节点均只需要调整链表结构
 
  
3.pipeline中的每个节点包着具体的处理器ChannelHandler，节点根据ChannelHandler的类型是ChannelInboundHandler还是ChannelOutboundHandler来判断该节点属于in还是out或者两者都是
 
  
下一篇文章将继续pipeline的分析，敬请期待！
 
  

  
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(Netty,Netty,pipeline)

        

            

                
    
                    
  • Some jenkins settings
                        SnC_

                        
    Jenkins连接到特定gitlabproject的特定branch我采用的方法是在pipeline的script中使用git命令来指定branch。如下：stage('Clonerepository'){steps{gitbranch:'develop',credentialsId:'gitlab-credential-id',url:'http://gitlab.com/repo.git'}}
    
                    
    • 
                    
  • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    
                    
    • 
                    
  • netty-简易聊天
                        2401_84046645
程序员java开发语言
                        
    publicvoidsend(Stringtext){channel.writeAndFlush(Unpooled.copiedBuffer(text.getBytes()));}publicvoidcloseConnect(){send(“bye”);channel.close();}}classMyHandlerextendsChannelInboundHandlerAdapter{@Over
    
                    
    • 
                    
  • java mongodb group分组使用
                        yank1225
mongodbjavamongodbgroup
                        
    mongodb的关键字及介绍.mongodb的查询是有一定规则的,刚开始接触老是各种错误,参照以下内容有很多帮助https://docs.mongodb.com/manual/reference/sql-aggregation-comparison/另外出现这种错误时Apipelinestagespecificationobjectmustcontainexactlyonefield是因为条件不对
    
                    
    • 
                    
  • 2022-01-03 day62 pipaline流水线作业
                        zhaocheng690

                        
    今日作业：1.pipeline实现流程：拉取代码-->编译-->部署测试-->发送测试通知-->确认是否部署-->部署服务-->发送部署结果通知pipeline{agentanyparameters{gitParameterbranch:'',branchFilter:'.*',defaultValue:'v1.0',description:'请选择要发布的版本:',name:'git_versi
    
                    
    • 
                    
  • Netty权威指南：Netty总结-高性能与可靠性
                        Ty_1106
Nettyjava网络rpc
                        
    第二十二章高性能之道22.1RPC调用性能模型分析22.1.1传统RPC调用性能差三宗罪：网络传输采用同步阻塞I/O导致经常性阻塞序列化性能差线程模型问题22.1.2I/O通信性能三要素传输：BIO、NIO或者AIO协议：HTTP公有协议，内部私有协议线程：数据报如何读取，Reactor线程模型22.2Netty高性能之道22.2.1异步非阻塞通信I/O多路复用技术22.2.2高效的Reactor
    
                    
    • 
                    
  • netty4源码阅读与分析---netty线程模型
                        红尘之一骑
javaNIOnetty源码阅读与分析
                        
    本文主要说下我自己对netty线程模型的理解，以及这样的线程模型的好处。通俗的来讲，netty的线程模型描述的就是老板和员工的故事。老板(通常情况下是一个老板)负责接活，与客户沟通，协调(netty的accept),谈成后(通道建立)，他需要从员工中选出一位员工来负责处理后续具体的事宜(worker线程，这里我们有16位员工，编号1-16)，员工做事时按照任务的先后顺序进行处理，这样可以避免错乱，
    
                    
    • 
                    
  • 深度长文解析SpringWebFlux响应式框架15个核心组件源码
                        快乐非自愿
javaspring
                        
    SpringWebFlux介绍SpringWebFlux是SpringFramework5.0版本引入的一个响应式Web框架，它与SpringMVC并存，提供了一种全新的编程范式，支持异步非阻塞的Web应用开发。WebFlux完全基于响应式编程模型，支持ReactiveStreams规范，可以在诸如Netty、Undertow以及Servlet3.1+容器上运行。WebFlux的核心控制器是Dis
    
                    
    • 
                    
  • Java网络编程：IO，NIO与Netty
                        坚持是一种态度
javajava网络编程NettyJavaIONIONIO与Netty
                        
    Java网络编程：IO，NIO与NettyJava网络编程：IO，NIO与NettyJavaI/O相关概念同步与异步阻塞与非阻塞OIONIOAIOreactor模型proactor模型JavaIO应用场景Netty简介NIO与Netty生产使用Java网络编程：IO，NIO与Netty新公司新项目，项目需要在硬件和软件平台进行信息传递，具体来说使用Netty。硬件和软件使用socket连接，硬件作
    
                    
    • 
                    
  • Redis 管道(Pipeline)是什么？有什么用？
                        程序猿ZhangSir
redis数据库缓存
                        
    目录1.redis客户端-服务端模型的不足之处2.redis管道是什么？有什么好处？3.管道的使用场景4.管道使用的注意事项1.redis客户端-服务端模型的不足之处众所周知，redis是一个客户端-服务端的模型设计，客户端向服务端发送存储数据的请求共分为四步(发送命令——>命令排队——>命令执行——>返回结果)，简单来说就是一问一答的交互方式，在等待返回结果的期间，通常是以阻塞的模式等待服务端响
    
                    
    • 
                    
  • redis的事务与管道有什么不同？
                        半桶水专家
Redisredis数据库
                        
    Redis的事务（MULTI/EXEC）和管道（PIPELINE）都是为了执行多条命令，但它们的工作原理和目标不同。以下是两者的详细对比。1.Redis事务(MULTI/EXEC)特点：事务的本质：Redis事务是一组命令的原子性执行。事务通过MULTI命令开始，用EXEC命令提交。所有在MULTI和EXEC之间的命令会被顺序执行，要么全部执行，要么全部不执行（如果EXEC被调用时Redis处于错
    
                    
    • 
                    
  • 使用命令来指示ChatGLM-6B模型执行各种简单任务
                        西笑生
大模型ChatGLM-6B
                        
    使用命令来指示ChatGLM-6B模型执行各种简单任务flyfish使用命令来指示模型执行各种简单任务，例如“写入”、“分类”、“总结”、“翻译”、“排序”等，从而为各种简单任务设计有效的提示本文主要演示prompt的使用，请忽略输出的正确与否开始frommodelscope.utils.constantimportTasksfrommodelscope.pipelinesimportpipeli
    
                    
    • 
                    
  • Python | 使用Joblib模块加快任务处理速度
                        python收藏家
pythonpython
                        
    在本文中，我们将了解如何通过使用Joblib模块在Python中并行执行代码来大幅减少大型代码的执行时间。Joblib模块简介Joblib是一个用于Python的开源库，它提供了一些用于并行计算和内存映射的工具，旨在提高科学计算和数据分析的效率。Python中的Joblib模块特别用于使用Pipelines并行执行任务，而不是一个接一个地顺序执行任务。Joblib模块允许用户通过利用设备中存在的所
    
                    
    • 
                    
  • java reactor模式例子_Netty Reactor模式实现原理详解
                        weixin_39923623
javareactor模式例子
                        
    在前面的文章中(Reactor模型详解)，我们讲解了Reactor模式的各种演变形式，本文主要讲解的则是Netty是如何实现Reactor模式的。这里关于Netty实现的Reactor模式，需要说明的是，其实现的模式如下图所示：对于Netty使用的Reactor模式，其主要特点如下：使用一个线程作为mainReactor，专门用于监听客户端的连接事件，当获取到事件之后就将该事件交由Acceptor
    
                    
    • 
                    
  • 3.4 Principles of Reliable Data Transfer (Part 2)
                        找不到工作

                        
    上接Part1。3.4.2PipelinedReliableDataTransferProtocols如我们在Part1中指出的，rdt3.0虽然是一个正确的可靠数据传输协议，然而它的性能无法满足需求。因为它实质上是一个stop-and-wait的协议，即在收到上一个数据的ACK之前无法发送下一个数据。解决方法是，sender不需要等待ACK，可以连续发送多个数据包。每个inflight的包都应该
    
                    
    • 
                    
  • 在 CI/CD Pipeline 中实施持续测试的最佳实践！
                        小码哥说测试
软件测试技术分享自动化测试ci/cdpostman测试工具单元测试自动化测试软件测试持续集成
                        
    随着软件开发周期的不断加快，持续集成（CI）和持续交付/部署（CD）已经成为现代软件开发的重要组成部分。在这一过程中，持续测试的实施对于确保代码质量、提高发布效率至关重要。本文将详细介绍在CI/CD流水线中实施持续测试的最佳实践，并提供具体的方案和实战演练。持续测试的意义持续测试是指在整个软件开发生命周期中，持续地对软件进行自动化测试。其主要目标是尽早发现缺陷，减少修复成本，提高软件质量。与传统的
    
                    
    • 
                    
  • Netty实战二-实现UDP的单播和广播(1)
                        2401_84048671
程序员udp网络协议网络
                        
    publicclassAnswerHandlerextendsSimpleChannelInboundHandler{/应答的具体内容从常量字符串数组中取得，由nextQuote方法随机获取/privatestaticfinalString[]DICTIONARY={“一个男生暗恋一个女生很久了。一天自习课上，男生偷偷的传了小纸条给女生，上面写着“其实我注意你很久了”。不一会儿，女生传了另一张纸条
    
                    
    • 
                    
  • netty源码解读三（NioEventLoop）
                        orcharddd_real
nettyjavanetty
                        
    NioEventLoop初始化EventExecutor类型的数组数组大小默认为cpu数量的两倍，遍历数组，通过newNioEventLoop(xxx)往数组中添加元素，NioEventLoop继承了EventExecutor；每次需要线程时，执行chooser的next方法从数组中取出一个线程；关键代码打开netty源码，找到example包下的EchoService类，追溯创建boss线程组和
    
                    
    • 
                    
  • Netty源码分析:NioEventLoopGroup
                        HelloWorld_EE
netty源码分析源代码nettyEventLoop
                        
    Netty源码分析:NioEventLoopGroup在工作之余，看到自己公司的超哥（俞超）关于Netty的系列博文，讲解的很好，因此，自己在学习之余也跟了下源代码，来了解Netty，也做了相关的笔记，将形成系列博文，这是第一篇。超哥的博文地址在这里：http://www.jianshu.com/p/c5068caab217Netty版本：4.0.23.Final借用超哥的例子，一般服务端的代码如
    
                    
    • 
                    
  • Apache Beam简介及相关概念
                        奋斗的源
Apache基础知识ApacheBeam其他
                        
    文章目录一.简介二.基本概念1.Pipelines2.PCollection3.Transforms4.ParDo5.PipelineI/O6.Aggregation7.User-definedfunctions(UDFs)8.Runner三.高级概念1.Eventtime2.Windowing3.Watermarks4.Trigger四.工作原理一.简介ApacheBeam是一个开放源码的统一模
    
                    
    • 
                    
  • jenkins配置流水线
                        iteye_10392
jenkinsjenkinselasticsearch运维
                        
    新建任务，随便选一个名字，选中流水线配置git的用户名和密码，记录ID，后面配置流水线的时候用。pipeline{agentanystages{stage('stopapp'){steps{script{defremote=[:]//配置服务地址，用户名和密码remote.name='prd'remote.host='114.116.1.1'remote.user='test'remote.pas
    
                    
    • 
                    
  • jenkins安装 sshCommand
                        iteye_10392
jenkinsjenkinsservletjava
                        
    在Jenkins中安装SSH插件（例如“SSHPipelineSteps”或“SSHIntegrationPlugin”）可以让你通过JenkinsPipeline或自由风格项目执行远程SSH命令或脚本，从而自动化部署过程或其他任务。下面是如何安装“SSHPipelineSteps”插件的步骤：安装SSHPipelineSteps插件登录到Jenkins并进入管理员界面。导航到插件管理页面。通常，
    
                    
    • 
                    
  • Docker in Docker 实践 on mac
                        solinger
dockerdockerdind
                        
    在尝试tekton构建cipipeline是，需要在k8pod里buildimage，于是研究了如何dockerindocker。1.编写自己的dinddockerimageFROMdocker:20.10.16-dindENVDOCKER_HOSTunix:///var/run/docker.sock2.dockerbuild自己的dinddockerimage并push到repo上docker
    
                    
    • 
                    
  • window系统运行pytorch找不到指定的模块，报错“fbgemm.dll“ or one of its dependencies.”
                        weixin_44598491
笔记
                        
    安装好pytorch后，importtorch报错如下：Traceback(mostrecentcalllast):File"d:\work_space\01_code\BMCourse\exercises\L2_NLP_pipeline_pytorch\annotated_code\test.py",line1,inimporttorchFile"C:\Users\ZJ\AppData\Loca
    
                    
    • 
                    
  • netty-NioServerSocketChannel和boss NioEventLoopGroup 如何建立关系的
                        一个人的想法
javanetty
                        
    一、EventLoopGroupbossGroup=newNioEventLoopGroup();EventLoopGroupworkerGroup=newNioEventLoopGroup();1、boss或者workerNioEventLoopGroup初始化完成了一个NioEventLoop数组（默认机器核数的2倍）所有NioEventLoop持有了同一个Executor调用execute时
    
                    
    • 
                    
  • 【人工智能】Transformers之Pipeline（十三）：填充蒙版（fill-mask）
                        LDG_AGI
Pipeline人工智能机器学习计算机视觉python时序数据库大数据自然语言处理
                        
    目录一、引言二、填充蒙版（fill-mask）2.1概述2.2技术原理2.2.1BERT模型的基本概念2.2.2BERT模型的工作原理2.2.3BERT模型的结构2.2.4BERT模型的应用2.2.5BERT模型与Transformer的区别和联系2.3应用场景2.4pipeline参数2.4.1pipeline对象实例化参数2.4.2pipeline对象使用参数2.4.3pipeline返回参数
    
                    
    • 
                    
  • 经验笔记：RPC与高性能NIO框架
                        漆黑的莫莫
计算机网络笔记rpcnio
                        
    RPC与高性能NIO框架的经验笔记引言随着互联网技术的发展，分布式系统逐渐成为了现代软件架构的标准之一。在这种架构中，服务之间的通信变得尤为关键，而RPC（远程过程调用）作为一种服务间通信的方式，因其简便的使用方式和高效的性能表现而受到了广泛的关注。在实现RPC的过程中，选择合适的网络通信框架至关重要，尤其是那些基于NIO（非阻塞I/O）的高性能框架，如Netty。本文将首先介绍RPC的概念及其在
    
                    
    • 
                    
  • Ingest Pipeline & Painless Script
                        折纸虚桐
ES学习笔记elasticsearch
                        
    DELETEtech_blogs#Blog数据，包含3个字段，tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags":"hadoop,elasticsearch,spark","content":"Youknow,forbigdata"}#测试splittagsPOST_ingest/pipeline/_sim
    
                    
    • 
                    
  • ElasticSearch-Ingest Pipeline & Painless Script
                        姜希成
ElasticSearchelasticsearch
                        
    IngestNode&Pipeline&ProcessorIngestNodePipeline&Processor内置的Processors创建pipeline使用pipeline更新数据借助update_by_query更新已存在的文档IngestNodeVSLogstashPainlessIngestNode&Pipeline&Processor应用场景：修复与增强写入数据IngestNode
    
                    
    • 
                    
  • PG数据库PipelineDB流式聚合汇总提升系统查询性能
                        boonya
架构师
                        
    使用PipelineDB统计的方式减少了不少SQL统计查询，程序端只需要根据业务场景进行组装使用就可以了。PG数据库PipelineDB插件以下是几篇有关PipelineDB基础的文章：PostgreSQLPipelineDB插件(C语言)PostgresqlPipelineDB学习研究资料PostgreSQLPipelineDB理解与统计性能升实践PostgreSQLPipelineDB插件实现
    
                    
    • 
                                
  • java封装继承多态等
                                    麦田的设计者
javaeclipsejvmcencapsulatopn
                                    
           最近一段时间看了很多的视频却忘记总结了，现在只能想到什么写什么了，希望能起到一个回忆巩固的作用。 
    1、final关键字 
      译为：最终的 
       &
    
                                
    • 
                                
  • F5与集群的区别
                                    bijian1013
weblogic集群F5
                                    
            http请求配置不是通过集群，而是F5；集群是weblogic容器的，如果是ejb接口是通过集群。 
        F5同集群的差别，主要还是会话复制的问题，F5一把是分发http请求用的，因为http都是无状态的服务，无需关注会话问题，类似
    
                                
    • 
                                
  • LeetCode[Math] - #7 Reverse Integer
                                    Cwind
java题解MathLeetCodeAlgorithm
                                    
    原题链接：#7 Reverse Integer 
  
要求： 
按位反转输入的数字 
例1： 输入 x = 123, 返回 321 
例2： 输入 x = -123, 返回 -321 
  
难度：简单 
  
分析： 
对于一般情况，首先保存输入数字的符号，然后每次取输入的末位（x%10）作为输出的高位（result = result*10 + x%10）即可。但
    
                                
    • 
                                
  • BufferedOutputStream
                                    周凡杨

                                    
         首先说一下这个大批量，是指有上千万的数据量。 
     例子： 
     有一张短信历史表，其数据有上千万条数据，要进行数据备份到文本文件，就是执行如下SQL然后将结果集写入到文件中！ 
     select t.msisd
    
                                
    • 
                                
  • linux下模拟按键输入和鼠标
                                    被触发
linux
                                    
    查看/dev/input/eventX是什么类型的事件， cat /proc/bus/input/devices 
设备有着自己特殊的按键键码，我需要将一些标准的按键，比如0－9，X－Z等模拟成标准按键，比如KEY_0,KEY-Z等，所以需要用到按键 模拟，具体方法就是操作/dev/input/event1文件，向它写入个input_event结构体就可以模拟按键的输入了。 
 
linux/in
    
                                
    • 
                                
  • ContentProvider初体验
                                    肆无忌惮_
ContentProvider
                                    
    ContentProvider在安卓开发中非常重要。与Activity，Service，BroadcastReceiver并称安卓组件四大天王。 
在android中的作用是用来对外共享数据。因为安卓程序的数据库文件存放在data/data/packagename里面，这里面的文件默认都是私有的，别的程序无法访问。 
如果QQ游戏想访问手机QQ的帐号信息一键登录，那么就需要使用内容提供者COnte
    
                                
    • 
                                
  • 关于Spring MVC项目（maven）中通过fileupload上传文件
                                    843977358
mybatisspring mvc修改头像上传文件upload
                                    
    Spring MVC 中通过fileupload上传文件，其中项目使用maven管理。 
  
1.上传文件首先需要的是导入相关支持jar包：commons-fileupload.jar,commons-io.jar 
因为我是用的maven管理项目，所以要在pom文件中配置（每个人的jar包位置根据实际情况定） 
<!-- 文件上传 start by zhangyd-c --&g
    
                                
    • 
                                
  • 使用svnkit api，纯java操作svn，实现svn提交，更新等操作
                                    aigo
svnkit
                                    
     原文：http://blog.csdn.net/hardwin/article/details/7963318 
  
import java.io.File;  
  
import org.apache.log4j.Logger;  
import org.tmatesoft.svn.core.SVNCommitInfo;  
import org.tmateso
    
                                
    • 
                                
  • 对比浏览器，casperjs，httpclient的Header信息
                                    alleni123
爬虫crawlerheader
                                    
    		@Override
		protected void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException
		{
			String type=req.getParameter("type");
			Enumeration es=re
    
                                
    • 
                                
  • java.io操作 DataInputStream和DataOutputStream基本数据流
                                    百合不是茶
java流
                                    
    1，java中如果不保存整个对象，只保存类中的属性，那么我们可以使用本篇文章中的方法，如果要保存整个对象  先将类实例化  后面的文章将详细写到 
  
  
2，DataInputStream 是java.io包中一个数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。
    
                                
    • 
                                
  • 车辆保险理赔案例
                                    bijian1013
车险
                                    
    理赔案例： 
一货运车，运输公司为车辆购买了机动车商业险和交强险，也买了安全生产责任险，运输一车烟花爆竹，在行驶途中发生爆炸，出现车毁、货损、司机亡、炸死一路人、炸毁一间民宅等惨剧，针对这几种情况，该如何赔付。 
赔付建议和方案： 
客户所买交强险在这里不起作用，因为交强险的赔付前提是：“机动车发生道路交通意外事故”； 
如果是交通意外事故引发的爆炸，则优先适用交强险条款进行赔付，不足的部分由商业
    
                                
    • 
                                
  • 学习Spring必学的Java基础知识(5)—注解
                                    bijian1013
javaspring
                                    
            文章来源：http://www.iteye.com/topic/1123823，整理在我的博客有两个目的：一个是原文确实很不错，通俗易懂，督促自已将博主的这一系列关于Spring文章都学完；另一个原因是为免原文被博主删除，在此记录，方便以后查找阅读。 
  
        有必要对
    
                                
    • 
                                
  • 【Struts2一】Struts2 Hello World
                                    bit1129
Hello world
                                    
    Struts2 Hello World应用的基本步骤 
创建Struts2的Hello World应用，包括如下几步： 
1.配置web.xml 
2.创建Action 
3.创建struts.xml，配置Action 
4.启动web server，通过浏览器访问 
  配置web.xml 
<?xml version="1.0" encoding="
    
                                
    • 
                                
  • 【Avro二】Avro RPC框架
                                    bit1129
rpc
                                    
    1. Avro RPC简介 1.1. RPC 
 
 RPC逻辑上分为二层，一是传输层，负责网络通信；二是协议层，将数据按照一定协议格式打包和解包 
 从序列化方式来看，Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架，都能跨语言，性能优秀，数据精简，但是Avro的动态模式（不用生成代码，而且性能很好）这个特点让人非常喜欢，比较适合R
    
                                
    • 
                                
  • lua　set get cookie
                                    ronin47
lua cookie
                                    
    lua:
local access_token = ngx.var.cookie_SGAccessToken
if access_token then
    ngx.header["Set-Cookie"] = "SGAccessToken="..access_token.."; path=/;Max-Age=3000"
end
    
                                
    • 
                                
  • java-打印不大于N的质数
                                    bylijinnan
java
                                    
    

public class PrimeNumber {

	/**
	 * 寻找不大于N的质数
	 */
	public static void main(String[] args) {
		int n=100;
		PrimeNumber pn=new PrimeNumber();
		pn.printPrimeNumber(n);
		System.out.print
    
                                
    • 
                                
  • Spring源码学习-PropertyPlaceholderHelper
                                    bylijinnan
javaspring
                                    
    今天在看Spring 3.0.0.RELEASE的源码，发现PropertyPlaceholderHelper的一个bug 
当时觉得奇怪，上网一搜，果然是个bug，不过早就有人发现了，且已经修复： 
详见： 
http://forum.spring.io/forum/spring-projects/container/88107-propertyplaceholderhelper-bug 
 

    
                                
    • 
                                
  • [逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么?
                                    comsci
拓扑
                                    
     
   如果我们已经在一个工作流的节点中嵌入了可以进行逻辑推理的代码,那么成百上千个这样的节点如果组成一个拓扑网络,而这个网络是可以自动遍历的,非线性的拓扑计算模型和节点内部的布尔逻辑处理的结合,会产生什么样的结果呢? 
 
   是否可以形成一种新的模糊语言识别和处理模型呢?  大家有兴趣可以试试,用软件搞这些有个好处,就是花钱比较少,就算不成
    
                                
    • 
                                
  • ITEYE 都换百度推广了
                                    cuisuqiang
GoogleAdSense百度推广广告外快
                                    
    以前ITEYE的广告都是谷歌的Google AdSense，现在都换成百度推广了。 
  
为什么个人博客设置里面还是Google AdSense呢？ 
  
都知道Google AdSense不好申请，这在ITEYE上也不是讨论了一两天了，强烈建议ITEYE换掉Google AdSense。至少，用一个好申请的吧。 
  
什么时候能从ITEYE上来点外快，哪怕少点
    
                                
    • 
                                
  • 新浪微博技术架构分析
                                    dalan_123
新浪微博架构
                                    
    新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第
    
                                
    • 
                                
  • 玩转ARP攻击
                                    dcj3sjt126com
r
                                    
    我写这片文章只是想让你明白深刻理解某一协议的好处。高手免看。如果有人利用这片文章所做的一切事情，盖不负责。 网上关于ARP的资料已经很多了，就不用我都说了。 用某一位高手的话来说，“我们能做的事情很多，唯一受限制的是我们的创造力和想象力”。 ARP也是如此。 以下讨论的机子有 一个要攻击的机子：10.5.4.178 硬件地址：52:54:4C:98
    
                                
    • 
                                
  • PHP编码规范
                                    dcj3sjt126com
编码规范
                                    
    一、文件格式 
1. 对于只含有 php 代码的文件，我们将在文件结尾处忽略掉 "?>" 。这是为了防止多余的空格或者其它字符影响到代码。例如：<?php$foo = 'foo';2. 缩进应该能够反映出代码的逻辑结果，尽量使用四个空格，禁止使用制表符TAB，因为这样能够保证有跨客户端编程器软件的灵活性。例
    
                                
    • 
                                
  • linux 脱机管理（nohup）
                                    eksliang
linux nohupnohup
                                    
    脱机管理 nohup 
转载请出自出处：http://eksliang.iteye.com/blog/2166699 
nohup可以让你在脱机或者注销系统后，还能够让工作继续进行。他的语法如下 
nohup [命令与参数]   --在终端机前台工作
nohup [命令与参数] & --在终端机后台工作 
  
但是这个命令需要注意的是，nohup并不支持bash的内置命令，所
    
                                
    • 
                                
  • BusinessObjects Enterprise Java SDK
                                    greemranqq
javaBOSAPCrystal Reports
                                    
    最近项目用到oracle_ADF  从SAP/BO 上调用 水晶报表，资料比较少，我做一个简单的分享，给和我一样的新手 提供更多的便利。 
  
首先，我是尝试用JAVA JSP 去访问的。 
  
官方API：http://devlibrary.businessobjects.com/BusinessObjectsxi/en/en/BOE_SDK/boesdk_ja
    
                                
    • 
                                
  • 系统负载剧变下的管控策略
                                    iamzhongyong
高并发
                                    
    假如目前的系统有100台机器，能够支撑每天1亿的点击量（这个就简单比喻一下），然后系统流量剧变了要，我如何应对，系统有那些策略可以处理，这里总结了一下之前的一些做法。 
1、水平扩展 
这个最容易理解，加机器，这样的话对于系统刚刚开始的伸缩性设计要求比较高，能够非常灵活的添加机器，来应对流量的变化。 
2、系统分组 
假如系统服务的业务不同，有优先级高的，有优先级低的，那就让不同的业务调用提前分组
    
                                
    • 
                                
  • BitTorrent DHT 协议中文翻译
                                    justjavac
bit
                                    
    前言 
做了一个磁力链接和BT种子的搜索引擎 {Magnet & Torrent}，因此把 DHT 协议重新看了一遍。 
 
 BEP: 5Title: DHT ProtocolVersion: 3dec52cb3ae103ce22358e3894b31cad47a6f22bLast-Modified: Tue Apr 2 16:51:45 2013 -070
    
                                
    • 
                                
  • Ubuntu下Java环境的搭建
                                    macroli
java工作ubuntu
                                    
    配置命令： 
　　$sudo apt-get install ubuntu-restricted-extras 
　　再运行如下命令： 
　　$sudo apt-get install sun-java6-jdk 
　　待安装完毕后选择默认Java. 
　　$sudo update- alternatives --config java 
　　安装过程提示选择，输入“2”即可，然后按回车键确定。 
    
                                
    • 
                                
  • js字符串转日期（兼容IE所有版本）
                                    qiaolevip
TODateStringIE
                                    
    	/**
	 * 字符串转时间（yyyy-MM-dd HH:mm:ss）
	 * result （分钟）
	 */
	stringToDate : function(fDate){
		var fullDate = fDate.split(" ")[0].split("-");
		var fullTime = fDate.split("
    
                                
    • 
                                
  • 【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析
                                    superlxw1234
sql数据挖掘关联规则
                                    
    关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。 
关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。 
例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%]  支持度3%：意味3%顾客同时购买牛奶和面包。   置信度40%：意味购买牛奶的顾客40%也购买面包。   规则的支持度和置信度是两个规则兴
    
                                
    • 
                                
  • Spring 5.0 的系统需求，期待你的反馈
                                    wiselyman
spring
                                    
            
       Spring 5.0将在2016年发布。Spring5.0将支持JDK 9。 
  
       Spring 5.0的特性计划还在工作中，请保持关注，所以作者希望从使用者得到关于Spring 5.0系统需求方面的反馈。 
 
    
                                
    •