小波同学
小波同学

Java并发编程——CompletableFuture详解

一、简介

JDK 5引入了Future模式。Future接口是Java多线程Future模式的实现，在java.util.concurrent包中，可以来进行异步计算。

Future模式是多线程设计常用的一种设计模式。Future模式可以理解成：我有一个任务，提交给了Future，Future替我完成这个任务。期间我自己可以去做任何想做的事情。一段时间之后，我就便可以从Future那儿取出结果。

Future模式的缺点

  • Future虽然可以实现获取异步执行结果的需求，但是它没有提供通知的机制，我们无法得知Future什么时候完成。

  • 要么使用阻塞，在future.get()的地方等待future返回的结果，这时又变成同步操作。要么使用isDone()轮询地判断Future是否完成，这样会耗费CPU的资源。

很多语言，比如Node.js，采用回调的方式实现异步编程。Java的一些框架，比如Netty、Guava分别扩展了Java 的 Future 接口，方便异步编程。

Netty扩展了Java的 Future接口，提供了addListener等多个扩展方法：

ChannelFuture future = bootstrap.connect(new InetSocketAddress(host, port));
      future.addListener(new ChannelFutureListener()
      {
              @Override
              public void operationComplete(ChannelFuture future) throws Exception
              {
                  if (future.isSuccess()) {
                      // SUCCESS
                  }
                  else {
                      // FAILURE
                  }
              }
      });

Google guava也提供了通用的扩展Future:ListenableFuture、SettableFuture 以及辅助类Futures等,方便异步编程。

final String name = ...;
inFlight.add(name);
ListenableFuture future = service.query(name);
future.addListener(new Runnable() {
  public void run() {
    processedCount.incrementAndGet();
    inFlight.remove(name);
    lastProcessed.set(name);
    logger.info("Done with {0}", name);
  }
}, executor);

Scala也提供了简单易用且功能强大的Future/Promise异步编程模式。

作为正统的Java类库，在Java8中，新增加了一个包含50个方法左右的类: CompletableFuture，CompletableFuture提供了非常强大的Future的扩展功能，可以帮助我们简化异步编程的复杂性，并且提供了函数式编程的能力，可以通过回调的方式处理计算结果，也提供了转换和组合 CompletableFuture 的方法。

二、Java中的异步计算

异步计算很难推理。通常，我们希望将任何计算都视为一系列步骤，但是在异步计算的情况下，以回调表示的动作往往分散在代码中或彼此深深地嵌套在一起。当我们需要处理其中一个步骤中可能发生的错误时，情况变得更加糟糕。Future是Java 5中添加作为异步计算的结果，但它没有任何方法处理计算可能出现的错误。

Java 8引入了CompletableFuture类。除Future接口外，它还实现了CompletionStage接口。该接口为异步计算步骤定义了合同，我们可以将其与其他步骤结合使用。

Java 8新增的CompletableFuture类正是吸收了所有Google Guava中ListenableFuture和SettableFuture的特征，还提供了其它强大的功能，让Java拥有了完整的非阻塞编程模型：Future、Promise 和 Callback(在Java8之前，只有无Callback 的Future)。

CompletableFuture能够将回调放到与任务不同的线程中执行，也能将回调作为继续执行的同步函数，在与任务相同的线程中执行。它避免了传统回调最大的问题，那就是能够将控制流分离到不同的事件处理器中。

CompletableFuture弥补了Future模式的缺点。在异步的任务完成后，需要用其结果继续操作时，无需等待。可以直接通过thenAccept、thenApply、thenCompose等方式将前面异步处理的结果交给另外一个异步事件处理线程来处理。

三、CompleteFuture全方法说明

3.1 主动完成计算

CompletableFuture类实现了CompletionStage和Future接口，所以你还是可以像以前一样通过阻塞或者轮询的方式获得结果，尽管这种方式不推荐使用。

public T    get()
public T    get(long timeout, TimeUnit unit)
public T    getNow(T valueIfAbsent)
public T    join()

getNow有点特殊，如果结果已经计算完则返回结果或者抛出异常，否则返回给定的valueIfAbsent值。
join返回计算的结果或者抛出一个unchecked异常(CompletionException)，它和get对抛出的异常的处理有些细微的区别，你可以运行下面的代码进行比较：

CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    int i = 1/0;
    return 100;
});
//future.join();
future.get();

尽管Future可以代表在另外的线程中执行的一段异步代码，但是你还是可以在本身线程中执行：

public static CompletableFuture compute() {
    final CompletableFuture future = new CompletableFuture<>();
    return future;
}

上面的代码中future没有关联任何的Callback、线程池、异步任务等，如果客户端调用future.get就会一致傻等下去。你可以通过下面的代码完成一个计算，触发客户端的等待：

f.complete(100);

当然你也可以抛出一个异常，而不是一个成功的计算结果：

f.completeExceptionally(new Exception());

完整的代码如下：

public class BasicMain {
    public static CompletableFuture compute() {
        final CompletableFuture future = new CompletableFuture<>();
        return future;
    }
    public static void main(String[] args) throws Exception {
        final CompletableFuture f = compute();
        class Client extends Thread {
            CompletableFuture f;
            Client(String threadName, CompletableFuture f) {
                super(threadName);
                this.f = f;
            }
            @Override
            public void run() {
                try {
                    System.out.println(this.getName() + ": " + f.get());
                } catch (InterruptedException e) {
                    e.printStackTrace();
                } catch (ExecutionException e) {
                    e.printStackTrace();
                }
            }
        }
        new Client("Client1", f).start();
        new Client("Client2", f).start();
        System.out.println("waiting");
        f.complete(100);
        //f.completeExceptionally(new Exception());
        System.in.read();
    }
}

可以看到我们并没有把f.complete(100);放在另外的线程中去执行，但是在大部分情况下我们可能会用一个线程池去执行这些异步任务。CompletableFuture.complete()、CompletableFuture.completeExceptionally只能被调用一次。但是我们有两个后门方法可以重设这个值:obtrudeValue、obtrudeException，但是使用的时候要小心，因为complete已经触发了客户端，有可能导致客户端会得到不期望的结果。

3.2 创建CompletableFuture对象

CompletableFuture.completedFuture是一个静态辅助方法，用来返回一个已经计算好的CompletableFuture。

public static  CompletableFuture completedFuture(U value)

而以下四个静态方法用来为一段异步执行的代码创建CompletableFuture对象：

public static CompletableFuture   runAsync(Runnable runnable)
public static CompletableFuture   runAsync(Runnable runnable, Executor executor)
public static  CompletableFuture  supplyAsync(Supplier supplier)
public static  CompletableFuture  supplyAsync(Supplier supplier, Executor executor)

以Async结尾并且没有指定Executor的方法会使用ForkJoinPool.commonPool()作为它的线程池执行异步代码。

runAsync方法也好理解，它以Runnable函数式接口类型为参数，所以CompletableFuture的计算结果为空。

supplyAsync方法以Supplier函数式接口类型为参数,CompletableFuture的计算结果类型为U。

因为方法的参数类型都是函数式接口，所以可以使用lambda表达式实现异步任务，比如：

CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    //长时间的计算任务
    return "·00";
});

3.3 计算结果完成时的处理

当CompletableFuture的计算结果完成，或者抛出异常的时候，我们可以执行特定的Action。主要是下面的方法：

public CompletableFuture     whenComplete(BiConsumer action)
public CompletableFuture     whenCompleteAsync(BiConsumer action)
public CompletableFuture     whenCompleteAsync(BiConsumer action, Executor executor)
public CompletableFuture     exceptionally(Function fn)

可以看到Action的类型是BiConsumer，它可以处理正常的计算结果，或者异常情况。
方法不以Async结尾，意味着Action使用相同的线程执行，而Async可能会使用其它的线程去执行(如果使用相同的线程池，也可能会被同一个线程选中执行)。

注意这几个方法都会返回CompletableFuture，当Action执行完毕后它的结果返回原始的CompletableFuture的计算结果或者返回异常。

public class Main {
    private static Random rand = new Random();
    private static long t = System.currentTimeMillis();
    static int getMoreData() {
        System.out.println("begin to start compute");
        try {
            Thread.sleep(10000);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        }
        System.out.println("end to start compute. passed " + (System.currentTimeMillis() - t)/1000 + " seconds");
        return rand.nextInt(1000);
    }
    public static void main(String[] args) throws Exception {
        CompletableFuture future = CompletableFuture.supplyAsync(Main::getMoreData);
        Future f = future.whenComplete((v, e) -> {
            System.out.println(v);
            System.out.println(e);
        });
        System.out.println(f.get());
        System.in.read();
    }
}

exceptionally方法返回一个新的CompletableFuture，当原始的CompletableFuture抛出异常的时候，就会触发这个CompletableFuture的计算，调用function计算值，否则如果原始的CompletableFuture正常计算完后，这个新的CompletableFuture也计算完成，它的值和原始的CompletableFuture的计算的值相同。也就是这个exceptionally方法用来处理异常的情况。

下面一组方法虽然也返回CompletableFuture对象，但是对象的值和原来的CompletableFuture计算的值不同。当原先的CompletableFuture的值计算完成或者抛出异常的时候，会触发这个CompletableFuture对象的计算，结果由BiFunction参数计算而得。因此这组方法兼有whenComplete和转换的两个功能。

public  CompletableFuture     handle(BiFunction fn)
public  CompletableFuture     handleAsync(BiFunction fn)
public  CompletableFuture     handleAsync(BiFunction fn, Executor executor)

同样，不以Async结尾的方法由原来的线程计算，以Async结尾的方法由默认的线程池ForkJoinPool.commonPool()或者指定的线程池executor运行。

3.4 转换

CompletableFuture可以作为monad(单子)和functor。由于回调风格的实现，我们不必因为等待一个计算完成而阻塞着调用线程，而是告诉CompletableFuture当计算完成的时候请执行某个function。而且我们还可以将这些操作串联起来，或者将CompletableFuture组合起来。

public  CompletableFuture     thenApply(Function fn)
public  CompletableFuture     thenApplyAsync(Function fn)
public  CompletableFuture     thenApplyAsync(Function fn, Executor executor)

这一组函数的功能是当原来的CompletableFuture计算完后，将结果传递给函数fn，将fn的结果作为新的CompletableFuture计算结果。因此它的功能相当于将CompletableFuture转换成CompletableFuture。

这三个函数的区别和上面介绍的一样，不以Async结尾的方法由原来的线程计算，以Async结尾的方法由默认的线程池ForkJoinPool.commonPool()或者指定的线程池executor运行。Java的CompletableFuture类总是遵循这样的原则，下面就不一一赘述了。

使用例子如下：

CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    return 100;
});
CompletableFuture f =  future.thenApplyAsync(i -> i * 10).thenApply(i -> i.toString());
System.out.println(f.get()); //"1000"

需要注意的是，这些转换并不是马上执行的，也不会阻塞，而是在前一个stage完成后继续执行。

它们与handle方法的区别在于handle方法会处理正常计算值和异常，因此它可以屏蔽异常，避免异常继续抛出。而thenApply方法只是用来处理正常值，因此一旦有异常就会抛出。

3.5 纯消费(执行Action)

上面的方法是当计算完成的时候，会生成新的计算结果(thenApply, handle)，或者返回同样的计算结果whenComplete，CompletableFuture还提供了一种处理结果的方法，只对结果执行Action,而不返回新的计算值，因此计算值为Void。

public CompletableFuture  thenAccept(Consumer action)
public CompletableFuture  thenAcceptAsync(Consumer action)
public CompletableFuture  thenAcceptAsync(Consumer action, Executor executor)

看它的参数类型也就明白了，它们是函数式接口Consumer，这个接口只有输入，没有返回值。

CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    return 100;
});
CompletableFuture f =  future.thenAccept(System.out::println);
System.out.println(f.get());

thenAcceptBoth以及相关方法提供了类似的功能，当两个CompletionStage都正常完成计算的时候，就会执行提供的action，它用来组合另外一个异步的结果。
runAfterBoth是当两个CompletionStage都正常完成计算的时候,执行一个Runnable，这个Runnable并不使用计算的结果。

public  CompletableFuture  thenAcceptBoth(CompletionStage other, BiConsumer action)
public  CompletableFuture  thenAcceptBothAsync(CompletionStage other, BiConsumer action)
public  CompletableFuture  thenAcceptBothAsync(CompletionStage other, BiConsumer action, Executor executor)
public     CompletableFuture  runAfterBoth(CompletionStage other,  Runnable action)

例子如下：

CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    return 100;
});
CompletableFuture f =  future.thenAcceptBoth(CompletableFuture.completedFuture(10), (x, y) -> System.out.println(x * y));
System.out.println(f.get());

更彻底地，下面一组方法当计算完成的时候会执行一个Runnable,与thenAccept不同，Runnable并不使用CompletableFuture计算的结果。

public CompletableFuture  thenRun(Runnable action)
public CompletableFuture  thenRunAsync(Runnable action)
public CompletableFuture  thenRunAsync(Runnable action, Executor executor)

因此先前的CompletableFuture计算的结果被忽略了,这个方法返回CompletableFuture类型的对象。

CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    return 100;
});
CompletableFuture f =  future.thenRun(() -> System.out.println("finished"));
System.out.println(f.get());

因此，你可以根据方法的参数的类型来加速你的记忆。Runnable类型的参数会忽略计算的结果，Consumer是纯消费计算结果，BiConsumer会组合另外一个CompletionStage纯消费，Function会对计算结果做转换，BiFunction会组合另外一个CompletionStage的计算结果做转换。

3.6 组合

public  CompletableFuture     thenCompose(Function> fn)
public  CompletableFuture     thenComposeAsync(Function> fn)
public  CompletableFuture     thenComposeAsync(Function> fn, Executor executor)

这一组方法接受一个Function作为参数，这个Function的输入是当前的CompletableFuture的计算值，返回结果将是一个新的CompletableFuture，这个新的CompletableFuture会组合原来的CompletableFuture和函数返回的CompletableFuture。因此它的功能类似。

记住，thenCompose返回的对象并不一是函数fn返回的对象，如果原来的CompletableFuture还没有计算出来，它就会生成一个新的组合后的CompletableFuture。

例子：

CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    return 100;
});
CompletableFuture f =  future.thenCompose( i -> {
    return CompletableFuture.supplyAsync(() -> {
        return (i * 10) + "";
    });
});
System.out.println(f.get()); //1000

而下面的一组方法thenCombine用来复合另外一个CompletionStage的结果。它的功能类似。
两个CompletionStage是并行执行的，它们之间并没有先后依赖顺序，other并不会等待先前的CompletableFuture执行完毕后再执行。

public  CompletableFuture   thenCombine(CompletionStage other, BiFunction fn)
public  CompletableFuture   thenCombineAsync(CompletionStage other, BiFunction fn)
public  CompletableFuture   thenCombineAsync(CompletionStage other, BiFunction fn, Executor executor)

其实从功能上来讲,它们的功能更类似thenAcceptBoth，只不过thenAcceptBoth是纯消费，它的函数参数没有返回值，而thenCombine的函数参数fn有返回值。

CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    return 100;
});
CompletableFuture future2 = CompletableFuture.supplyAsync(() -> {
    return "abc";
});
CompletableFuture f =  future.thenCombine(future2, (x,y) -> y + "-" + x);
System.out.println(f.get()); //abc-100

3.7 Either

thenAcceptBoth和runAfterBoth是当两个CompletableFuture都计算完成，而我们下面要了解的方法是当任意一个CompletableFuture计算完成的时候就会执行。

public CompletableFuture  acceptEither(CompletionStage other, Consumer action)
public CompletableFuture  acceptEitherAsync(CompletionStage other, Consumer action)
public CompletableFuture  acceptEitherAsync(CompletionStage other, Consumer action, Executor executor)
public  CompletableFuture     applyToEither(CompletionStage other, Function fn)
public  CompletableFuture     applyToEitherAsync(CompletionStage other, Function fn)
public  CompletableFuture     applyToEitherAsync(CompletionStage other, Function fn, Executor executor)

acceptEither方法是当任意一个CompletionStage完成的时候，action这个消费者就会被执行。这个方法返回CompletableFuture

applyToEither方法是当任意一个CompletionStage完成的时候，fn会被执行，它的返回值会当作新的CompletableFuture的计算结果。

下面这个例子有时会输出100,有时候会输出200,哪个Future先完成就会根据它的结果计算。

Random rand = new Random();
CompletableFuture future = CompletableFuture.supplyAsync(() -> {
    try {
        Thread.sleep(10000 + rand.nextInt(1000));
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    return 100;
});
CompletableFuture future2 = CompletableFuture.supplyAsync(() -> {
    try {
        Thread.sleep(10000 + rand.nextInt(1000));
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    return 200;
});
CompletableFuture f =  future.applyToEither(future2,i -> i.toString());

3.8 辅助方法 allOf 和 anyOf

前面我们已经介绍了几个静态方法：completedFuture、runAsync、supplyAsync,下面介绍的这两个方法用来组合多个CompletableFuture。

public static CompletableFuture       allOf(CompletableFuture... cfs)
public static CompletableFuture     anyOf(CompletableFuture... cfs)


allOf方法是当所有的CompletableFuture都执行完后执行计算。


anyOf方法是当任意一个CompletableFuture执行完后就会执行计算，计算的结果相同。


下面的代码运行结果有时是100,有时是"abc"。但是anyOf和applyToEither不同。anyOf接受任意多的CompletableFuture但是applyToEither只是判断两个CompletableFuture,anyOf返回值的计算结果是参数中其中一个CompletableFuture的计算结果，applyToEither返回值的计算结果却是要经过fn处理的。当然还有静态方法的区别，线程池的选择等。


Random rand = new Random();
CompletableFuture future1 = CompletableFuture.supplyAsync(() -> {
    try {
        Thread.sleep(10000 + rand.nextInt(1000));
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    return 100;
});
CompletableFuture future2 = CompletableFuture.supplyAsync(() -> {
    try {
        Thread.sleep(10000 + rand.nextInt(1000));
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    return "abc";
});
//CompletableFuture f =  CompletableFuture.allOf(future1,future2);
CompletableFuture f =  CompletableFuture.anyOf(future1,future2);
System.out.println(f.get());


通过上面的介绍，应该把CompletableFuture的方法和功能介绍完了(cancel、isCompletedExceptionally()、isDone()以及继承于Object的方法无需介绍了， toCompletableFuture()返回CompletableFuture本身)，希望能全面了解CompletableFuture强大的功能，并将它应用到Java的异步编程中。


更进一步


如果用过Guava的Future类，你就会知道它的Futures辅助类提供了很多便利方法，用来处理多个Future，而不像Java的CompletableFuture，只提供了allOf、anyOf两个方法。 比如有这样一个需求，将多个CompletableFuture组合成一个CompletableFuture，这个组合后的CompletableFuture的计算结果是个List,它包含前面所有的CompletableFuture的计算结果，guava的Futures.allAsList可以实现这样的功能，但是对于java CompletableFuture，我们需要一些辅助方法：


public static  CompletableFuture> sequence(List> futures) {
   CompletableFuture allDoneFuture = CompletableFuture.allOf(futures.toArray(new CompletableFuture[futures.size()]));
   return allDoneFuture.thenApply(v -> futures.stream().map(CompletableFuture::join).collect(Collectors.toList()));
}

public static  CompletableFuture> sequence(Stream> futures) {
   List> futureList = futures.filter(f -> f != null).collect(Collectors.toList());
   return sequence(futureList);
}



或者Java Future转CompletableFuture:


public static  CompletableFuture toCompletable(Future future, Executor executor) {
    return CompletableFuture.supplyAsync(() -> {
        try {
            return future.get();
        } catch (InterruptedException | ExecutionException e) {
            throw new RuntimeException(e);
        }
    }, executor);
}



github有多个项目可以实现Java CompletableFuture与其它Future (如Guava ListenableFuture)之间的转换，如spotify/futures-extra、future-converter、scala/scala-java8-compat 等。


参考：
 https://blog.csdn.net/qq_41503660/article/details/122027993


https://www.modb.pro/db/129614


https://colobu.com/2016/02/29/Java-CompletableFuture/


https://blog.csdn.net/fengyuyeguirenenen/article/details/125204661


https://blog.csdn.net/jack_shuai/article/details/115304267
























你可能感兴趣的:(Java并发编程——CompletableFuture详解)






    

  • Java中的IO流详解
Bro_cat
Javajava开发语言

    Java的输入输出（IO）流是处理数据读写的基础。它们允许程序与外部设备（如文件、网络等）进行数据交互。Java中的IO流主要分为字节流和字符流，每种流都有其特定的用途和类结构。IO流的基本概念IO流是Java提供的一种用于处理输入输出的机制。它提供了一种统一的方式来处理不同类型的输入输出设备。输入流（InputStream/Reader）：用于从外部设备读取数据到程序中。输出流（OutputSt
    

    • 

  • Spring MVC 架构详解
firepation
SpringJavaspringmvc

    SpringMVC（Model-View-Controller）是Spring框架中用于构建Web应用程序的模块。它通过分离应用程序的不同方面（输入逻辑、业务逻辑和UI逻辑）来简化开发工作。本文将详细介绍SpringMVC架构及其基本组件，包括DispatcherServlet、HandlerMapping、Controller和ViewResolver。SpringMVC架构SpringMVC架
    

    • 

  • socket多线程和Ringbuffer详解
走别人不走的路
linuxc语言android

    关注微信公众号：【快乐程序猿】查看更多篇章相信很多读者都知道多线程是什么，那RingBuffer可能就不太清楚了，那我们先来介绍下什么是RingBuffer。RingBuffer，也称为循环缓冲区，是一种固定大小的缓冲区，用于在生产者和消费者之间传递数据。它是一种数据结构，常用于需要缓冲数据流的场合，如音频处理、数据通信等。1.结构缓冲区大小:RingBuffer有一个固定的容量，即可以容纳的数据
    

    • 

  • 第三章-数据预处理
moke冲冲

    数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。3.1数据清洗数据清洗主要是删除原始数据集中的无关数据，重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值，异常值等。3.1.1缺失值处理处理缺失值的方法可分为三类：删除记录、数据插补和不处理常用的插补方法如下图插值法：拉格朗日插值法，牛顿插值法拉格朗日插值法详解：https://www.zhihu.com/questio
    

    • 

  • 【python 已解决！】 AttributeError: ‘str‘ object has no attribute ‘example‘ 详解与解决方案
二川bro
优化bug集合pythonpythonandroid开发语言

    【python已解决！】AttributeError:'str'objecthasnoattribute'example'详解与解决方案在Python编程中，AttributeError是一个常见的异常类型，它通常表明尝试访问或调用一个对象的属性或方法时失败了，因为该对象并不具备这样的属性或方法。当你看到错误提示“AttributeError:‘str’objecthasnoattribute‘e
    

    • 

  • 【微服务】springboot 整合 SA-Token 使用详解
小码农叔叔
微服务治理与实战SA-Token使用详解sa-token使用详解sa-tokensa-token使用sa-token认证授权java使用sa-token

    目录一、前言二、认证与授权介绍2.1什么是认证2.1.1认证的目的2.1.2认证基本步骤2.2什么是授权2.2.1常用的授权模型三、微服务中常用的认证安全框架3.1SpringSecurity3.1.1SpringSecurity特点3.2JWT(JSONWebTokens)3.2.1JWT特点3.3其他认证安全框架四、SA-Token介绍4.1SA-Token是什么4.2SA-Token特点4.
    

    • 

  • Macaca 面向多端的自动化测试工具基于Python搭建详解 --Android、IOS搭建步骤
丢丢是一只喵
自动化测试自动化测试androidiospythonmacaca

    Macaca是一套完整的自动化测试解决方案。同时支持多端Android、iOS、web、桌面浏览器运行，并且提供标准化的驱动层。多语言支持：支持node.js、Java、python。官方地址：https://macacajs.com/zh/这次选取Python作为开发语言主要是因为Python扩展能力强，便于开发。InstallMacacaonMac安装/更新node$node-v清理npm缓存
    

    • 

  • Python Pandas将 DataFrame 转换为列表详解
Rocky006
pythonpandas开发语言数据分析

    概要在数据分析和处理过程中，经常会使用到Pandas库来处理和操作数据。Pandas提供了灵活强大的数据结构DataFrame，它可以存储和处理各种类型的数据，并提供了丰富的方法和函数来进行数据操作。有时候，我们需要将DataFrame转换为列表形式，以便进一步处理或者与其他库进行集成。本文将详细介绍如何使用Pandas将DataFrame转换为列表，并提供丰富的示例代码来帮助读者更好地理解和应用
    

    • 

  • 【学习笔记】透视HTTP协议（八）：请求方法详解
叶阿猪
接口测试计算机网络HTTPhttp计算机网络

    本文是一篇学习笔记，学习的课程是极客时间的《透视HTTP协议》。透视HTTP协议_HTTP_HTTPS-极客时间(geekbang.org)HTTP的请求方法（也称为HTTP动词或HTTP方法）定义了客户端如何与服务器进行交互。HTTP协议为这些请求方法提供了一套标准的语义，以便客户端可以明确地告诉服务器它想要执行的操作。以下是HTTP/1.1规范中定义的几种主要的请求方法及其用途。目录一、标准请
    

    • 

  • 详解 JuiceFS sync 新功能，选择性同步增强与多场景性能优化
Juicedata
性能优化

    JuiceFSsync是一个强大的数据同步工具，支持在多种存储系统之间进行并发同步或迁移数据，包括对象存储、JuiceFS、NFS、HDFS、本地文件系统等。此外，该工具还提供了增量同步、模式匹配（类似Rsync）、分布式同步等高级功能。在最新的v1.2版本中，针对Juicesync我们引入了多项新功能，并对多个场景进行了性能优化，以提高用户在处理大目录和复杂迁移时的数据同步效率。新增功能增强选择
    

    • 

  • Python搭建自己的VPN（含：VPN是什么？工作机制详解 搭建VPN的步骤）
Python老吕
VPNPythonvpn软件推荐免费vpn软件vpn加速器vpn下载vpn技术

    Python搭建自己的VPN（含：VPN是什么？工作机制详解搭建VPN的步骤）Python搭建自己的VPN一、VPN是什么？二、VPN的工作机制详解工作原理简述1.加密与解密过程2.隧道技术与路由选择3.身份认证与授权安全性和应用前景VPN的安全性表现在多个层面三、搭建VPN的步骤四、Python搭建自己的VPN在Linux系统搭建自己的VPN步骤1：安装PythonVPN必要的strongSwa
    

    • 

  • Nginx 负载均衡详解
大家都说我身材好
Java高级LinuxNginxnginx负载均衡运维

    Nginx是一个高性能的HTTP和反向代理服务器，拥有丰富的功能和模块，负载均衡就是其中之一。负载均衡是一种技术，用于在多台服务器之间分配工作负载，以确保高可用性和可靠性。本文将详细介绍Nginx的负载均衡算法、工作原理、配置方法和实际应用。一、负载均衡概述负载均衡是指将用户的请求分配到多个后端服务器上进行处理，以达到优化资源利用率、提高响应速度和增加系统的可靠性的目的。负载均衡器通常位于用户和服
    

    • 

  • Java并发编程：线程生命周期
乐只乐之
Java并发编程java职场和发展后端

    Java并发编程专栏文章收录于Java并发编程专栏线程生命周期  线程是Java并发编程的核心概念，理解线程生命周期对于编写高效的并发程序至关重要。本文将详细介绍Java线程的六种状态以及状态之间的转换关系，帮助读者更好地理解线程的行为。  在Java中JVM将线程按照生命周期划分为了四大种类：运行、等待、阻塞和结束，其中运行分为就绪（READY）和运行中中（RUNNING），阻塞分为等待（WAI
    

    • 

  • Python爬虫基础总结
醉蕤
Pythonpython爬虫

    活动地址：CSDN21天学习挑战赛学习的最大理由是想摆脱平庸，早一天就多一份人生的精彩；迟一天就多一天平庸的困扰。学习日记目录学习日记一、关于爬虫1、爬虫的概念2、爬虫的优点3、爬虫的分类4、重要提醒5、反爬和反反爬机制6、协议7、常用请求头和常用的请求方法8、常见的响应状态码9、url的详解二、爬虫基本流程三、可能需要的库四、小例1、requests请求网页2、python解析网页源码（使用Be
    

    • 

  • Vue2组件间通信的14种方式详解
SqCheese
vue.jsjavascriptecmascript

    （本篇以Vue2为主，Vue3在写啦）开始（引用一张举例图，全文依据下图关系进行举例说明）A组件==1.props/$emit//父向子传值importaaafrom'./aaa.vue'{{msg}}---------------------------------//子向父组件传值send(val){val为接收的参}改变字符串change(){this.$emit('send','我是参数'
    

    • 

  • Vue.js 路由守卫详解
NMY112
vue.js前端javascript

    Vue.js是一个用于构建用户界面的渐进式框架。在大型应用中，路由是管理页面间导航的关键部分。VueRouter提供了一系列的路由守卫，帮助开发者在用户导航到新页面时执行特定逻辑。本文将详细介绍Vue.js中的全部路由守卫，包括如何使用、适用场景以及一些补充说明。一、路由守卫分类VueRouter中的路由守卫主要分为以下几类：全局守卫beforeEachbeforeResolveafterEach
    

    • 

  • Android混淆(Proguard)详解
JuliusL

    目录：1、混淆的作用及好处2、混淆的原理3、混淆的具体使用---3.1、混淆的基本语法---3.2、去除日志信息4、更详细的语法及demo1、混淆的作用及好处混淆属于整个应用程序开发生命周期偏后期阶段的技术了，所以要考虑应用的安全性及性能的问题，混淆就是为了这种需求产生的一种技术，简单说，混淆就是将关键字和关键类名，修改为无意义的字符以起到迷惑试图反编译去查看源码的人。在一定程度上能过滤掉起码95
    

    • 

  • 万字详解PHP+Sphinx中文亿级数据全文检索实战（实测亿级数据0.1秒搜索耗时）
小松聊PHP进阶
MySQLPHP全文检索phpsphinxmysqlsql数据库服务器

    Sphinx查询性能非常厉害，亿级数据下输入关键字，大部分能在0.01~0.1秒，少部分再5秒之内查出数据。Sphinx官方文档：http://sphinxsearch.com/docs/sphinx3.html极简概括：由C++编写的高性能全文搜索引擎的开源组件，C/S架构，跨平台（支持Linux、Windows、MacOS），支持分布式部署，并可直接适配MySQL。解决问题：因为MySQL的l
    

    • 

  • iftop：实时流量监控利器（使用方法）
云夏之末
Linuxlinux运维

    一、功能概览实时流量监控：使用iftop-i监控指定网络接口的实时流量。流量排序：iftop-i-o-s2，按流量大小排序，刷新间隔可调。过滤连接：iftop-i-f""，仅显示符合特定IP的连接。详细信息模式：iftop-i-nN，显示端口和协议，直接以数字形式。二、参数详解-i：监控特定接口。-B：设置显示单位（b、Kb、Mb）。-F""：应用过滤规则。-n：不解析主机名，仅显示IP。-N：不
    

    • 

  • Flink的时间与watermarks详解
大数据技术与数仓

    当我们在使用Flink的时候，避免不了要和时间(time)、水位线(watermarks)打交道，理解这些概念是开发分布式流处理应用的基础。那么Flink支持哪些时间语义？Flink是如何处理乱序事件的？什么是水位线？水位线是如何生成的？水位线的传播方式是什么？让我们带着这些问题来开始本文的内容。时间语义基本概念时间是Flink等流处理中最重要的概念之一，在Flink中Time可以分为三种：Eve
    

    • 

  • Windows 环境nginx安装使用及目录结构详解
w风雨无阻w
Nginxwindowsnginx运维

    一、Windows环境nginx安装及基本使用1、下载nginx-1.27.1最新的主线版本安装nginx/Windows，请下载1.27.1最新的主线版本，nginx的主线分支包含所有已知的修复程序。2、解压缩nginx-1.27.1版本nginx/Windows作为标准控制台应用程序（而不是服务）运行，可以使用以下命令对其进行管理：nginx-sstop快速关闭nginx-squit正常关闭n
    

    • 

  • Redis的watch机制详解
半桶水专家
redis数据库缓存

    WATCH是Redis提供的一个用于实现乐观锁(OptimisticLock)的命令，通常用于实现事务中的并发控制。它允许客户端监控一个或多个键的变化，并确保事务（MULTI/EXEC）中执行的操作在这些键没有发生改变的情况下才能成功提交。若在事务执行前，某些键被其他客户端修改，事务将被中止，避免潜在的并发修改问题。WATCH的工作机制监听键客户端通过WATCH命令可以监听一个或多个键。执行后，R
    

    • 

  • 视频的容器格式和编码格式详解
半桶水专家
音视频音视频

    视频的容器格式和编码格式是视频文件的两个核心概念，它们相互关联但具有不同的功能。以下是详细的解释：1.容器格式(ContainerFormat)容器格式，又称封装格式，指的是视频文件的外壳或容器，它用于封装视频、音频、字幕、元数据（如标题、章节信息等）等各种流媒体内容。容器格式本质上决定了文件的扩展名。常见的容器格式：MP4：支持多种编解码器，广泛用于互联网和移动设备。MKV：支持多轨音频、字幕，
    

    • 

  • 深入解析：23种软件设计模式详解及其分类（创建型、结构型、行为型）附代码示例DEMO
J^T
设计模式C/C++设计模式装饰器模式组合模式观察者模式单例模式23种设计模式

    目录引言一、创建型模式1.简单工厂模式（SimpleFactoryPattern）2.抽象工厂模式（AbstractFactoryPattern）3.单例模式（SingletonPattern）4.建造者模式（BuilderPattern）5.原型模式（PrototypePattern）二、结构型模式1.适配器模式（AdapterPattern）2.桥接模式（BridgePattern）3.装饰器
    

    • 

  • Java 创建型设计模式详解
li.wz
JavaSE设计模式java设计模式

    Java创建型设计模式详解在软件开发中，设计模式是解决特定问题的通用解决方案。设计模式并不依赖于编程语言，但它们在Java等面向对象的语言中非常有用。设计模式可以分为三类：创建型模式、结构型模式和行为型模式。本文将深入探讨六种常见的创建型设计模式：简单工厂模式、工厂方法模式、抽象工厂模式、单例模式、建造者模式和原型模式。1.简单工厂模式（SimpleFactoryPattern）概念简单工厂模式并
    

    • 

  • 【设计模式】第四章：原型模式详解及应用案例
Bummon.
设计模式原型模式设计模式

    系列文章【设计模式】七大设计原则【设计模式】第一章：单例模式【设计模式】第二章：工厂模式【设计模式】第三章：建造者模式【设计模式】第四章：原型模式【设计模式】第五章：适配器模式【设计模式】第六章：装饰器模式【设计模式】第七章：代理模式【设计模式】第八章：桥接模式【设计模式】第九章：外观模式/门面模式【设计模式】第十章：组合模式【设计模式】第十一章：享元模式【设计模式】第十二章：观察者模式【设计模式
    

    • 

  • 3.创建型设计模式详解：生成器模式与原型模式的深度解析
胡耀超
设计模式原型模式设计模式生成器模式创建型设计模式java后端

    设计模式（DesignPatterns）是软件开发中常用的解决方案，帮助开发者处理常见的设计问题。创建型设计模式专注于对象的实例化，旨在提高系统的灵活性和可维护性。在这篇文章中，我们将深入探讨创建型设计模式中的生成器模式（BuilderPattern）和原型模式（PrototypePattern），详细分析它们的应用场景、优缺点，并通过类图和综合案例加以对比。1.创建型设计模式概述创建型设计模式包
    

    • 

  • 【Python】set() 函数详解：集合运算、查找、去重 （附代码示例）
Avasla
Pythonpython数据分析

    set函数介绍在Python中，集合（Set）是一种无序且元素唯一的数据结构。集合中的元素不能重复，即每个元素在集合中只能出现一次。集合是一种高效的查找结构。Python中的集合（set）通常是通过哈希表实现的。哈希表是一种数据结构，它使用哈希函数将键映射到存储桶（buckets）中，以便在常数时间复杂度内执行插入、删除和查找操作。换言之，无论集合中有多少个元素，查找某个元素所需的时间都是固定的，
    

    • 

  • Node.js入门与生态全解析：包管理与构建工具详解
Switch616
前端node.js服务器前端es6前端框架

    Node.js入门与生态全解析：包管理与构建工具详解目录包管理使用npm和yarn：项目依赖管理的利器创建和发布npm包：实现模块化与共享⚙️构建工具使用Webpack和Babel：高效打包与代码转换配置构建流程：优化与自动化的最佳实践包管理-使用npm和yarn：项目依赖管理的利器在Node.js的开发过程中，包管理是核心环节之一，它提供了管理第三方库、共享代码及简化依赖项管理的功能。Node.
    

    • 

  • C++11多线程、进程详解（1）
大大大冯小小
c++开发语言

    进程线程进程：正在进行的可执行程序线程：进程中的执行路线关系：一个进程必然包含一个主线程，同一个进程中所有的线程共享内存。生成一个进程时其主线程自动从main()函数开始运行，当主线程从main()函数返回时，则整个进程执行完毕。分线程也需要从一个函数开始运行，此函数运行完毕时分线程执行完毕。并发方法：多进程并发与多进程并发。C++11中的thread库#include#includeusingn
    

    • 

  • 矩阵求逆（JAVA）初等行变换
qiuwanchi
矩阵求逆（JAVA）

    package gaodai.matrix;
import gaodai.determinant.DeterminantCalculation;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;
/**
* 矩阵求逆(初等行变换)
* @author 邱万迟
*
    

    • 

  • JDK timer
antlove
javajdkschedulecodetimer

    1.java.util.Timer.schedule(TimerTask task, long delay)：多长时间（毫秒）后执行任务
2.java.util.Timer.schedule(TimerTask task, Date time)：设定某个时间执行任务
3.java.util.Timer.schedule(TimerTask task, long delay,longperiod
    

    • 

  • JVM调优总结 -Xms -Xmx -Xmn -Xss
coder_xpf
jvm应用服务器

    堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。
典型设置：
java -Xmx
    

    • 

  • JDBC连接数据库
Array_06
jdbc

    package Util;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class JDBCUtil {
//完
    

    • 

  • Unsupported major.minor version 51.0（jdk版本错误）
oloz
java

    java.lang.UnsupportedClassVersionError: cn/support/cache/CacheType : Unsupported major.minor version 51.0 (unable to load class cn.support.cache.CacheType)
at org.apache.catalina.loader.WebappClassL
    

    • 

  • 用多个线程处理1个List集合
362217990
多线程threadlist集合

      昨天发了一个提问，启动5个线程将一个List中的内容，然后将5个线程的内容拼接起来，由于时间比较急迫，自己就写了一个Demo，希望对菜鸟有参考意义。。
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CountDownLatch;
public c
    

    • 

  • JSP简单访问数据库
香水浓
sqlmysqljsp

    学习使用javaBean，代码很烂，仅为留个脚印
public class DBHelper {
private String driverName;
private String url;
private String user;
private String password;
private Connection connection;
privat
    

    • 

  • Flex4中使用组件添加柱状图、饼状图等图表
AdyZhang
Flex

    1.添加一个最简单的柱状图
? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
<?xml version=
"1.0"&n
    

    • 

  • Android 5.0 - ProgressBar 进度条无法展示到按钮的前面
aijuans
android

    在低于SDK < 21 的版本中，ProgressBar 可以展示到按钮前面，并且为之在按钮的中间，但是切换到android 5.0后进度条ProgressBar 展示顺序变化了，按钮再前面，ProgressBar 在后面了我的xml配置文件如下：
 
[html] 
view plain
copy  
<RelativeLa
    

    • 

  • 查询汇总的sql
baalwolf
sql

    select   list.listname, list.createtime,listcount from dream_list as list ,   (select listid,count(listid) as listcount  from dream_list_user  group by listid  order by count(
    

    • 

  • Linux du命令和df命令区别
BigBird2012
linux

            1，两者区别     
       du，disk usage,是通过搜索文件来计算每个文件的大小然后累加，du能看到的文件只是一些当前存在的，没有被删除的。他计算的大小就是当前他认为存在的所有文件大小的累加和。
       
    

    • 

  • AngularJS中的$apply，用还是不用？
bijian1013
JavaScriptAngularJS$apply

            在AngularJS开发中，何时应该调用$scope.$apply()，何时不应该调用。下面我们透彻地解释这个问题。
        但是首先，让我们把$apply转换成一种简化的形式。
        scope.$apply就像一个懒惰的工人。它需要按照命
    

    • 

  • [Zookeeper学习笔记十]Zookeeper源代码分析之ClientCnxn数据序列化和反序列化
bit1129
zookeeper

    ClientCnxn是Zookeeper客户端和Zookeeper服务器端进行通信和事件通知处理的主要类，它内部包含两个类，1. SendThread 2. EventThread， SendThread负责客户端和服务器端的数据通信，也包括事件信息的传输，EventThread主要在客户端回调注册的Watchers进行通知处理
 
ClientCnxn构造方法
 
&
    

    • 

  • 【Java命令一】jmap
bit1129
Java命令

    jmap命令的用法：
 
[hadoop@hadoop sbin]$ jmap
Usage:
jmap [option] <pid>
(to connect to running process)
jmap [option] <executable <core>
(to connect to a 
    

    • 

  • Apache 服务器安全防护及实战
ronin47

    此文转自IBM.
Apache 服务简介
Web 服务器也称为 WWW 服务器或 HTTP 服务器 (HTTP Server)，它是 Internet 上最常见也是使用最频繁的服务器之一，Web 服务器能够为用户提供网页浏览、论坛访问等等服务。
由于用户在通过 Web 浏览器访问信息资源的过程中，无须再关心一些技术性的细节，而且界面非常友好，因而 Web 在 Internet 上一推出就得到
    

    • 

  • unity 3d实例化位置出现布置？
brotherlamp
unity教程unityunity资料unity视频unity自学

    问：unity 3d实例化位置出现布置？
答：实例化的同时就可以指定被实例化的物体的位置,即 position 
Instantiate (original : Object, position : Vector3, rotation : Quaternion) : Object
这样你不需要再用Transform.Position了,
 
如果你省略了第二个参数(
    

    • 

  • 《重构，改善现有代码的设计》第八章 Duplicate Observed Data
bylijinnan
java重构

    
import java.awt.Color;
import java.awt.Container;
import java.awt.FlowLayout;
import java.awt.Label;
import java.awt.TextField;
import java.awt.event.FocusAdapter;
import java.awt.event.FocusE
    

    • 

  • struts2更改struts.xml配置目录
chiangfai
struts.xml

    struts2默认是读取classes目录下的配置文件，要更改配置文件目录，比如放在WEB-INF下，路径应该写成../struts.xml(非/WEB-INF/struts.xml)
web.xml文件修改如下：
 
<filter>
<filter-name>struts2</filter-name>
<filter-class&g
    

    • 

  • redis做缓存时的一点优化
chenchao051
redishadooppipeline

     
      最近集群上有个job，其中需要短时间内频繁访问缓存，大概7亿多次。我这边的缓存是使用redis来做的，问题就来了。
      首先，redis中存的是普通kv，没有考虑使用hash等解结构，那么以为着这个job需要访问7亿多次redis，导致效率低，且出现很多redi
    

    • 

  • mysql导出数据不输出标题行
daizj
mysql数据导出去掉第一行去掉标题

    当想使用数据库中的某些数据，想将其导入到文件中，而想去掉第一行的标题是可以加上-N参数
如通过下面命令导出数据：
mysql -uuserName -ppasswd -hhost -Pport -Ddatabase -e " select * from tableName"  > exportResult.txt
结果为：
studentid
    

    • 

  • phpexcel导出excel表简单入门示例
dcj3sjt126com
PHPExcelphpexcel

    先下载PHPEXCEL类文件，放在class目录下面，然后新建一个index.php文件，内容如下
<?php
error_reporting(E_ALL);
ini_set('display_errors', TRUE);
ini_set('display_startup_errors', TRUE);
 
if (PHP_SAPI == 'cli')
die('
    

    • 

  • 爱情格言
dcj3sjt126com
格言

     1) I love you not because of who you are, but because of who I am when I am with you. 　　 我爱你，不是因为你是一个怎样的人，而是因为我喜欢与你在一起时的感觉。 　　2) No man or woman is worth your tears, and the one who is, won‘t
    

    • 

  • 转 Activity 详解——Activity文档翻译
e200702084
androidUIsqlite配置管理网络应用

    activity 展现在用户面前的经常是全屏窗口，你也可以将 activity 作为浮动窗口来使用（使用设置了 windowIsFloating 的主题），或者嵌入到其他的 activity （使用 ActivityGroup ）中。 当用户离开 activity 时你可以在 onPause() 进行相应的操作 。更重要的是，用户做的任何改变都应该在该点上提交 ( 经常提交到 ContentPro
    

    • 

  • win7安装MongoDB服务
geeksun
mongodb

    1.  下载MongoDB的windows版本：mongodb-win32-x86_64-2008plus-ssl-3.0.4.zip，Linux版本也在这里下载，下载地址： http://www.mongodb.org/downloads
 
2.  解压MongoDB在D:\server\mongodb, 在D:\server\mongodb下创建d
    

    • 

  • Javascript魔法方法:__defineGetter__,__defineSetter__
hongtoushizi
js

    转载自： http://www.blackglory.me/javascript-magic-method-definegetter-definesetter/
在javascript的类中,可以用defineGetter和defineSetter_控制成员变量的Get和Set行为
例如,在一个图书类中,我们自动为Book加上书名符号:
function Book(name){ 
    

    • 

  • 错误的日期格式可能导致走nginx proxy cache时不能进行304响应
jinnianshilongnian
cache

    昨天在整合某些系统的nginx配置时，出现了当使用nginx cache时无法返回304响应的情况，出问题的响应头： Content-Type:text/html; charset=gb2312 Date:Mon, 05 Jan 2015 01:58:05 GMT Expires:Mon , 05 Jan 15 02:03:00 GMT Last-Modified:Mon, 05
    

    • 

  • 数据源架构模式之行数据入口
home198979
PHP架构行数据入口

    注：看不懂的请勿踩，此文章非针对java，java爱好者可直接略过。
 
一、概念
行数据入口（Row Data Gateway）：充当数据源中单条记录入口的对象，每行一个实例。
 
二、简单实现行数据入口
为了方便理解，还是先简单实现：
<?php
/**
* 行数据入口类
*/
class OrderGateway {
/*定义元数
    

    • 

  • Linux各个目录的作用及内容
pda158
linux脚本

    1）根目录“/” 　　根目录位于目录结构的最顶层，用斜线（/）表示，类似于
Windows
操作系统的“C:\“，包含Fedora操作系统中所有的目录和文件。 　　2）/bin 　　/bin 　　目录又称为二进制目录，包含了那些供系统管理员和普通用户使用的重要
linux命令的二进制映像。该目录存放的内容包括各种可执行文件，还有某些可执行文件的符号连接。常用的命令有：cp、d
    

    • 

  • ubuntu12.04上编译openjdk7
ol_beta
HotSpotjvmjdkOpenJDK

    获取源码
从openjdk代码仓库获取(比较慢)
安装mercurial Mercurial是一个版本管理工具。 sudo apt-get install mercurial
将以下内容添加到$HOME/.hgrc文件中，如果没有则自己创建一个： [extensions] forest=/home/lichengwu/hgforest-crew/forest.py fe
    

    • 

  • 将数据库字段转换成设计文档所需的字段
vipbooks
设计模式工作正则表达式

            哈哈，出差这么久终于回来了，回家的感觉真好！
        PowerDesigner的物理数据库一出来，设计文档中要改的字段就多得不计其数，如果要把PowerDesigner中的字段一个个Copy到设计文档中，那将会是一件非常痛苦的事情。
    

    •