java8 Streams API 详解

什么是stream

Stream作为java8 的一大亮点，与InputStream和OutPutStream是完全不同的概念。也不同于stax对xml解析的Stream，也不是Amazon kinesis对大数据实时处理的Stream。java8 中的Stream是对集合（Collection）对象功能的增强。专注于对集合对象进行非常便利、高效的聚合操作。同时它提供串行和并行两种模式，并发模式能够充分利用多核处理器的优势。使用frok\join 并行方式拆分和加速任务。

什么是聚合操作

java代码经常不得不依赖于关系型数据库的聚合操作来完成例如：

• 客户每月平均消费金额
• 最昂贵的在售商品
• 本周完成的有效订单（排除无效的）
• 取十个数据样本作为首页推荐

这类操作。

在java7 中如果要发现type为grocery的所有交易，然后返回以交易值降序排序好的交易ID集合，需要这样写：

List groceryTransactions = new Arraylist<>();
for(Transaction t: transactions)  {
     if(t.getType() == Transaction.GROCERY)  {
     groceryTransactions.add(t);
     }
}
Collections.sort(groceryTransactions, new Comparator()  {
     public int compare(Transaction t1, Transaction t2)  {
     return t2.getValue().compareTo(t1.getValue());
     }
});
List transactionIds = new ArrayList<>();
for(Transaction t: groceryTransactions){
     transactionsIds.add(t.getId());
}

而在java8中使用Stream，代码更加简洁易读，而且使用并发模式，程序执行速度更快。

List transactionsIds = transactions.parallelStream().
  filter(t - > t.getType() == Tranusaction.GROCERY).
  sorted(comparing(Transaction :: getBalue).reversed()).
  map(Transaction::getId).
collect(toList());

---

Stream 什么是流

Stream不是集合元素，它不是数据结构并不保存数据，他是有关算法和计算的，更像一个高级版本的Iterator.原始版本的Iterator，用户只能显式地一个一个遍历元素并对其执行某些操作；高级版本的Stream，用户只要给出需要对其包含的元素执行什么操作。比如“过滤掉长度大于10的字符串”，“获取每个字符串的首字母”等，Stream会隐式的在内部进行遍历，做出相应的数据转换。

Stream就如果一个迭代器（Iterator），单向，不可往复，只能遍历一次，遍历一次后即用尽了，就好比流水从面前流过，一区不复返

而和迭代器又不同的是，Stream可以并行化操作，Stream的并行操作依赖于jdk1.7引入的Fork/Join框架来拆分任务和加速处理过程。

流的构成

当我们使用一个流的时候，通常包括三个基本步骤：

• 获取一个数据源(Source)
• 数据转换
• 执行操作获取想要的结果

每次转换原有Stream对象不改变，返回一个新的Stream对象，这就允许对其操作可以像链条一样排列，变成一个管道。如下图所示。

图1：流管道的构成

有多种方式生成Stream Source：

从Collection和数组

• Collection.stream()
• Collection.parallelStream()
• Arrays.stream(T array) or Stream.of()

从BufferedReader

• java.io.BufferedReader.lines()

静态工厂

• java.util.stream.IntStream.range()
• java.nio.file.Files.walk()

自己构建

• java.util.Spliterator

其他

• Random.ints()
• BitSet.stream()
• Pattern.splitAsStream(java.lang.CharSequence)
• JarFile.stream()

流的操作类型分为两种

• Intermediate
• Terminal

Intermediate:一个流后面可以跟随0个或多个intermediate操作。其主要目的是打开流，做出某种程度的数据映射/过滤，然后返回一个新的流，交给下一个操作使用。这类操作都是惰性化的(lazy),也就是说，仅仅调用这类方法，并没有真正开始流的遍历。

Terminal:一个流只能有一个terminal操作，当这个操作执行后，流就被使用“光”了。无法再被操作。所以这必定是流的最后一个操作。Terminal操作的执行，才会真正开始流的遍历，并且会生成一个结果，或者一个side effect。

还有另一种操作被称为short-circuiting 用以指：

• 对于一个 intermediate 操作，如果它接受的是一个无限大（infinite/unbounded）的 Stream，但返回一个有限的新 Stream。
• 对于一个 terminal 操作，如果它接受的是一个无限大的 Stream，但能在有限的时间计算出结果。

当操作一个无限大的 Stream，而又希望在有限时间内完成操作，则在管道内拥有一个 short-circuiting 操作是必要非充分条件。

我们可以这样简单的理解，Stream里有个操作函数的集合，每次转换操作就是把转换函数放入这个集合中，在Terminal操作的时候循环Stream对应的函数集合，然后对每个元素执行所有的函数。

一个流的操作示例

  int sum = widgets.stream().
         filter(w -> w.getColor() == RED).
         mapToInt(w -> w.getWeight()).
         sum();

stream() 获取当前widgets的source，filter和mapToInt为intermediate操作，进行数据筛选和转换，最后一个sun()为terminal操作，对符合条件的全部widget做重量（weight）的求和。

---

流的使用详解

简单说，对Stream的使用就是实现了一个filter-map-reduce过程，产生一个最终的结果，或者导致以个副作用（side effect）【此处暂未理解】

流的构造与转换

构造流的几种常见方法

      /*Stream 初始化的几种方式*/
       Stream stream = Stream.of("a","b","c");

       /*Arrays*/
       String[] strArray = new String[]{"a","b","c"};
       stream = Stream.of(strArray);
       stream = Arrays.stream(strArray);

       /*Collection*/
       List list = Arrays.asList(strArray);
       stream = list.stream();

对于基本数值型，目前有三种对应的包装类型Stream:

• IntStream (Stream)
• LongStream (Stream)
• DoubleStream (Stream)

但是装箱和拆箱会很耗时，所以特别为这三种基本数值型提供了对应的Stream。

数值流的构造

        /*Array*/
        String[] strArray1 = (String[]) stream.toArray(String[]::new);
        /*Collection*/
        List list1 = (List) stream.collect(Collectors.toList());
        List list2 = (List) stream.collect(Collectors.toCollection(LinkedList::new));
        Set set = (Set) stream.collect(Collectors.toSet());
        Stack stack = (Stack) stream.collect(Collectors.toCollection(Stack::new));
        /*String*/
        String str = stream.collect(Collectors.joining()).toString();
        /*一个 Stream 只可以使用一次，上面的代码为了简洁而重复使用了数次。*/

流的操作

接下来，当把一个数据结构包装成Stream后，就要开始对立面的元素进行各类的操作了。常见的操作可以归类如下。

• Intermediate:
  map(mapToInt,flatMap等)、filter、distinct，sorted、peek、limit、skip、parallel、sequential、unordered
• Terminal
  forEach、forEachOrdered、toArray、reduce、collect、min、max、count、anyMatch、allMatch、noneMatch、findFirst、findAny、iterator
• Short-circuiting:
  anyMatch、allMatch、noneMatch、findFirst、findAny、limit

---

下面看一下Stream的比较典型的用法。

map/flatMap的作用就是把input Stream的每一个元素，映射成output Stream的另外一个元素。
转换大写

List output = wordList.stream().
  map(String::toUpperCase).
  collect(Collectors.toList());

平方数

    List nums = Arrays.asList(1,2,3,4);
    List result = nums.stream().
                map(n -> n * n).
                collect(Collectors.toList());

从上面例子可以看出，map生成的是个1:1的映射，每个输入元素，都按照规则转换成为另外一个元素。还有一些场景，是一对多的映射关系的。这时需要flatMap

一对多映射

 Stream> inputStream = Stream.of(
                Arrays.asList(1),
                Arrays.asList(2,3),
                Arrays.asList(4,5,6));
  Stream outputStream = inputStream.
                flatMap(Collection::stream);

flatMap把inputStream中的层级结构扁平化，就是将最底层元素抽出来放到一起，最终output的心Stream里面已经没有list了 都是直接的数字。

---

filter对原始Stream进行某项测试，通过测试的元素被留下来生成一个新的Stream。
留下偶数

 Integer[] sixNums = {1,2,3,4,5,6};
 Integer[] evens = Stream.of(sixNums).
                filter(n -> n%2 == 0).
                toArray(Integer[]::new);

把单词挑出来

 BufferedReader reader = new BufferedReader(new ASCIIReader(null,null,null));
        List output1 = reader.lines().
                flatMap(line -> Stream.of(line.split(","))).
                filter(word -> word.length() > 0).
                collect(Collectors.toList());

这段代码首先把每行的单词用 flatMap 整理到新的 Stream，然后保留长度不为 0 的，就是整篇文章中的全部单词了。

---

forEach
forEach 方法接收一个lambda表达式，然后在每个元素上执行该表达式。
打印姓名 （java8 和之前版本对比）

  List personList = new LinkedList<>();
        /*java8*/
        personList.stream().
                filter(p -> p.getGender() == 0).
                forEach(System.out::println);
        /*java8 之前*/
        for (Person person : personList) {
            if(person.getGender() == 0) {
                System.out.println(person.getName());
            }
        }

对于一个人员集合遍历，找出男性并打印。可以看出来，forEach是为lambda而设计的，保持了最紧凑的风格。而且lambda 表达式本身是可以重用的，非常方便。当需要为多核系统优化时，可以parallelStream().forEach(),只是此时原有元素的次序没法保证，并行的情况下将改变串行时操作的行为，此时forEach本身的实现不需要调整，而java8以前的for循环code可能需要加入额外的多线程逻辑。

但一般认为，forEach和常规的for循环的差异不涉及到性能，他们仅仅是函数式风格与传统java风格的差别。

另外一点需要注意，forEach是Terminal操作，因此它执行后，Stream的元素就被“消费”掉了，你无法对一个Stream进行两次Terminal运算。例如下面的代码是错误的。

stream.forEach(element -> doOneThing(element));
stream.forEach(element -> doAnotherThing(element));

相反，具有相似功能的intermediate操作peek可以达到上述目的，如下是出现在该API javadoc上的一个示例。
peek对每个元素执行操作并返回一个新的Stream

   Stream.of("one","two","three","four","five").
                filter(x -> x.length() >3).
                peek(x -> System.out.println("filtered value:"+x)).
                map(String::toUpperCase).
                peek(x -> System.out.println("Mapped value:"+x)).
                collect(Collectors.toList());

forEach 不能修改自己包含的本地变量值，也不能用 break/return 之类的关键字提前结束循环。

---

findFirst
这是一个terminal 兼short-circuiting操作，他总是返回Stream的第一个元素，或者空。

这里的比较重点是它的返回值类型：Optional。这也是一个模仿Scala语言中的概念，作为一个容器，他可能含有某值，或者不包含。使用它的目的是尽可能避免 NullPointException。
Optional的两个用例

   public static void print(String text){
    /*Java8*/
        Optional.ofNullable(text).ifPresent(System.out::println);
        /*Java8 之前版本*/
        if(text != null) {
            System.out.println(text);
        }
    }

    public static int getLength(String text) {
        /*Java8*/
        return Optional.ofNullable(text).map(String::length).orElse(-1);
        /*Java8之前*/
//        return text != null ? text.length() : -1;
    }

      String strA = " abcd ",strB = null;
        print(strA);
        print("");
        print(strB);
        System.out.println(getLength(strA));
        System.out.println(getLength(""));
        System.out.println(getLength(strB));

在更复杂的if(xx != null )的情况中，使用Optional代码的可读性更好，而且它提供的是编译时检查，能极大地降低NullPointException 对程序的影响，或者迫使程序员更早的在编码阶段处理空值的问题，而不是留到运行时在发现和调试。

Stream中的findAny、max/min、reduce等方法等返回Optional值。还有例如IntStream.average() 返回OptionalDouble等等。

---

reduce

这个方法的主要作用是把Stream元素组合起来。它提供了一个起始值（种子），然后依照运算规则，和前面的Stream的第一个、第二个、第n个元素组合。从这个意义上说，字符串拼接、数值的sum、min、max、average都是特殊的reduce。例如Stream的sum就相当于

        Integer sum = Stream.of(1,2,3,4,5).reduce(0,(a,b) -> a+b); 或
        Integer sum1 = Stream.of(1,2,3,4,5).reduce(0,Integer::sum);

也有没有起始值的情况，这时会把Stream的前面两个元素组合起来，返回的是Optional。
reduce的用例

        /*字符串连接，concat = "ABCD"*/
        String concat = Stream.of("A","B","C","D").
                  reduce("",String::concat);
        /*求最小值，minValue = - 3.0*/
        double minValue = Stream.of(-1.5,1.0,-3.0,-2.0).
                  reduce(Double.MAX_VALUE,Double::min);
        /*求和，sumValue = 10 有起始值*/
        int sumValue = Stream.of(1,2,3,4).reduce(0,Integer::sum);
         /*求和，sumValue = 10 无起始值*/
         sumValue = Stream.of(1,2,3,4).reduce(Integer::sum).get();
         /*过滤，字符串连接，concat = "ace"*/
         concat = Stream.of("a","B","c","D","e","F").
                 filter(x -> x.compareTo("Z")> 0).
                 reduce("",String::concat);

上面代码例如第一个示例的reduce(),第一个参数（空白字符）即为起始值，第二个参数(String::concat)为BinaryOperator。这类有起始值的reduce() 都返回具体的对象。而对于第四个示例没有起始值的reduce(),由于可能没有足够的元素，返回的是Optional，请留意这个区别。

---

limit/skip

limit返回Stream的前面n个元素；skip则是扔掉前n个元素（它是由一个叫subStream的方法改名而来）。
limit和skip对运行次数的影响

/*limit和skip对运行次数的影响*/
    public static void testLimitAndSkip() {
        List persons = new LinkedList<>();
        for(int i = 0 ;i <10000 ;i++) {
            Person person = new Person();
            person.setGender(1);
            person.setName("name"+i);
            persons.add(person);
        }

       persons.stream().map(Person::getName).
               limit(10).skip(3).collect(Collectors.toList()).
               forEach(System.out::println);

输出结果为：

输出结果

这是一个由10000个元素的Stream 但在short-circuting操作limit和skip的作用下，管道中map操作指定的getName方法的执行次数为limit所限定的10次，而最终返回结果在跳过前三个元素后，只有7个返回。

有一种情况是limit/skip无法达到short-circuiting目的的，就是把它们放在Stream的排序操作后，原因跟sorted这个intermediate操作有关，此时系统并不知道Stream破爱徐厚的次序如何，所以sorted中的操作看上去就像完全没有被limit或者skip一样。即sorted之后加了limit 其实还是所有数据都会遍历的。

limit 和 skip 对 sorted 后的运行次数无影响

   List list = persons.stream().
                sorted(Comparator.comparing(Person::getName)).
                limit(2).collect(Collectors.toList());
   System.out.println(JSONObject.toJSONString(list));

最后有一点需要注意的是，对一个parallel的Stream管道来说没如果其元素是有序的，那么limit操作，那么limit的操作的成本会比较大，因为它的返回对象必须是前n个也有一样次序的元素。取而代之的策略是取消元素间的次序，或者不要用parallel Stream。

---

sorted

对Stream 的排序通过sorted进行，它比数组的排序更强大之处在于你可以首先对Stream进行各类map、filter、limit、skip甚至distinct来减少元素数量后，在排序，这能帮助程序明显缩短执行时间。

 persons.stream().
                sorted(Comparator.comparing(Person::getName)).
                limit(2).collect(Collectors.toList());

---

min/max/distinct

min和max的功能也可以通过对Stream元素先排序，再findFirest来实现，但前者性能会更好，为O(n) 而sorted的成本是O(nlogn).同时它们作为特殊的reduce方法被独立出来也是因为求最大值最小值是很常见的操作。

找出最长的一行长度

        BufferedReader br = new BufferedReader(new FileReader("D:\\data.log"));
        int longest = br.lines().mapToInt(String::length).max().orElse(0);
        br.close();
        System.out.println(longest);

找出全文的单词，转小写，并排序

        List words = br.lines().
                flatMap(line ->Stream.of(line.split(" "))).
                filter(word -> word.length() > 0).map(String::toLowerCase).
                distinct().sorted().collect(Collectors.toList());
        br.close();
        System.out.println(words);

---

Match

Stream 有三个match方法，从语义上说：

• allMatch：Stream中全部元素符合传入的predicate，返回true
• anyMatch：Stream中只要有一个元素符合传入的predicate，返回true
• noneMatch：Stream中没有一个元素符合传入的predicate，返回true

它们都不需要遍历全部元素。例如allMatch只要一个元素不满足条件。就skip剩下的所有元素，返回false。
检测名称编号大于3的

/*检测名称编号大于3的*/
        List persons = new LinkedList<>();
        persons.add(new Person(0,"name1"));
        persons.add(new Person(0,"name2"));
        persons.add(new Person(0,"name3"));
        persons.add(new Person(0,"name4"));
        persons.add(new Person(0,"name5"));

        boolean isAllMoreThan3 = persons.stream().
                allMatch(p -> p.getName().compareTo("name3") > 0);
        System.out.println("All more than 3 ? " + isAllMoreThan3);
        boolean isAnyMoreThan3 = persons.stream().
                anyMatch(p -> p.getName().compareTo("name3") >0);
        System.out.println("Is there any more than 3? " + isAnyMoreThan3);

---

进阶：字节生成流

Stream.generate

通过实现Supplier接口，你可以自己来控制流的生成，这种情形通常用于随机数、常量的Stream，或者需要前后元素间的维持着某种状态信息的Stream。把Supplier实例传递给Strteam.generate()生成Stream，默认都是串行（相对于parallel而言）但无序的（相对于ordered而言）。由于它是无限的，在管道中，必须利用limit之类的操作限制Stream大小。

使用Supplier生成10个随机整数

   Random seed = new Random();
        Supplier random = seed::nextInt;
        Stream.generate(random).limit(10).
                forEach(System.out::println);
        /*Another way*/
        IntStream.generate(() -> (int)(System.nanoTime()%100)).
                limit(10).forEach(System.out::println);

Stream.generate()还接受自己实现的Supplier 。例如在构造海量测试数据的时候，用某种自动的规则给每一个变量赋值；或者依据公式计算Stream的每个元素值。

自实现Supplier

   Stream.generate(new PersonSupplier()).limit(10).
                forEach(p -> System.out.println(p.getName()));
  private  class PersonSupplier implements Supplier{
        private int index = 0;
        private Random random = new Random();
        @Override
        public Person get() {
            return new Person(index++,"name"+random.nextInt(100));
        }
    }

输出结果：

输出结果

---

Stream.iterate

iterate跟reduce操作很像，接受一个种子值，和一个UnaryOperator(例如f)。然后种子值称为Stream的第一个元素，f(seed)为第二个，f(f(seed))第三个，以此类推。

使用iterate生成一个等差数列

  Stream.iterate(0, m -> m+3).limit(10).forEach(System.out::println);

与Stream.generate相仿，在iterate时候管道必须有limit这样的操作来限制Stream的大小。

---

进阶：用Collectors来进行reduction操作

java.util.stream.Collectors类主要作用就是辅助进行各类有用的reduction操作，例如转变输出为Collection，把Stream元素进行归组。

groupingBy/partitioningBy

按照姓名归组

 Map> personGroups = Stream.generate(new PersonSupplier()).
                limit(100).collect(Collectors.groupingBy(Person::getName));

上面的代码，首先生成100人的信息，然后按照姓名归组，相同姓名的人放到同一个list（由于姓名都是不同的，所以每个person会存在一个key中）。

按照指定条件归组,将name10作为分界

 Map> children = Stream.generate(new PersonSupplier()).
            limit(20).collect(Collectors.partitioningBy(person -> 
            person.getName().compareTo("name10") > 0));

在使用条件 person.getName().compareTo("name10") > 0进行分组后可以看到，小于name10的十一组，大于name10的是另外一组。partitioningBy其实是一种特殊的groupingBy，它依照条件测试的是否两种结果来构造返回的数据结构，get(true)和get(false)能即为全部的元素对象。

---

结束语

总之Stream的特性可以归纳为：

• 不是数据结构
• 他没有内部存储，它只是用操作管道从source(数据结构，数组、generator function、IO channel)抓取数据。
• 它也绝不修改自己所封装的底层数据结构的数据。例如Stream的filter操作会产生一个不包含被过滤元素的心Stream，而不是从source删除那些元素。
• 所有的Stream的操作必须以lambda表达式为参数
• 不支持索引访问
• 可以请求第一个元素，但无法请求第二个第三个或最后一个元素。
• 很容易生成数组或者List
• 惰性化
• 很多Stream操作是向后延迟的，一直到它弄清楚了最后需要多少数据才会开始。
• Intermediate操作永远是惰性化的。
• 并行能力
• 当一个Stream是并行化的，就不需要写多线程代码，所有对它的操作会自动并行进行。
• 可以是无限的。集合有固定大小，Stream则不必。limit(n)和findFirst()这类short-circuting操作可以对无限的Stream进行运算并很快完成。

示例中源码下载