互联互通社区
互联互通社区

主流大数据技术总结

  • 数据量不断增加，企业需要灵活快速地处理这些数据。
  • 处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。
  • 开源软件的成功使得大数据技术得以兴起。

    • 互联网技术的发展让大多数企业能够积累大量的数据，而企业需要灵活快速地从这些数据中提取出有价值的信息来服务用户或帮助企业自身决策。然而处理器的主频和散热遇到了瓶颈，CPU难以通过纵向优化来提升性能，所以多核这种横向扩展成为了主流。也因此，开发者需要利用多核甚至分布式架构技术来提高企业的大数据处理能力。这些技术随着开源软件的成功而在业界得到广泛应用。

    主流大数据技术总结_第1张图片

    下面我稍微介绍一些大数据应用中通常出现的一些原理或者说是特征。

    基本原理

    分布式：将数据分布到不同的节点（机器），从而存储大量的数据。而分布式同时为并行读写和计算提供了基础，这样就能提高数据的处理能力。

    为什么不直接使用分布式的关系型数据库，比如主从模式的mysql？这主要是效率的问题。分布式关系型数据库为了实现分布式事务、线性一致性、维护自身索引结构等功能会对性能造成影响。而正如刚刚背景所提到，大数据需求重点是快速处理大量数据，帮助用户和企业的决策。这个决策就包括推荐、监控、数据分析等。这些场景并不一定需要数据库这种严格的约束，是OLAP而非OLTP。所以大数据技术会通过解除这些限制而提升性能。

    除了分布式外，还可以利用

  • 批量处理：单位是上百MB的数据块而非一条条数据，这样在数据读写时能够整体操作，减少IO寻址的时间消耗。
  • 最终线性一致性：大数据技术很多都放弃线性一致性，这主要是跨行/文档（关系型模型叫行，文档型模型叫文档）时非原子操作，在一行/一个文档内还是会做到原子的。为了读写性能而允许跨行/文档出现读写延迟。
  • 增加数据冗余：规范化的数据能够减少数据量，但在使用时需要关联才能获得完整数据，而在大数据下进行多次关联的操作是十分耗时的。为此，一些大数据应用通过合并宽表减少关联来提高性能。
  • 列式存储：读取数据时只读取业务所关心的列而不需要把整行数据都取出再做进行截取，而且列式的压缩率更高，因为一列里一般都是同类的数据。

    • 可靠性相关

  • 副本：大数据存储通常都会有副本设置，这样即便其中一份出现丢失，数据也能从副本找到。
  • 高可用：大数据应用通常都会考虑高可用，即某个节点挂了，会有其他的节点来继续它的工作。

    • 由于这个分享会的标题起得有点大，包括存储、搜索、计算三大块，而且篇幅有限，所以我就只根据这三块中我了解且比较流行的开源组件来分享，而且只讲解大概的原理。毕竟下面的每个组件的原理和实战都可以各自出一本五六百页的书了，而且还没涉及源码细节的。下面首先来介绍分布式文件系统，就是把我们单台计算机的文件系统扩展到多台。

    HDFS（Hadoop Distributed File System）

    架构原理

    主流大数据技术总结_第2张图片

    图中有8台机器或者容器，两个client、5个DataNode、1个NameNode。一个分布式文本系统，组成：NameNode、DataNode和secondary namenode

  • NameNode：作为master，管理元数据，包括文件名、副本数、数据块存储的位置，响应client的请求，接收workers的heartbeating和blockreport。
  • DataNode：管理数据（data block，存储在磁盘，包括数据本身和元数据）和处理master、client端的请求。定期向namenode发送它们所拥有的块的列表。
  • secondary namenode：备用master
  • Block：默认128MB，但小于一个block的文件只会占用相应大小的磁盘空间。设置100+MB是为了尽量减少寻址时间占整个数据读取时间的比例，但如果block过大，又不适合数据的分散存储或计算。将数据抽象成block，还有其他好处，比如分离元数据和数据的存储、存储管理（block大小固定方便计算）、容错等。

    • 读写流程

    主流大数据技术总结_第3张图片

    写入：client端调用filesystem的create方法，后者通过RPC调用NN的create方法，在其namespace中创建新的文件。NN会检查该文件是否存在、client的权限等。成功时返回FSDataOutputStream对象。client对该对象调用write方法，这个对象会选出合适存储数据副本的一组datanode，并以此请求DN分配新的block。这组DN会建立一个管线，例如从client node到最近的DN_1，DN_1传递自己接收的数据包给DN_2。DFSOutputStream自己还有一个确认队列。当所有的DN确认写入完成后，client关闭输出流，然后告诉NN写入完成。

    主流大数据技术总结_第4张图片

    读取：client端通过DistributedFileSystem对象调用open方法，同样通过RPC调用远程的NN方法获取所要查询的文件所涉及的blocks所存储的DN位置，而且这些位置是按照距离排序的。返回的结果是一个FSDataInputStream对象，对输入流对象调用read方法。输入流会从距离最近的DN中读取数据，将数据传递到client，读取结束后关闭流。

    这个机制看上去是很笨重的，有了这个分布式文件系统的基础，其他组件就能利用这个系统提供的 API 来对数据的存储进行优化。在介绍下一个组件前，先对主要的主键索引作简单的介绍。

    索引

    类型

    哈希SSTables/LSM树BTree/B+Tree大致原理数据结构：哈希表。内存：有序集合，例如红黑树、平衡二叉树、跳跃表。
    磁盘：一个个独立文件，里面包含一个个数据块。
    写入：内存维护一个有序集合，数据大小达到一定阈值写入磁盘。后台会按照特定策略合并segment。读取：先查询内存，然后磁盘中的最新segment，然后第二新，以此类推。数据结构：平衡多叉树。写入：通过二分查找找到相应的叶子结点进行修改。读取：同上。优势适合数据经常更新写入快，顺序读取快，容易压缩读取快，更时间可控劣势必须存储在内存；范围查询效率低随机读取，读取旧数据较慢写入较慢涉及数据库Mysql、RedisMongoDB、Elasticsearch、HBaseMysql、MongoDB

    主要的主键索引有哈希、LSM、BTree。下面主要涉及到LSM树，所以哈希和BTree这里就不多说了。LSM树有内存和磁盘两个部分....，以跳跃表为例，大致的模型如下图

    主流大数据技术总结_第5张图片

    内存的 MemStore 是一个有序集合，数据写入会先写入这里，当大小达到阈值就会 flush 到磁盘。而后台会有程序按一定策略对这些文件进行合并。合并的原因有：减少小文件，进而减少读取时IO来提升读性能。数据合并，比如图中第二个file有数据a，但现在客户端发送请求要把它删掉或进行修改，如果每次删改都要把数据找到再调整，就会有大量的磁盘IO，所以这些操作一般只做标记，等到后续文件合并时才真正对数据进行修改。还有一个原因是调整排序，因为flush后数据只在file内部有序，合并能够调整整体排序。正因为这种结构，所以LSM的写入是很快的，范围读取也快，因为数据已经有序。而为了保证不读取到旧版本的数据，所以读取需要从最新的开始遍历，这也导致读取旧数据的效率较低。当然，这里面还能优化，但细节就不说了。

    HBase

    简介

    HBase 就是基于 HDFS API 构建的一个可以在线低延迟访问大数据的NoSQL数据库。本质上就是给 HDFS 加上一个 LSM Tree 索引，从而提高读写性能。当然，即便优化了，这个高性能也是相对大数据量而言。实际上“HBase并不快，只是当数据量很大的时候它慢的不明显”。由于是 NoSQL 数据库，所以它有文档型数据库的弱项，即基本不支持表关联。

    特点

  • 适合：
    • 数据量大，单表至少超千万。对稀疏数据尤其适用，因为文档型数据库的 null 就相当于整个字段没有，是不需要占用空间的。
    • 高并发写入，正如上面 LSM 树所说。
    • 读取近期小范围数据，效率较高，大范围需要计算引擎支持。
    • 数据多版本
  • 不适合：
    • 小数据
    • 复杂数据分析，比如关联、聚合等，仅支持过滤
    • 不支持全局跨行事务，仅支持单行事务

    场景

  • 对象存储：新闻、网页、图片
  • 时序数据：HBase之上有OpenTSDB模块，可以满足时序类场景的需求
  • 推荐画像：特别是用户的画像，是一个比较大的稀疏矩阵，蚂蚁的风控就是构建在HBase之上
  • 消息/订单等历史数据：在电信领域、银行领域，不少的订单查询底层的存储，另外不少通信、消息同步的应用构建在HBase之上
  • Feeds流：典型的应用就是xx朋友圈类似的应用

    • 更多适用场景可以根据HBase的特点判断

    架构原理

    主流大数据技术总结_第6张图片

    这里大概有10台机器或节点，5个DataNode、两个RegionServer、一个Client、Master、ZooKeeper

  • Client：发送DML、DDL请求，即数据的增删改查和表定义等操作。
  • ZooKeeper（类似微服务中的注册中心）
    • 实现Master的高可用：当active master宕机，会通过选举机制选取出新master。
    • 管理系统元数据：比如正常工作的RegionServer列表。
    • 辅助RS的宕处理：发现宕机，通知master处理。
    • 分布式锁：方式多个client对同一张表进行表结构修改而产生冲突。
  • Master
    • 处理 client 的 DDL 请求
    • RegionServer 数据的负载均衡、宕机恢复等
    • 清理过期日志
  • RegionServer：处理 client 和 Master 的请求，由 WAL、BlockCache 以及多个 Region 构成。
    • Store：一个Store存储一个列簇，即一组列。
    • MemStore和HFile：写缓存，阈值为128M，达到阈值会flush成HFile文件。后台有程序对这些HFile进行合并。
    • HLog（WAL）：提高数据可靠性。写入数据时先按顺序写入HLog，然后异步刷新落盘。这样即便 MemoStore 的数据丢失，也能通过HLog恢复。而HBase数据的主从复制也是通过HLog回放实现的。
    • BlockCache
    • Region：数据表的一个分片，当数据表大小达到一定阈值后会“水平切分”成多个Region，通常同一张表的Region会分不到不同的机器上。

    读写过程

    主流大数据技术总结_第7张图片

  • client 根据待写入数据的主键（rowkey）寻找合适的 RegionServer 地址，如果没有符合的，就向 zookeeper 查询存储HBase元数据表的 RegionServer 地址。
  • client 从第一步找到的 RegionServer 查询HBase元数据表，找出合适的写入地址。
  • 将数据写入对应的 RegionServer 的 Region。

    • 写入和读取的流程类似。

    ElasticSearch

    简介

    Elastic Stack 是以 Elasticsearch 为中心开发的一组组件，其中Kibana、Logstash、Beats使用较多。

    Beats 是用 GO 实现的一个开源的用来构建轻量级数据汇集组件，可用于将各种类型的数据发送至 Elasticsearch 与 Logstash。

    Logstash：流入、流出 Elasticsearch 的传送带。其他MQ或计算引擎也可以导入ES。

    利用 Logstash 同步 Mysql 数据时并非使用 binlog，而且不支持同步删除操作。

    Kibana 是 ES 大数据的图形化展示工具。集成了 DSL 命令行查看、数据处理插件、继承了 x-pack（收费）安全管理插件等。

    Elasticsearch 搜索引擎，它并不是基于 HDFS 建立的，而是自己实现了分布式存储，并通过各种索引和压缩技术来提高搜索的性能。当然，它作为文档型数据库，其在内存组织数据的方式也是类似LSM树的。

    特点

  • 适合：
    • 全文检索，like "%word%"
    • 一定写入延迟的高效查询
    • 多维度数据分析
  • 不合适：
    • 关联
    • 数据频繁更新
    • 不支持全局跨行事务，仅支持单行事务

    场景

  • 数据分析场景
  • 时序数据监控
  • 搜索服务

    • 框架原理

    主流大数据技术总结_第8张图片

    Cluster

    Node：JVM进程

  • Master：主要负责集群中索引的创建、删除以及数据的Rebalance等操作。
  • Data：存储和检索数据
  • Coordinator：请求转发和合并检索结果
  • Ingest：转换输入的数据

    • Index：一组形成逻辑数据存储的分片的集合，数据库

    Shard：Lucene 索引，用于存储和处理 Elasticsearch 索引的一部分。

    Segment：Lucene 段，存储了 Lucene 索引的一部分且不可变。结构为倒排索引。

    Document：条记录，用以写入 Elasticsearch 索引并从中检索数据。

    增删改查原理

    主流大数据技术总结_第9张图片
    主流大数据技术总结_第10张图片

    Update = Delete + (Index - Ingest Pipeline）

    主流大数据技术总结_第11张图片

    细节补充

    倒排索引

    主流大数据技术总结_第12张图片

    一般正向的就是通过文档id找相应的值，而倒排索引则是通过值找文档id。通过倒排这种结构，判断哪些文档包含某个关键词时，就不需要扫描所有文档里面的值，而是从这个关键词列表中去搜索即可。而频率主要是用来计算匹配程度的，默认使用TF-IDF算法。

    为什么全文检索中 ES 比 Mysql 快？

    Mysql 的辅助索引对于只有一个单词的字段，查询效率就跟 ES 差距不大。

    select field1, field2
    from tbl1
    where field2 = a
      and field3 in (1,2,3,4)
    这里如果 field2 和 field3 都建立了索引，理论上速度跟 es 差不多。es最多把 field2 和 field3 concat 起来，做到查询时只走一次索引来提高查询效率。

    但如果该字段是有多个单词，那么缺乏分词的 Mysql 就无法建立有效的索引，且查询局限于右模糊，对于“%word%”的搜索效率是极低的。而 ES 通过分词，仍然可以构建出 term dictionary。

    主流大数据技术总结_第13张图片

    然而 Term Dictionary 和 Position 加起来是很大的，难以完全存储在内存。因此，在查找 Term Dictionary 的过程会涉及磁盘IO，效率就会降低。为此，Luence 增加了 term index。这一层通过 Lucene 压缩算法，使得整个 Term Index 存储在内存成为可能。搜索时在内存找到相应的节点，然后再到 Term Dictionary 找即可，省去大量磁盘IO。

    内存消耗大

    ES 之所以快，很大程度是依赖 Lucene 的缓存以及缓存中的索引结构。而这些缓存只有被预先加载到内存才能做到快速的响应，查询没有被加载的数据通常都是比较慢的，这是 ES 需要大量内存的原因之一。所以有人建议 ES 仅作为内存索引库，即与where、group by、in、sort等过滤、聚合相关的才存储到 ES，而且其他字段并不能帮助查询，只会浪费内存空间。而查询得出的id将返回通过 Mysql 或者 Hbase 进行第二次的查询。由于是主键的搜索，所以不会耗费太多时间。

    而 ES 由于给了大部分内存到 Lucene 缓存，那自己聚合计算时用的内存空间就很有限了，这也是 ES 需要大量内存的原因。

    目前触漫 ES 情况

    刚刚起步，仅仅作为优化部分慢sql查询的解决方案。而 ES 更强大的准实时数据分析、文本搜索功能并没有开发。这其中有涉及到搜索优化（排序规则、分词等）、Kibana可视化、数据冷热分离、各种配置等，所以是需要一定的人力去学习和调试才能发挥它的潜能。

    从上面的介绍我们可以知道，ES 是不支持关联的，而且聚合计算的资源很有限。那这时就用到计算引擎了。

    计算引擎

    计算引擎目前主流的两个开源组件分别是 Spark 和 Flink。从两个引擎的处理模型来看，Spark 的批处理更为高效，Flink 则善于流处理，尽管两者都向着流批一体化的方向发展。当然，只要对弱项做优化还是可以跟另一方未做太多优化的强项比的，只是实现难度大些和效果上限可能略低。比如 Blink，阿里内部的 Flink，其 ML 模块经过优化，在大部分常用模型的计算效率都能高于开源的 Spark 的。如果开源 Spark 也经过阿里那样深度的优化，两者的差距就难说了。

    简单提一下他们的特点

  • 适合：大批量数据的灵活计算，包括关联、机器学习、图计算、实时计算等。
  • 不适合：小量数据的交互式计算。

    • Spark

    下面首先介绍 Spark，它是一个用于大规模数据处理的统一分析引擎，其内部主要由 Scala 实现。Spark 当初引起关注主要是它与 Hadoop 的三大件之一的 MapReduce 之间的比较。Hadoop 的三大组件包括 HDFS、Yarn 和 MapReduce。他们三个都是可以拆分开来单独使用的。比如 Yarn 作为资源调度系统，传统 Spark 和 Flink 都会借助它的功能实现任务的调度。而 MapReduce 作为计算引擎，其计算速度当时是弱于 Spark 的，主要是 Spark 减少了不必要的磁盘IO；增加迭代计算功能，从而更好支持机器学习；引入了一些自动优化功能。另外，Spark 广泛的语言支持、API 更强的表达能力等优点都让 Spark 在当时的离线计算领域中超越 MapReduce。

    功能丰富

    4大场景：Spark 的高层组件包括Spark SQL、Spark Streaming、Spark ML、GraphX。他们都是通过底层组件为 Spark Core 实现具体功能的。但是在使用 Spark 的时候，尽量是不要使用 Spark Core，因为高层组件的产生的 Spark Core一般会更高效，因为Spark做了不少优化，具体后面再说。

    多种语言：支持 Java、Python、R 和 Scala 来编写应用代码。

    多种部署模式：本地、独立部署、Mesos、Yarn、K8S

    多种数据源：HDFS、HBase、Hive、Cassandra、Kafka等

    架构原理

    主流大数据技术总结_第14张图片

    Driver 是启动 Spark 作业的JVM进程，它会运行作业（Application）里的main函数，并创建 SparkContext 对象。这个 SparkContext 里面包含这次 Spark 计算的各种配置信息。Spark 通过它实现与 Cluster Manager 通信来申请计算资源。这里的 Cluster Manager，在生产环境一般是 Mesos、Yarn 或者 K8s。这些 Manager 根据其管理的集群情况，给这个 Spark 任务分配相应的容器container，在容器中启动 executor 进程。这些启动后的 executor 会向 Driver 注册，之后 Driver 就可以把它根据用户计算代码生成出的计算任务task发送给这些 executor 执行。计算结束后，结果可能输出到 Driver，也可能输出到当前 executor 的磁盘，或者其他存储。

    作业例子

     
 
       
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
 
     
 
    object SparkSQLExample {  def main(args: Array[String]): Unit = {        // 创建 SparkSession，里面包含 sparkcontext    val spark = SparkSession      .builder()      .appName("Spark SQL basic example")      .getOrCreate()    import spark.implicits._    // 读取数据    val df1 = spark.read.load("path1...")    val df2 = spark.read.load("path2...")    // 注册表    df1.createOrReplaceTempView("tb1")    df2.createOrReplaceTempView("tb2")    // sql    val joinedDF = sql(      """        |select tb1.id, tb2.field        |from tb1 inner join tb2        |on tb1.id = tb2.id      """.stripMargin)    // driver 终端显示结果    joinedDF.show()    // 退出 spark    spark.stop()  }}
     
 
    SQL会经过一层层的解析然后生成对应的 Java 代码来执行。
     
 
     
  
     
   
     
    主流大数据技术总结_第15张图片 
   
     
  
     
  
     
 
     
 
    计算引擎的优势
     
 
    与 HBase、 es 和传统数据库查询比较，计算引擎的优势：1）数据量大时速度快，2）计算更加灵活。
     
 
    以大数据关联为例：
     
 
     
 
  • 文档型数据库：大部分都不支持关联，因为效率低。关联基本都要全文档扫描。因为文档是 schemaless 的，并不确定某个文档是否有关联所需字段。而且个文档的读取都是整个对象的读取，并不会只读某个字段来减少内存开销。另外，这两个组件在内存中本身就有各自的数据结构来服务读写，所以额外的内存用于这类大开销计算也是不现实的。因此，HBase 本身只支持简单的过滤，不支持关联。ES 即便支持过滤、聚合，但依然不支持关联。
    •  
 
  • 传统关系型数据库：可以完成较大数据关联，然而效率低，这主要是受到其大量的磁盘 IO、自身服务（读写、事务等、数据同步）的干扰。在真正大数据情况下，这关联还涉及数据在不同机器的移动，数据库需要维持其数据结构，如 BTree，数据的移动效率较低。
    •  
 
  • 计算引擎：
    •  
 
       
  
    • 基于内存：计算引擎留有大量内存空间专门用于计算，尽量减少磁盘 IO。
      •  
  
    • 计算并行化
      •  
  
    • 算法优化
      •  
 
     
 
     
 
    具体而言，Spark 提供了三种 Join 执行策略：
     
 
     
 
  • BroadcastJoin：当一个大表和一个小表进行Join操作时，为了避免数据的Shuffle，可以将小表的全部数据分发到每个节点上。算法复杂度：O(n).
    •  
 
  • ShuffledHashJoinExec：先对两个表进行hash shuffle，然后把小表变成map完全存储到内存，最后进行join。算法复杂度：O(n)。不适合两个表都很大的情况，因为其中一个表的hash部分要全部放到内存。
    •  
 
  • SortMergeJoinExec：先hash shuffle将两表数据数据相同key的分到同一个分区，然后sort，最后join。由于排序的特性，每次处理完一条记录后只需要从上一次结束的位置开始继续查找。算法复杂度：O(nlogn)，主要来源于排序。适合大表join大表。之所以适合大表，是因为 join 阶段，可以只读取一部分数据到内存，但其中一块遍历完了，再把下一块加载到内存，这样关联的量就能突破内存限制了。
    •  
 
     
 
    从上面的例子可以看出计算引擎相比于其他组件在计算方面的优势。
     
 
    数据流动
     
 
    下面通过一张图，从另一个角度了解 Spark 的运作。
     
 
     
  
     
   
     
    主流大数据技术总结_第16张图片 
   
     
  
     
  
     
 
     
 
    这是一张简单的数据流程图。描述了一个 WorkCount 的数据流向。其主要代码如下：
     
 
     
 
       
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
  
    •  
      •  
 
     
 
    // 假设每个 block 里的数据如下// a// b// aval textFile = sc.textFile("hdfs://...")val counts = textFile.map(word => (word, 1)) // a ->                  .reduceByKey(_ + _) // > -> counts.saveAsTextFile("hdfs://...")
     
 
    图中同一阶段有多个数据流体现的是并行。中间的 shuffle 是在聚合、关联、全局排序等操作时会出现的。比如这里的 reduceByKey 就是将相同 key 的数据移动到相同的 partition。这样就能对所有的 a 进行加总，从而得出 a 的总数。
     
 
    上图的任务是一次性的，或者是周期性的，数据的驱动是拉取型的。如果将数据块换成数据流，map 和 reduce 在启动后就一直存在，并接受数据源不断发送过来的信息，那就变成了流计算。即由周期性变为一直处理，从而变为实时处理，由主动拉取变为被动接收的形式。下面就来介绍 Flink 计算引擎。
     
 
    Flink
     
 
    Flink 同样是分布式的计算引擎，主要基于Java实现，但它的特色主要体现在流式计算。这个引擎流行的主要推手是阿里。阿里在19年初开源了它修改过的 Flink，收购了 Flink 的母公司，并在各种线下技术论坛上推广 Flink，让 Flink 在 19 年的关注度极速上升。
     
 
    除了在实时计算领域，Flink 在其他领域或许稍微落后于 Spark，毕竟 Spark 发展比较早，其生态比 Flink 要成熟更多。Flink 目前支持 Scala、Java 和 Python 来写任务代码。功能上同样支持批计算、ML、Graph。部署工具、支持的数据源也 Spark 类似。
     
 
    场景
     
 
     
 
  • 实时分析/BI指标：比如某天搞活动或新版本上线，需要尽快根据用户情况来调整策略或发现异常。
    •  
 
  • 实时监控：通过实时统计日志数据来尽快发现线上问题。
    •  
 
  • 实时特征/样本：模型预测和训练
    •  
 
     
 
    架构原理
     
 
     
  
     
   
     
    主流大数据技术总结_第17张图片 
   
     
  
     
  
     
 
     
 
    细节补充
     
 
    和 Spark 一样，Flink 也会根据 SQL 或者业务代码生成 DAG 图，然后将任务划分并发送给不同的节点执行。最大的不同正如之前所说，数据是实时地、一条条或一小批一小批地不断流进这些节点，然后节点输出响应的结果。而在这种场景下，Flink 在一定程度上解决了实时处理中的不少难点。
     
 
     
 
  • 保证数据刚好被处理一次，即便在计算过程中出现网络异常或者宕机。
    •  
 
  • event-time处理，即按照数据中的时间作为计算引擎的时间，这样即便数据上报出现一定的延迟，数据仍然可以被划分到对应的时间窗口。而且还能对一定时间内的数据顺序进行修正。
    •  
 
  • 在版本升级，修改程序并行度时不需要重启。
    •  
 
  • 反压机制，即便数据量极大，Flink 也可以通过自身的机制减缓甚至拒绝接收数据，以免程序被压垮。
    •  
 
     
 
    与 Spark 比较
     
 
    Spark：
     
 
     
 
  • 拉模型
    •  
 
  • 系统更加成熟，尤其是离线计算
    •  
 
  • 生态更加完善
    •  
 
     
 
    Flink：
     
 
     
 
  • 推模型
    •  
 
  • 实时计算更优秀
    •  
 
  • 阿里推动，正在迅速发展
    •  
 
  • 生态对国内更为友好
    •  
 
     
 
    小红书实时技术
     
 
    小红书旧的离线框架和我们现在的大数据体系有点类似，都是把埋点数据上报到日志服务，然后进入离线数仓，只是小红书用 Hive，我们用 DataWorks。然后我们同样也有 T+1 的用户画像、BI报表和推荐的训练数据。
     
 
     
  
     
   
     
    主流大数据技术总结_第18张图片 
   
     
  
     
  
     
 
     
 
    而后续的实时框架是这样的
     
 
     
  
     
   
     
    主流大数据技术总结_第19张图片 
   
     
  
     
  
     
 
     
 
    日志服务的埋点数据先进入 Kafka 这一消息队列里面。不太清楚为什么要加上 Kafka 这一中间件，或许当时并没有开源的 日志服务到Flink 的 connecter 吧。但总之，引入 Flink 之后就可以实时累计埋点中的数据，进而产生实时的画像、BI指标和训练数据了。下面介绍一下这个实时归因
     
 
     
  
     
   
     
    主流大数据技术总结_第20张图片 
   
     
  
     
  
     
 
     
 
    如上图所以，用户app屏幕展示了4个笔记，然后就会有4条曝光埋点，而如果点击笔记、点赞笔记以及从笔记中退出都会有相应的埋点。通过这些埋点就可以得出右面两份简单的训练或分析数据。这些数据跟原来已经积累的笔记/用户画像进行关联就能得出一份维度更多的数据，用于实时的分析或模型预测。实时模型训练这一块至少小红书在19年8月都还没有实现。下图是小红书推荐预测模型的演进
     
 
     
  
     
   
     
    主流大数据技术总结_第21张图片 
   
     
  
     
  
     
 
     
 
    那么如何进行实时训练深度学习模型呢？以下是我的一些想法。借助一个阿里的开源框架flink-ai-extended。
     
 
     
  
     
   
     
    主流大数据技术总结_第22张图片 
   
     
  
     
  
     
 
     
 
    如上图所示，这是 flink 的数据流结构图，左边 source 为数据源，然后进过join、udf等算子进行训练样本数据的生成，然后传递给一个 UDTF/FlatMap 算子，这实际上也是一个 Flink 节点，但它里面包含的是 Tensorflow 的训练 worker，而上下也是 Flink 的节点，都是包含了 Tensorflow 训练所需的一些角色，这样数据源源不断地实时进入 TF 模型来完成实时训练。TF 也可以因此借助 Flink 的分布式框架来完成分布式的学习。多台GPU或者CPU或许应该会比一台GPU的训练效率更高。
     
 
    这个框架同时适用于模型预测，只要把里面的训练角色换成训练完成的 model，也就可以进行实时的预测，而且这里借助 Flink 内部的通信机制，效率应该会比普通的 http 调用要快不少。
     
 
    总结
     
 
    本次分享由于时间有限，讲的都是比较浅层的东西，实际上刚刚所说的每一个组件里面包含的内容都不少，都可以作为一个长远的目标去研究和改造。说回分享的主题之一，使用场景。
     
 
    首先是存储，上述介绍的 HDFS、HBase、ES（ES虽然是搜索引擎，但它也可以在某些方面替代传统关系型数据的功能） 都是适用于 OLAP 场景，即分析推荐而非事务。从公司目前的情况来看，HDFS 基本可以忽略，因为已经有 DataWork，数据的存储暂时不是问题。更多的问题在于数据使用时的性能。HBase 和 ES 作为文档型数据库，适合一对多的数据模型，比如将帖子和其评论作为一个整体来存储。对于多对一、多对多的模型，文档型数据库实际上并不合适，但可以通过合并宽表、应用层关联等方式在一定程度上进行弥补。而如果多对多关系确实复杂、量大、文档型数据库性能无法满足，比如一些大型社交网络，那么可以考虑图数据库。
     
 
    当决定尝试文档型数据库时，HBase 的特点在于较为快速地查询小范围的新数据，而且这条数据可以很大。ES 的特点则在于快速的全文检索、准实时的数据分析。当然，分析的复杂度是不能跟计算引擎比的，比如关联、机器学习等。但通过合并宽表、各种where、group by操作，还是能满足不少需求的，尤其是应用的搜索功能，ES 实现起来是比较简单的。目前公司并没有应用它的强项，最好由专人负责它的调试，尤其是搜索排序方面。
     
 
    然后是计算引擎，目前公司用的 MaxCompute 已经能够满足离线计算的各种需求，或者就欠缺实时计算了。但公司目前实时性需求不多而且也不紧急，所以开发一直都没有启动。目前就看明年推荐是否有这样的需求，而且有相应的prd出来了。而考虑到成本和灵活性，自建或许是更好的选择，比如刚刚提到的 Flink + Tensorflow。
     
 
    以上便是这次分享会的全部内容，谢谢大家的参与。
     
 
    参考：
     
 
    书籍：
     
 
     
 
  • Martin Kleppmann: “Designing Data-Intensive Applications”, O’Reilly Media, March 2017
    •  
 
  • Tom White: “Hadoop: The Definitive Guide”, 4th edition. O’Reilly Media, March 2015
    •  
 
  • 胡争, 范欣欣: “HBase原理与实践”, 机械工业出版社, 2019年9月
    •  
 
  • 朱锋, 张韶全, 黄明: “Spark SQL 内核剖析”, 电子工业出版社, 2018年8月
    •  
 
  • Fabian Hueske and Vasiliki Kalavri: “Stream Processing with Apache Flink”, O’Reilly Media, April 2019
    •  
 
     
 
    文章：
     
 
     
 
  • 再谈 HBase 八大应用场景：https://cloud.tencent.com/developer/article/1369824
    •  
 
  • Elasticsearch读写原理：https://blog.csdn.net/laoyang360/article/details/103545432
    •  
 
  • ES文章集：https://me.csdn.net/wojiushiwo987
    •  
 
  • MySQL和Lucene索引对比分析：https://www.cnblogs.com/luxiaoxun/p/5452502.html
    •  
 
  • 深入浅出理解 Spark：环境部署与工作原理：https://mp.weixin.qq.com/s/IdrX4Hh1HQaJZx-VnB7XsQ 
    •  
 
     
 
    文档：
     
 
     
 
  • ES官方文档：https://www.elastic.co/guide/index.html
    •  
 
  • Spark官方文档：http://spark.apache.org/docs/latest/
    •  
 
  • Flink官方文档：https://flink.apache.org/
    •  
 
     
 
    分享：
     
 
     
 
  • 基于Flink的高性能机器学习算法库 https://www.bilibili.com/video/av57447841?p=4
    •  
 
  • “Redefining Computation” https://www.bilibili.com/video/av42325467?p=3
    •  
 
  • Flink 实时数仓的应用 https://www.bilibili.com/video/av66782142
    •  
 
  • Flink runtime 核心机制剖析 https://www.bilibili.com/video/av42427050?p=4
    •  
 
  • 小红书大数据在推荐中的应用 https://mp.weixin.qq.com/s/o7JM7DDkUNuGZEGKBtAmIw 
    •  
 
  • TensorFlow 与 Apache Flink 的结合 https://www.bilibili.com/video/av60808586/
    •  
 
     
 

     
 
     
  
     
   
     
    主流大数据技术总结_第23张图片 
   
     
  
     
  
     
 
     

    
                            
    
                        
    
                    
    
                    
                    
    
                    
                    
                    
    
                
    
                
    
                    
                
    
            
    
        
    
    
    
    
    
        
    你可能感兴趣的:(主流大数据技术总结)
    
        
    
            
    
                
      
                    
    • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
      ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
      
                    
      • 
                    
    • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首
                        张三叨

                        
      你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
      
                    
      • 
                    
    • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
      Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
      
                    
      • 
                    
    • ES聚合分析原理与代码实例讲解
                        光剑书架上的书
大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
                        
      ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
      
                    
      • 
                    
    • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
      文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
      
                    
      • 
                    
    • 免费的GPT可在线直接使用（一键收藏）
                        kkai人工智能
gpt
                        
      1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
      
                    
      • 
                    
    • 如何利用大数据与AI技术革新相亲交友体验
                        h17711347205
回归算法安全系统架构交友小程序
                        
      在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
      
                    
      • 
                    
    • [实践应用] 深度学习之优化器
                        YuanDaima2048
深度学习工具使用pytorch深度学习人工智能机器学习python优化器
                        
      文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
      
                    
      • 
                    
    • 深度 Qlearning：在直播推荐系统中的应用
                        AGI通用人工智能之禅
程序员提升自我硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
                        
      深度Q-learning：在直播推荐系统中的应用关键词：深度Q-learning,强化学习,直播推荐系统,个性化推荐1.背景介绍1.1问题的由来随着互联网技术的飞速发展,直播平台如雨后春笋般涌现。面对海量的直播内容,用户很难快速找到自己感兴趣的内容。因此,个性化推荐系统在直播平台中扮演着越来越重要的角色。1.2研究现状目前,主流的个性化推荐算法包括协同过滤、基于内容的推荐等。这些方法在一定程度上缓
      
                    
      • 
                    
    • 未来软件市场是怎么样的？做开发的生存空间如何？
                        cesske
软件需求
                        
      目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
      
                    
      • 
                    
    • Hadoop架构
                        henan程序媛
hadoop大数据分布式
                        
      一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
      
                    
      • 
                    
    • [转载] NoSQL简介
                        weixin_30325793
大数据数据库运维
                        
      摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
      
                    
      • 
                    
    • Kafka详细解析与应用分析
                        芊言芊语
kafka分布式
                        
      Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
      
                    
      • 
                    
    • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT)
                        计算机源码社
Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
                        
      作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
      
                    
      • 
                    
    • 疫情，疫情
                        东山草

                        
      2020年，疫情爆发，至今已近三年，反反复复，此起彼伏。不但没被消灭，还自我发展，从德尔塔到奥密克戎，与时俱进的变异着。去年11月，疫情之下，大数据800米范围内，都成为时空伴随者。“你的码儿有没有变颜色”“你绿码还是黄码”成为那段时间的流行语，当然少不了的还有全员核酸。段子手整出来一首歌：我走过你走过的路,这算不算相逢？我吹过你吹过的风，这算不算相拥？800米内我们不曾擦肩而过，你却要我14天相
      
                    
      • 
                    
    • 氧惠风暴来袭！低成本摆摊卖这些，让你日入过万！
                        氧惠好物

                        
      在互联网时代，低成本创业已经成为可能。今天，我要给大家介绍一款名为氧惠的APP，它将与你的生活产生重大影响。氧惠，一个全新的抖客+淘客平台，以其独特的带货高补贴模式，正在改变着人们的购物习惯和赚钱方式。氧惠，一个全新的购物体验首先，让我们来看看氧惠的特点。氧惠是一款集购物、省钱、赚钱于一体的APP。它与淘宝、京东、拼多多等主流电商平台合作，为用户提供内部优惠券，涵盖了吃喝玩乐衣食住行的各个方面。这
      
                    
      • 
                    
    • 移动订货小程序哪个好 批发订货系统源码哪个好
                        多用户商城系统
订货系统源码移动订货小程序批发订货系统订货系统源码
                        
      订货小程序就是依托微信小程序的订货系统，微信小程序订货系统相较于其他终端的订货方式，能够更快进入商城，对经销商而言更为方便。今天，我们一起盘点三个主流的移动订货小程序，看看哪个移动订货小程序好。第一、核货宝订货小程序核货宝是商淘科技旗下的订货系统，可为批发企业提供不同客户不同商品、不同客户不同价格快速订货和商家账期管理。功能介绍：客户批发订货的专属数字化订货系统，可以移动端订货。与传统手写开单相比
      
                    
      • 
                    
    • 在服务器计算节点中使用 jupyter Lab
                        ranshan567
程序人生
                        
      JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
      
                    
      • 
                    
    • 数据仓库介绍
                        阿龙的代码在报错
数据分析数据仓库数据库
                        
      数据仓库数据仓库的概念数据仓库的主要特征数据仓库的主流开发语言-sql结构化数据sql语句数据仓库的概念数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（DecisionSupport）。就是数据仓库只分析数据并不产生数据数据仓库的主要特征1、面向主题主题是一个抽象的概念，是
      
                    
      • 
                    
    • 大数据真实面试题---SQL
                        The博宇
大数据面试题——SQL大数据mysqlsql数据库bigdata
                        
      视频号数据分析组外包招聘笔试题时间限时45分钟完成。题目根据3张表表结构，写出具体求解的SQL代码（搞笑品类定义：视频分类或者视频创建者分类为“搞笑”）1、表创建语句：createtablet_user_video_action_d(dsint,user_idstring,video_idstring,action_typeint,`timestamp`bigint)rowformatdelimi
      
                    
      • 
                    
    • Flume：大规模日志收集与数据传输的利器
                        傲雪凌霜，松柏长青
后端大数据flume大数据
                        
      Flume：大规模日志收集与数据传输的利器在大数据时代，随着各类应用的不断增长，产生了海量的日志和数据。这些数据不仅对业务的健康监控至关重要，还可以通过深入分析，帮助企业做出更好的决策。那么，如何高效地收集、传输和存储这些海量数据，成为了一项重要的挑战。今天我们将深入探讨ApacheFlume，它是如何帮助我们应对这些挑战的。一、Flume概述ApacheFlume是一个分布式、可靠、可扩展的日志
      
                    
      • 
                    
    • SCRM产品助力电商行业发展
                        Ajdbjdbf
内容运营用户运营产品运营
                        
      基于企业微信的营销与服务平台，聚焦“引流获客”、“营销转化”、“运营管理”三大场景，帮助企业解决获客难、运营效率低、客户资产流失等问题，帮助企业利用好企业微信实现增长。在电商行业，有以下几大痛点:主流平台流量越来越贵，获取新客户的成本不断攀升；原有的触达客户方式逐渐失效，高效的触达客户工具没有启用；营销活动每天都在进行，但效果并不理想；客户画像不清晰，推荐产品转化差。如今电子商务已经进入新零售电商
      
                    
      • 
                    
    • 云服务业界动态简报-20180128
                        Captain7

                        
      一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
      
                    
      • 
                    
    • 拼多多返利app哪个最高_拼多多怎么拿返佣?
                        小小编007

                        
      拼多多，淘宝，京东国内三大主流电商平台。京东最高端，淘宝次之，拼多多最平民大众。殊不知，除了在拼多多上买东西便宜外，还可以拿到拼多多商家的高额返利返佣。拼多多返利app，哪个给的最高，门槛最低？首推果冻宝盒。一、果冻宝盒有什么使用限制？果冻宝盒实行邀请注册，顶级邀请码：223377，注册和使用果冻宝盒是没有任何费用的。果冻宝盒会员的权益：1、可使用果冻宝盒搜索到淘宝天猫等各大电商平台的隐藏优惠券，
      
                    
      • 
                    
    • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
                        2401_84572577
程序员大数据hadoop人工智能
                        
      做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
      
                    
      • 
                    
    • 架构评审的自动化与人工智能: 如何提高效率
                        光剑书架上的书
架构自动化人工智能运维
                        
      1.背景介绍架构评审是软件开发过程中的一个关键环节，它旨在确保软件架构的质量、可维护性和可扩展性。传统的架构评审通常是由人工进行，需要大量的时间和精力。随着大数据技术和人工智能的发展，自动化和人工智能技术已经开始应用于架构评审，从而提高评审的效率和准确性。在本文中，我们将讨论如何通过自动化和人工智能技术来提高架构评审的效率。我们将从以下几个方面进行讨论：背景介绍核心概念与联系核心算法原理和具体操作
      
                    
      • 
                    
    • 【数字化供应链】数字化供应链架构、全景管理、全流程贯通方案
                        数字化建设方案
数字化转型数据治理主数据数据仓库供应链数字仓储智慧物流智慧仓储物流园区架构微服务数据挖掘大数据人工智能
                        
      原文《数字化供应链架构、全景管理、全流程贯通方案》PPT格式。主要从供应链管理全景、智慧供应链建设总体目标、供应链总体业务流程、供应链总体功能架构、供应链总体技术架构、供应链全流程贯通、供应链全领域管理、供应链数据数据分析、供应链决策中台等进行建设。本文仅对主要内容进行介绍。来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库基于先进IT技术、大数据能力、物联网应用、区块链平
      
                    
      • 
                    
    • 主流行架构
                        rainbowcheng
架构架构
                        
      nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
      
                    
      • 
                    
    • 80
                        鑫_259b

                        
      科普一个谈恋爱的方法。在以前，谈恋爱千难万难，就难在对对方不知底细，不知道对方希望自己是一个怎样的人，要耗费大量的时间去试探、再磨合，往往会因为一些小事一些细节，满盘皆输。在一个信息化的时代，在一个大数据近乎变成了流行语的时代，我们要跟上时代的步伐，通过大数据，去寻找异性最希望自己展现出来的形象是什么，才可以在爱情的道路上少走弯路。那这个大数据怎么操作呢？上街发问卷？问别人的择偶标准？一来会被打死
      
                    
      • 
                    
    • 解锁企业潜能，Vatee万腾平台引领智能新纪元
                        自媒体经济说
其他
                        
      在数字化转型的浪潮中，企业正站在一个前所未有的十字路口，面对着前所未有的机遇与挑战。解锁企业内在潜能，实现跨越式发展，已成为众多企业的共同追求。而Vatee万腾平台，作为智能科技的先锋，正以其强大的智能赋能能力，引领企业步入一个全新的智能纪元。Vatee万腾平台，是一个集成了人工智能、大数据、云计算等前沿技术的综合性智能服务平台。它不仅仅是一个技术工具，更是企业转型升级的加速器，能够深入企业运营的
      
                    
      • 
                                
    • 微信开发者验证接口开发
                                    362217990
微信 开发者 token 验证
                                    
      微信开发者接口验证。 
Token，自己随便定义，与微信填写一致就可以了。 
 
根据微信接入指南描述 http://mp.weixin.qq.com/wiki/17/2d4265491f12608cd170a95559800f2d.html 
 第一步：填写服务器配置 
 第二步：验证服务器地址的有效性 
 第三步：依据接口文档实现业务逻辑 
 
这里主要讲第二步验证服务器有效性。 
 
建一个
      
                                
      • 
                                
    • 一个小编程题-类似约瑟夫环问题
                                    BrokenDreams
编程
                                    
              今天群友出了一题： 
        一个数列,把第一个元素删除,然后把第二个元素放到数列的最后,依次操作下去,直到把数列中所有的数都删除,要求依次打印出这个过程中删除的数。 
 
     &
      
                                
      • 
                                
    • linux复习笔记之bash shell (5) 关于减号-的作用
                                    eksliang
linux关于减号“-”的含义linux关于减号“-”的用途linux关于“-”的含义linux关于减号的含义
                                    
          转载请出自出处：
http://eksliang.iteye.com/blog/2105677     
    管道命令在bash的连续处理程序中是相当重要的，尤其在使用到前一个命令的studout（标准输出）作为这次的stdin（标准输入）时，就显得太重要了，某些命令需要用到文件名，例如上篇文档的的切割命令（split）、还有
      
                                
      • 
                                
    • Unix(3)
                                    18289753290
unix ksh
                                    
      1)若该变量需要在其他子进程执行，则可用"$变量名称"或${变量}累加内容 
什么是子进程？在我目前这个shell情况下，去打开一个新的shell，新的那个shell就是子进程。一般状态下，父进程的自定义变量是无法在子进程内使用的，但通过export将变量变成环境变量后就能够在子进程里面应用了。 
2)条件判断： &&代表and  ||代表or&nbs
      
                                
      • 
                                
    • 关于ListView中性能优化中图片加载问题
                                    酷的飞上天空
ListView
                                    
      ListView的性能优化网上很多信息，但是涉及到异步加载图片问题就会出现问题。 
具体参看上篇文章http://314858770.iteye.com/admin/blogs/1217594 
  
如果每次都重新inflate一个新的View出来肯定会造成性能损失严重，可能会出现listview滚动是很卡的情况，还会出现内存溢出。 
现在想出一个方法就是每次都添加一个标识，然后设置图
      
                                
      • 
                                
    • 德国总理默多克：给国人的一堂“震撼教育”课
                                    永夜-极光
教育
                                    
      http://bbs.voc.com.cn/topic-2443617-1-1.html德国总理默多克：给国人的一堂“震撼教育”课　 
安吉拉—默克尔，一位经历过社会主义的东德人，她利用自己的博客，发表一番来华前的谈话，该说的话，都在上面说了，全世界想看想传播——去看看默克尔总理的博客吧！ 
　　德国总理默克尔以她的低调、朴素、谦和、平易近人等品格给国人留下了深刻印象。她以实际行动为中国人上了一堂
      
                                
      • 
                                
    • 关于Java继承的一个小问题。。。
                                    随便小屋
java
                                    
      今天看Java 编程思想的时候遇见一个问题，运行的结果和自己想想的完全不一样。先把代码贴出来！ 
//CanFight接口
interface Canfight {
    void fight();
}
//ActionCharacter类
class ActionCharacter {
    public void fight() {
        System.out.pr
      
                                
      • 
                                
    • 23种基本的设计模式
                                    aijuans
设计模式
                                    
      Abstract Factory：提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。  　　Adapter：将一个类的接口转换成客户希望的另外一个接口。A d a p t e r模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。  　　Bridge：将抽象部分与它的实现部分分离，使它们都可以独立地变化。  　　Builder：将一个复杂对象的构建与它的表示分离，使得同
      
                                
      • 
                                
    • 《周鸿祎自述：我的互联网方法论》读书笔记
                                    aoyouzi
读书笔记
                                    
      从用户的角度来看,能解决问题的产品才是好产品,能方便/快速地解决问题的产品,就是一流产品. 
  
商业模式不是赚钱模式 
一款产品免费获得海量用户后,它的边际成本趋于0,然后再通过广告或者增值服务的方式赚钱,实际上就是创造了新的价值链. 
  
商业模式的基础是用户,木有用户,任何商业模式都是浮云.商业模式的核心是产品,本质是通过产品为用户创造价值. 
商业模式还包括寻找需求
      
                                
      • 
                                
    • JavaScript动态改变样式访问技术
                                    百合不是茶
JavaScriptstyle属性ClassName属性
                                    
        
一:style属性 
格式:  
 HTML元素.style.样式属性="值"; 
  
创建菜单:在html标签中创建 或者 在head标签中用数组创建 
  
<html>
<head>
  <title>style改变样式</title>
</head>
&l
      
                                
      • 
                                
    • jQuery的deferred对象详解
                                    bijian1013
jquerydeferred对象
                                    
              jQuery的开发速度很快，几乎每半年一个大版本，每两个月一个小版本。 
        每个版本都会引入一些新功能，从jQuery 1.5.0版本开始引入的一个新功能----deferred对象。 
   &nb
      
                                
      • 
                                
    • 淘宝开放平台TOP
                                    Bill_chen
C++c物流C#
                                    
      淘宝网开放平台首页：http://open.taobao.com/ 
淘宝开放平台是淘宝TOP团队的产品，TOP即TaoBao Open Platform， 
是淘宝合作伙伴开发、发布、交易其服务的平台。 
支撑TOP的三条主线为： 
   1.开放数据和业务流程 
 
    * 以API数据形式开放商品、交易、物流等业务； 
 
 &
      
                                
      • 
                                
    • 【大型网站架构一】大型网站架构概述
                                    bit1129
网站架构
                                    
      大型互联网特点 
 
 面对海量用户、海量数据 
 大型互联网架构的关键指标 
 
 高并发 
 高性能 
 高可用 
 高可扩展性 
 线性伸缩性 
 安全性 
 大型互联网技术要点 
  
 
 前端优化 
 CDN缓存 
 反向代理 
 KV缓存 
 消息系统 
 分布式存储 
 NoSQL数据库 
 搜索 
 监控 
 安全 
 想到的问题： 
1.对于订单系统这种事务型系统，如
      
                                
      • 
                                
    • eclipse插件hibernate tools安装
                                    白糖_
Hibernate
                                    
        
 
 eclipse helios(3.6)版 
  1.启动eclipse   2.选择 Help > Install New Software...>   3.添加如下地址： 
http://download.jboss.org/jbosstools/updates/stable/helios/   4.选择性安装：hibernate tools在All Jboss tool
      
                                
      • 
                                
    • Jquery easyui Form表单提交注意事项
                                    bozch
jquery easyui
                                    
      jquery easyui对表单的提交进行了封装，提交的方式采用的是ajax的方式，在开发的时候应该注意的事项如下： 
        1、在定义form标签的时候，要将method属性设置成post或者get，特别是进行大字段的文本信息提交的时候，要将method设置成post方式提交，否则页面会抛出跨域访问等异常。所以这个要
      
                                
      • 
                                
    • Trie tree(字典树)的Java实现及其应用-统计以某字符串为前缀的单词的数量
                                    bylijinnan
java实现
                                    
      
import java.util.LinkedList;

public class CaseInsensitiveTrie {

	/**
	字典树的Java实现。实现了插入、查询以及深度优先遍历。 
    Trie tree's java implementation.(Insert,Search,DFS)
    
	Problem Description
	Igna
      
                                
      • 
                                
    • html css 鼠标形状样式汇总
                                    chenbowen00
htmlcss
                                    
      css鼠标手型cursor中hand与pointer  
Example：CSS鼠标手型效果 <a href="#" style="cursor:hand">CSS鼠标手型效果</a><br/>  
Example：CSS鼠标手型效果 <a href="#" style=&qu
      
                                
      • 
                                
    • [IT与投资]IT投资的几个原则
                                    comsci
it
                                    
       
      无论是想在电商,软件,硬件还是互联网领域投资,都需要大量资金,虽然各个国家政府在媒体上都给予大家承诺,既要让市场的流动性宽松,又要保持经济的高速增长....但是,事实上,整个市场和社会对于真正的资金投入是非常渴望的,也就是说,表面上看起来,市场很活跃,但是投入的资金并不是很充足的...... 
 
   
      
                                
      • 
                                
    • oracle with语句详解
                                    daizj
oraclewithwith as
                                    
      oracle with语句详解 转 
 
 
在oracle中，select 查询语句，可以使用with,就是一个子查询，oracle 会把子查询的结果放到临时表中，可以反复使用 
 
例子:注意，这是sql语句，不是pl/sql语句， 可以直接放到jdbc执行的 
 
----------------------------------------------------------------
      
                                
      • 
                                
    • hbase的简单操作
                                    deng520159
数据库hbase
                                    
      近期公司用hbase来存储日志,然后再来分析 ,把hbase开发经常要用的命令找了出来. 
用ssh登陆安装hbase那台linux后 
用hbase shell进行hbase命令控制台! 
表的管理 
1）查看有哪些表 
hbase(main)> list 
2）创建表 
  
# 语法：create <table>, {NAME => <family&g
      
                                
      • 
                                
    • C语言scanf继续学习、算术运算符学习和逻辑运算符
                                    dcj3sjt126com
c
                                    
      /*
	2013年3月11日20:37:32
	地点：北京潘家园
	功能：完成用户格式化输入多个值
	目的：学习scanf函数的使用

*/
# include <stdio.h>

int main(void)
{
	int i, j, k;

	printf("please input three number:\n");  //提示用
      
                                
      • 
                                
    • 2015越来越好
                                    dcj3sjt126com
歌曲
                                    
      越来越好

房子大了电话小了 感觉越来越好
假期多了收入高了 工作越来越好
商品精了价格活了 心情越来越好
天更蓝了水更清了 环境越来越好

活得有奔头人会步步高
想做到你要努力去做到

幸福的笑容天天挂眉梢 越来越好
婆媳和了家庭暖了 生活越来越好
孩子高了懂事多了 学习越来越好
朋友多了心相通了 大家越来越好
道路宽了心气顺了 日子越来越好

活的有精神人就不显
      
                                
      • 
                                
    • java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Tim
                                    feiteyizu
mysql
                                    
      数据表中有记录的time字段（属性为timestamp）其值为：“0000-00-00 00:00:00” 
程序使用select 语句从中取数据时出现以下异常： 
java.sql.SQLException:Value '0000-00-00' can not be represented as java.sql.Date 
  
java.sql.SQLException: Valu
      
                                
      • 
                                
    • Ehcache（07）——Ehcache对并发的支持
                                    234390216
并发ehcache锁ReadLockWriteLock
                                    
      Ehcache对并发的支持 
  
       在高并发的情况下，使用Ehcache缓存时，由于并发的读与写，我们读的数据有可能是错误的，我们写的数据也有可能意外的被覆盖。所幸的是Ehcache为我们提供了针对于缓存元素Key的Read（读）、Write（写）锁。当一个线程获取了某一Key的Read锁之后，其它线程获取针对于同
      
                                
      • 
                                
    • mysql中blob,text字段的合成索引
                                    jackyrong
mysql
                                    
        在mysql中，原来有一个叫合成索引的，可以提高blob,text字段的效率性能， 
但只能用在精确查询，核心是增加一个列，然后可以用md5进行散列，用散列值查找 
则速度快 
 
比如： 
 
create table abc(id varchar(10),context blog,hash_value varchar(40)); 
 
 insert into abc(1,rep
      
                                
      • 
                                
    • 逻辑运算与移位运算
                                    latty
位运算逻辑运算
                                    
      源码：正数的补码与原码相同例+7 源码：00000111 补码 ：00000111  （用8位二进制表示一个数）
 
 
 
负数的补码：
   符号位为1，其余位为该数绝对值的原码按位取反；然后整个数加1。   -7 源码： 10000111 ，其绝对值为00000111  取反加一：11111001 为-7补码 
 
已知一个数的补码，求原码的操作分两种情况：
      
                                
      • 
                                
    • 利用XSD 验证XML文件
                                    newerdragon
javaxmlxsd
                                    
      XSD文件 （XML Schema 语言也称作 XML Schema 定义（XML Schema Definition，XSD）。 具体使用方法和定义请参看： 
 
http://www.w3school.com.cn/schema/index.asp 
 
 
 
java自jdk1.5以上新增了SchemaFactory类 可以实现对XSD验证的支持，使用起来也很方便。 
 
以下代码可用在J
      
                                
      • 
                                
    • 搭建 CentOS 6 服务器(12) - Samba
                                    rensanning
centos
                                    
      （1）安装 
 
# yum -y install samba
    Installed:
      samba.i686 0:3.6.9-169.el6_5
# pdbedit -a rensn
    new password:123456
    retype new password:123456
    …… 
 
 
（2）Home文件夹 
 
# mkdir /etc
      
                                
      • 
                                
    • Learn Nodejs 01
                                    toknowme
nodejs
                                    
      （1）下载nodejs  
https://nodejs.org/download/   选择相应的版本进行下载           （2）安装nodejs   安装的方式比较多，请baidu下  
我这边下载的是“node-v0.12.7-linux-x64.tar.gz”这个版本  （1）上传服务器   （2）解压   tar -zxvf  node-v0.12.
      
                                
      • 
                                
    • jquery控制自动刷新的代码举例
                                    xp9802
jquery
                                    
      1、html内容部分   复制代码代码示例:   <div id='log_reload'> 
<select name="id_s" size="1"> 
<option value='2'>-2s-</option> 
<option value='3'>-3s-</option
      
                                
      • 
                
    
            
    
        
    
    
    


    
    
    
        
    
            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他