kafka初识

• 吞吐量
  • 单位时间内处理的数据量。
  • 讲求的单位时间内处理的数据量要大。
  • 跟他对比的是实时性，它要求的是响应时间要快。
• 请介绍一下zookeeper(Zookeeper协同的是什么)
  • 概念说明
    • Zk是分布式环境下的第三方协同服务，帮助分布式系统，比如存储、计算、调度等均需要协同服务。
  • 特点特征
    • 简单、易使用、高效、稳定
  • 应用场景
    • 核心是要解决一致性问题
      • 分布式环境下的命名一致性问题
      • 分布式服务环境下的高可用性问题
        • HA问题
          • High Available
        • 核心还是一个选举策略问题
  • 代码实现
    • Zk其实内部就是一个多叉树结构
    • 面向zookeeper编程即可。
    • 实际当中主要是hadoop生态圈组件直接使用zk，我们业务开发当中并没有直接面向zk编程的业务应用。如果需要的话，我相信可以在1-2天内搞定。
• 消息系统
  • MessageQueue，消队系统，也称为消息队列。
• 衡量算法的优劣的因子
  • 时间复杂度：运算过程当中涉及到的计算最小计算操作单元次数的量级。
    • O(1) ：常量级
    • O(n) ：
    • O(logn)
    • O(n*n)
  • 空间复杂度：运算过程当中涉及到的计算最小存储单元个数的量级。
  • 量级
    • 量级一般是以10倍为一个档位。
• 排序的时间复杂度
  • 冒泡：O(N*N) 
  • 选择：O(N*N)
  • 快速：O(n*log2n)
• 一个好的设计，顶得上一万个技巧。
• 数据处理当中的常见术语说明
  • Source：数据源，即获取数据的地方。
  • Transformation：数据的转换处理
  • Sink： 数据下沉，即存储到的位置。
• Acls
  • Access Control Lists ,访问控制列表
  • 传统上讲，是对linux文件权限控制的延深。