大数据界第一ADC
大数据界第一ADC

Flink01

1. 什么是Flink?

　　1.1 4代大数据计算引擎　　

　　　　第一代: MapReducer

　　　　　　批处理　　Mapper, Reducer

　　　　　　Hadoop的MapReducer将计算分为两个阶段, 分别为Map和Reducer. 对于上层应用来说, 就不得不想方设法去拆分算法, 甚至于不得不在上层应用实现多个Job的串联, 以完成一个完整的算法, 例如迭代计算.

　　　　第二代: DAG框架 (Tez) + MapReducer

　　　　　　批处理　　1个Tez = MR (1) + MR (2) + ... + MR (n)　　相比MR效率有所提升

　　　　第三代: Spark

　　　　　　批处理, 流处理, SQL高层API支持　　自带DAG　　内存迭代计算, 性能较之前大幅提升

　　　　第四代: Flink

　　　　　　批处理, 流处理, SQL高层API支持　　自带DAG　　流式计算性能更高, 可靠性更高

　　1.2 Flink概述:

　　　　官网: https://flink.apache.org/

　　　　Stateful Computations over Data Streams, 即数据流上的有状态的计算.

　　　　1) 分布式计算

　　　　2) 支持批处理, 即处理静态的数据集, 历史的数据集

　　　　3) 支持流处理, 即实时的处理一些实时数据流

　　　　4) 支持复杂事件处理, Flink CEP

　　　　logo介绍: 在德语中, Flink一词表示快速和灵巧, 松鼠具有快速和灵巧的特点. 柏林的松鼠是红棕色的, Flink的松鼠logo尾巴的颜色与Apache软件基金会的logo颜色相呼应.

　　1.3 流的划分:

　　　　1) 有界流: 对源源不断的流进行边界划分, 有界流的处理也可以成为批处理.

　　　　2) 无界流: 只有开始没有结束. 必须连续的处理无界流数据, 不能等待数据到达了再去全部处理, 因为数据是无界的并且永远不会结束数据注入. 处理无界流数据往往要求事件注入的时候有一定的顺序性，

　　1.4 其他特点:

　　　　1) 性能优秀 (尤其在流计算领域) 

　　　　2) 高扩展性

　　　　3) 支持容错

　　　　4) 纯内存式的计算引擎, 做了内存管理方面的大量优化

　　　　5) 支持 eventtime 的处理

　　　　6) 支持超大状态的Job

　　　　7) 支持 exactly-once 的处理

　　1.5 性能对比:

　　　　纵坐标是秒, 横坐标是次数

　　　　Flink01_第1张图片

　　　　结论: Spark和Flink全部都运行在Hadoop Yarn上, 性能为Flink > Spark > Hadoop (MR) , 迭代次数越多越明显.

　　　　性能上, Flink优于Spark和Hadoop最主要的原因是Flink支持增量迭代, 具有对迭代自动优化的功能.

　　　　SparkStreaming和Flink对比

　　　　　　　　SparkStreaming　　　　　　　  Flink

定义　　　　　　弹性的分布式数据集, 　　　 　　 真正的流计算, 就想Storm一样,  但Flink同时

　　　　　　　　并非真正的实时计算　　　　　　支持有限的数据流计算 (批处理) 和无限数据流计算 (流处理)

高容错　　　　　沉重　　　　　　　　　　　　　非常轻量级

内存管理　　　　JVM相关操作暴露给用户　　　　Flink在JVM中实现的是自己的内存管理

程序调优　　　　只有SQL有自动优化机制　　　　自动的优化一些场景,比如避免一些昂贵的操作 (如shuffle和sorts), 还有一些中间缓存

 

2. Flink集群:

　　2.1 Flink支持多种安装模式:  

　　　　local (本地) -- 单机模式, 一般不使用

　　　　standalone -- 独立模式, Flink自带集群, 开发测试环境使用

　　　　yarn -- 计算资源统一由Hadoop YARN管理, 生产测试环境使用

　　2.2 三种模式架构 (本地模式, Standalone模式, YARN模式):

　　　　本地模式: 

　　　　Flink01_第2张图片

　　　　1) Flink程序需要提交给JobClient

　　　　2) JobClient将作业提交给JobManager

　　　　3) JobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给相应的TaskManager

　　　　4) TaskManager启动一个线程以开始执行, TaskManager会向JobManager报告状态更改. 例如开始执行, 正在进行或已完成

　　　　5) 作业执行完成后, 结果将发送回客户端 (JobClient)

　　　　

　　　　Standalone集群: 

 　　　　Flink01_第3张图片

　　　　1) Client客户端提交任务给JobManager

　　　　2) JobManager负责Flink集群计算资源管理，并分发任务给TaskManager执行

　　　　3) TaskManager定期向JobManager汇报状态

　　　　4) TaskManager启动一个线程以开始执行, TaskManager会向JobManager报告状态更改, 例如开始执行, 正在进行将已完成

　　　　5) 多个TaskManager会进行交换中间结果

　　　　6) 作业执行完成后, 结果将发送回客户端 (JobClient)

 

　　　　StandaloneHA集群: 

　　　　Flink01_第4张图片

 

　　　　YARN集群:

　　　　在一个企业中, 为了最大化的利用集群资源, 一般都会在一个集群中同时运行多种类型的Workload, 因此Flink也支持在Yarn上面运行, Flink on Yarn的前提是: HDFS, YARN均启动

　　　　Flink运行在YARN上, 可以使用yarn-session来快速提交作业到YARN集群

　　　　Flink01_第5张图片

 　　　　Flink01_第6张图片 

　　　　1) Client上传jar包和配置文件到HDFS集群上

　　　　2) 向ResourceManager申请资源和请求AppMaster容器

　　　　3) Yarn分配资源AppMaster容器, 并启动JobManager

　　　　　　JobManager和ApplicationMaster运行在同一个container上. 一旦他们被成功启动, AppMaster就知道JobManager的地址 (AM它自己所在的机器) . 它就会为TaskManager生成一个新的

Flink配置文件 (他们就可以连接到JobManager) . 这个配置文件也被上传到HDFS上. 此外, AppMaster容器也提供了Flink的web服务接口. YARN所分配的所有端口都是临时端口, 这允许用户并行执行多个Flink.

　　　　4) 申请worker资源, 启动TaskManager

　　　　5) TaskManager从HDFS上下载所需要的jar包和配置文件

　　　　yarn-session提供两种模式: 会话模式和分离模式

    • 会话模式

      • 使用Flink中的yarn-session（yarn客户端），会启动两个必要服务JobManager和TaskManager

      • 客户端通过yarn-session提交作业

      • yarn-session会一直启动，不停地接收客户端提交的作业

      • 有大量的小作业，适合使用这种方式

    • 分离模式

      • 直接提交任务给YARN

      • 大作业，适合使用这种方式

 

3. Flink架构介绍:

　　3.1 Flink基石

　　　　四大基石:

    • CheckPoint: 基于Chandy-Lamport算法实现了分布式一致性快照, 提供了一致性的语义
    • State: 丰富的StateAPI. ValueState, ListState, MapState, BroadCastState
    • Time: 实现了WaterMark机制, 乱序数据处理, 迟到数据摒容忍
    • Window: 开箱即用的滚动, 滑动, 会话窗口以及灵活的自定义窗口

　　　　1) Checkpoint机制: Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义

　　　　2) Watermark机制: 能够支持基于事件的事件的处理，或者说基于系统时间的处理，能够容忍数据的迟到、容忍乱序的数据。

　　3.2 组件栈

　　　　Flink是一个分层架构的系统, 每一层所包含的组件都提供了特定的抽象, 用来服务于上层组件. Flink分层的组件栈图: 

　　　　Flink01_第7张图片

　　　　部署层Deploy: Flink支持本地运行, 能在独立集群或者在被Yarn管理的集群上运行, 也能部署在云上. 

　　　　运行时Core: Runtime提供了支持Flink计算的全部核心实现, 为上层API提供基础服务.

　　　　API: DataStream, DataSet, Table, SQL API. 

　　　　扩展库Libraries: Flink还包括用于复杂事件处理, 机器学习, 图形处理和Apache Storm兼容性的专用代码库. 

　　3.3 Flink数据流编程模型抽象级别

　　　　Flink提供了不同的抽象级别以开发流式或批处理应用

 　　　　Flink01_第8张图片

　　　　最底层提供了有状态流, 他将通过过程函数 (Process Function) 嵌入到DataStream API中. 他允许用户可以自由的处理来自一个或多个流数据的事件, 并使用一致, 容错的状态. 除此之外, 用户可以注册事件时间和处理事件回调, 从而使程序可以实现复杂的计算.

　　　　DataStream / DataSet API是Flink提供的核心API, DataSet处理有界的数据集, DataStream处理有界或者无界的数据流. 用户可以通过各种方法 (map / flatmap / window / keyby / sum / max / min / avg / join等) 将数据进行转换和计算

　　　　Table API是以表为中心的声明式DSL, 其中表可能会动态变化 (在表达数据时) . Table API提供了例如select, project, join, groupby, aggregate等操作, 使用起来却更加简洁, 代码量更少. 你可以在表与DataStream / DataSet之间无缝切换, 也允许程序将Table API与DataStream以及DataSet混合使用. 

　　　　Flink提供的最高层级的抽象是SQL, 这一层抽象在语法与表达能力上与Table API类似, 但是是以SQL查询表达式的形式表现程序, SQL抽象与Table API交互密切, 同时SQL查询可以直接在Table API定义的表上执行.

　　3.4 Flink程序结构

　　　　Flink程序的基本构建块是流和转换 (注意: Flink的DataSet API中使用的DataSet也是内部流) . 从概念上讲, 流是 (可能永无止境的) 数据记录流, 而转换是将一个或多个流作为一个或多个流的操作. 输入, 并产生一个或多个输出流.

　　　　Flink应用程序结构: 

　　　　Flink01_第9张图片

　　　　Source: 数据源, Flink在流处理和批处理上的source大概有4类: 基于本地集合的source; 基于文件的source; 基于网络套接字的source; 自定义的source. 自定义的source常见的有Apache Kafka, RabbitMQ等, 当然也可以自己定义source. 

　　　　Transformation: 数据转换的各种操作, 有map / flatmap / filter / keyby / reducer / fold / aggregations / window / windowall / union / window join / spilt / select 等, 操作很多, 可以将数据转换计算成你想要的数据. 

　　　　Sink: 接收器, Flink将转换计算后的数据发送的地点, 你可能需要存储下来, Flink常见的sink大概有如下几类: 写入文件, 打印出来, 写入socket, 自定义的sink. 自定义的sink常见的有Apache kafka, RabbitMQ, MySQL, ElasticSearch, Apache Cassandra, Hadoop FileSystem 等, 同理你也可以定义自己的sink. 

　　3.5 Flink并行数据流

　　　　Flink程序在执行的时候, 会被映射成一个Streaming Dataflow, 一个Streaming Dataflow是由一组Stream和Transformation Operator组成的. 在启动时从一个或多个Source Operation开始, 结束于一个或多个Sink Operation.

　　　　Flink程序本质上是并行的和分布式的, 在执行过程中, 一个流 (Stream) 包含一个或多个流分区, 而每一个operation包含一个或多个operation子任务. 操作子任务间彼此独立, 在不同的线程中执行, 甚至是不同的机器或不同的容器上. operator子任务的数量是这一特定operation的并行度. 相同程序中的不同operation有不同级别的并行度. 

 　　　　Flink01_第10张图片

 　　　　一个Stream可以被分成多个Stream的分区, 也就是Stream Partition. 一个Operation也可以被分为多个Operation Subtask. 如上图中, Source被分成Source1和Source2, 他们分别为Source的Operation Subtask. 每一个Operation Subtask都是在不同的线程当中独立执行的. 一个Operation的并行度, 就等于Operation Subtask的个数. 上图Source的并行度为2, 而一个Stream的并行度就等于他生成的Operation的并行度. 

　　　　数据在两个Operation之间传递的时候有两种模式: 

　　　　One to One 模式: 两个Operation用此模式传递的时候, 会保持数据的分区数和数据的排序, 如上图中的Source1到Map1, 他就保留的Source的分区特性, 以及分区元素处理的有序性. 

　　　　Redistrbuting (重新分配) 模式: 这种模式会改变数据的分区数. 每个一个Operation Subtask会根据选择transformation把数据发送到不同的目标Subtasks, 比如keyBy () 会通过hashcode重新分区, broadcast () 和rebalance ()方法会随机重新分区. 

　　3.6 Task和Operation Chain

　　　　Flink的所有操作都称之为Operation, 客户端在提交任务的时候会对Operation进行优化操作, 能进行合并的Operation会被合并为一个Operation, 合并后的Operation成为Operator Chain, 实际上就是一个执行链, 每个执行链会在TaskManager上一个独立的线程中执行. 

 　　　　Flink01_第11张图片

 　　3.7 任务调度与执行

 

 　　　　 Flink01_第12张图片

　　　　1) Flink执行executor会自动根据代码生成DAG数据流图

　　　　2) ActorSystem创建Actor将数据流图发送给JobManager中的Actor

　　　　3) JobManager会不断接收TaskManager的心跳信息, 从而可以获取到有效的TaskManager

　　　　4) JobManager通过调度器在TaskManager中调度执行Task (在Flink中, 最小的调度单元就是Task, 对应就是一个线程)

　　　　5) 在程序执行过程中, Task与Task之间是可以进行数据传输的

　　　　Flink中的执行图可以分成四层, StreamGraph -> JobGraph -> ExecutionGraph -> 无物理执行图

　　　　StreamGraph: 是根据用户通过Stream API编写的代码生成的最初的图. 用来表示程序的拓扑结构. 

　　　　JobGraph: StreamGraph经过优化后生成了JobGraph, 提交给JobManager的数据结构. 主要的优化为, 将多个符合条件的节点Chain在一起作为一个节点, 这样可以减少数据在节点之间流动所需要的序列化 / 反序列化 / 传输消耗.

　　　　ExecutionGraph: JobManager根据JobGraph生成ExecutionGraph. ExecutionGraph是JobGraph的并行化版本, 是调度层最核心的数据结构. 

　　　　物理执行图: JobManager根据ExecutionGraph对Job进行调度后, 在各个TaskManager上部署Task后形成的"图" , 并不是一个具体的数据结构. 

　　　　Job Client: 

　　　　　　主要职责是提交任务, 提交后可以结束进程, 也可以等待结果返回. 

　　　　　　Job Client不是Flink程序执行的内部部分, 但他是任务执行的起点. 

　　　　　   Job Client负责接受用户的程序代码, 然后创建数据流, 将数据流提交给Job Manager以便进一步执行. 执行完成后, Job Client将结果返回给用户

　　　　JobManager: 

　　　　　　主要职责是调度工作并协调任务做检查点. 

　　　　　　集群中至少要有一个master, master负责调度Task, 协调checkpoint和容错. 

　　　　　　高可用设置的话可以有多个master, 但要保证一个是leader, 其他是standby.

　　　　　　Job Manager包含Actor System, Scheduler, CheckPoint协调器三个重要组件.

　　　　　　Job Manager从客户端接收到任务以后, 首先生成优化过的执行计划, 再调度到TaskManager中执行.

　　　　TaskManager: 

　　　　　　主要职责是从JobManager接收任务, 并部署和启动任务, 接收上游的数据并处理.

　　　　　　Task Manager是在JVM中的一个或多个线程中执行任务的工作节点.

　　　　　　TaskManager在创建之初就设置好了Slot, 每个Slot可以执行一个任务. 

　　3.8任务槽 (Task-Slot) 和槽共享 (Slot Sharing)

　　　　Flink01_第13张图片　　　　　　　

　　　　每个TaskManager是一个JVM进程, 可以在不同的线程中执行一个或多个子任务. 

　　　　为了控制一个TaskManager能接收多个Task, TaskManager通过Task Slot来进行控制 (一个TaskManager至少有一个Task Slot). 

　　　　每个Task Slot表示TaskManager拥有资源的一个固定大小的子集.

　　　　Flink将进程的内存进行了划分到多个Slot中.

　　　　图中有2个TaskManager, 每个TaskManager有3个Slot, 每个Slot占有1 / 3的内存. 

　　　　内存被划分到不同的Slot之后可以获得如下好处: 

　　　　　　1) TaskManager最多能同时并发执行的任务是可以控制的,  那就是3个, 因为不能超过Slot的数量. 

　　　　　　2) Slot有独占的内存空间, 这样在一个TaskManager中可以运行多个不同的作业, 作业之间不受影响. 

　　　　槽共享 (Slot Sharing)

　　　　1) Flink默认允许同一个Job下的Subtask可以共享Slot. 

　　　　2) 这样可以使得同一个Slot运行整个Job的流水线  (pipleline)

　　　　3) 槽共享可以获得如下好处: 

　　　　　　a. 只需计算Job中最高并行度 (parallelism) 的Task Slot, 只要这个满足, 其他的Job也能满足. 

　　　　　　b. 资源分配更加公平, 如果有比较空闲的Slot可以将更多的任务分配给他. 图中若没有任务槽共享, 负载不高的Source / Map等Subtask将会占据许多资源, 而负载较高的窗口Subtask则会缺乏资源. 

　　　　　　c. 有了任务槽共享, 可以提高分槽资源你的利用率. 同时他还可以保障TaskManager给Subtask的分配的Slot方案更加公平. 

　　　　4) 经验上讲Slot的数量与CPU-core的数量一致为好. 但考虑到超线程, 可以让slotNumber = 2 * cpuCore

 　　　　Flink01_第14张图片

 　　3.9 Flink应用场景

 　　　　Flink01_第15张图片

 

 　　　　阿里在Flink的应用主要包含四个模块: 实时监控, 实时报表, 流数据分析, 实时仓库

　　　　实时监控: 

    • 用户行为预警, app crash预警, 服务器攻击预警
    • 对用户行为或者相关事件进行实时监测和分析, 基于风控规则进行预警

　　　　实时报表:

    • 双11, 双12等活动直播大屏
    • 对外数据产品: 生意参谋等
    • 数据化运营

　　　　流数据分析:

    • 实时计算相关指标反馈及时调整决策
    • 内容投放, 无线智能推送, 实时个性化推荐等

　　　　实时仓库: 

    • 数据实时清洗, 归并, 结构化
    • 数仓的补充和优化

 

4. 思考题: 

 　　　　问: 假设你是一个电商公司, 经常搞运营活动, 但收效甚微, 经过细致排查, 发现原来是羊毛党在薅平台的羊毛, 把补给用户的补贴都薅走了, 钱花了不少, 效果却没达到. 我们应该怎么办呢? 

 　　　　答: 你可以做一个实时的异常检测系统，监控用户的高危行为，及时发现高危行为并采取措施，降低损失。

　　　　系统流程：

　　　　1) 用户的行为经由app上报或web日志记录下来, 发送到一个消息队列里去
　　　　2) 然后流计算订阅消息队列, 过滤出感兴趣的行为, 比如: 购买, 领券, 浏览等
　　　　3) 流计算把这个行为特征化
　　　　4) 流计算通过UDF调用外部一个风险模型, 判断这次行为是否有问题 (单次行为)
　　　　5) 流计算里通过CEP功能, 跨多条记录分析用户行为 (比如用户先做了a, 又做了b, 又做了3次c) , 整体识别是否有风险
　　　　6) 综合风险模型和CEP的结果, 产出预警信息

 

 

 

你可能感兴趣的:(Flink01)

  • [Flink01] 了解Flink YoungerChina 数据湖flink大数据
    Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。Flink入门分为四篇，第一篇是《了解Flink》，第二篇《架构和原理》，第三篇是《DataStream》，第四篇是《TableApi&SQL》。官网地址https://nightlies.apache.org
  • flink-基础 举个栗く 笔记大数据
    Flink01—Flink基础一Flink简介及安装ApacheFlink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。1.Flink架构体系简介特点批流统一支持高吞吐、低延迟、高性能的流处支持带有事件时间的窗口（Window）操作支持有状态计算的Exactly-once语义支持高度灵活的窗口（Window）操作，支持
  • 深度解析WordCount，入门Flink 朝闻道-夕死可矣 大数据
    要想熟练掌握一个大数据框架，仅仅是学习一些网络上的样例程序是远远不够的，我们必须系统地了解它背后的设计和运行原理。本文将以WordCount的案例为主线，主要介绍Flink的设计和运行原理。关于FlinkWordCount程序可以参考我之前的文章：Flink01|十分钟搭建第一个Flink应用和本地集群。原创不易，转载请注明出处。本文内容主要包括：Flink的数据流图，以及如何将数据流图从逻辑视角
  • Flink01：快速了解Flink：什么是Flink、Flink架构图、Flink三大核心组件、Flink的流处理与批处理、Storm vs SparkStreaming vs Flink 做一个有趣的人Zz Flinkflinkstormbigdata
    一、什么是FlinkApacheFlink是一个开源的分布式，高性能，高可用，准确的流处理框架。分布式：表示flink程序可以运行在很多台机器上，高性能：表示Flink处理性能比较高高可用：表示flink的稳定性和可用性是比较好的。准确的：表示flink可以保证处理数据的准确性。Flink支持流处理和批处理，虽然我们刚才说了flink是一个流处理框架，但是它也支持批处理。其实对于flink而言，它
  • Docker 构建 Flink 1.10.2 集群(ON YARN) 孙瑞锴
    1.借鉴使用Docker在本地搭建Flink分布式集群基于docker构建flink大数据处理平台Flink集群搭建Hadoop集成flink学习笔记-环境搭建篇ApacheFlink零基础入门（一）：基础概念解析FlinkonYARN的第三种部署模式：ApplicationModeFlink系列（八）——FlinkStandalone集群部署2.开始我们的集群规划如下：flink01[172.1
  • 阿里云打卡7天领Flink定制T恤 行云blog 网络linuxpython大数据机器学习
    在活动页面，通过7天的连续打卡学习可以获得1件Flink定制T恤，打卡学习时间从7月13日开始，目前还不能打卡，但是可以先报名，每天11:00开始发放报名名额。活动地址：https://developer.aliyun.com/topic/trainingcamp/flink01行云博客-免责申明本站提供的一切软件、教程和内容信息仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一
  • Flink01 大数据界第一ADC
    1.什么是Flink?1.14代大数据计算引擎第一代:MapReducer批处理Mapper,ReducerHadoop的MapReducer将计算分为两个阶段,分别为Map和Reducer.对于上层应用来说,就不得不想方设法去拆分算法,甚至于不得不在上层应用实现多个Job的串联,以完成一个完整的算法,例如迭代计算.第二代:DAG框架(Tez)+MapReducer批处理1个Tez=MR(1)+M
  • Maven Array_06 eclipsejdkmaven
    Maven Maven是基于项目对象模型(POM)， 信息来管理项目的构建，报告和文档的软件项目管理工具。 Maven 除了以程序构建能力为特色之外，还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性，所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Maven 的面向项目的方法，许多 Apache Jakarta 项目发文时使用 Maven，而且公司
  • ibatis的queyrForList和queryForMap区别 bijian1013 javaibatis
    一.说明         iBatis的返回值参数类型也有种：resultMap与resultClass，这两种类型的选择可以用两句话说明之：         1.当结果集列名和类的属性名完全相对应的时候，则可直接用resultClass直接指定查询结果类
  • LeetCode[位运算] - #191 计算汉明权重 Cwind java位运算LeetCodeAlgorithm题解
    原题链接：#191 Number of 1 Bits 要求： 写一个函数，以一个无符号整数为参数，返回其汉明权重。例如，‘11’的二进制表示为'00000000000000000000000000001011', 故函数应当返回3。 汉明权重：指一个字符串中非零字符的个数；对于二进制串，即其中‘1’的个数。 难度：简单 分析： 将十进制参数转换为二进制，然后计算其中1的个数即可。 “
  • 浅谈java类与对象 15700786134 java
          java是一门面向对象的编程语言，类与对象是其最基本的概念。所谓对象，就是一个个具体的物体，一个人，一台电脑，都是对象。而类，就是对象的一种抽象，是多个对象具有的共性的一种集合，其中包含了属性与方法，就是属于该类的对象所具有的共性。当一个类创建了对象，这个对象就拥有了该类全部的属性，方法。相比于结构化的编程思路，面向对象更适用于人的思维
  • linux下双网卡同一个IP 被触发 linux
    转自： http://q2482696735.blog.163.com/blog/static/250606077201569029441/ 由于需要一台机器有两个网卡，开始时设置在同一个网段的IP，发现数据总是从一个网卡发出，而另一个网卡上没有数据流动。网上找了下，发现相同的问题不少： 一、 关于双网卡设置同一网段IP然后连接交换机的时候出现的奇怪现象。当时没有怎么思考、以为是生成树
  • 安卓按主页键隐藏程序之后无法再次打开 肆无忌惮_ 安卓
    遇到一个奇怪的问题，当SplashActivity跳转到MainActivity之后，按主页键，再去打开程序，程序没法再打开（闪一下），结束任务再开也是这样，只能卸载了再重装。而且每次在Log里都打印了这句话"进入主程序"。后来发现是必须跳转之后再finish掉SplashActivity   本来代码：   // 销毁这个Activity fin
  • 通过cookie保存并读取用户登录信息实例 知了ing JavaScripthtml
    通过cookie的getCookies()方法可获取所有cookie对象的集合；通过getName()方法可以获取指定的名称的cookie；通过getValue()方法获取到cookie对象的值。另外，将一个cookie对象发送到客户端，使用response对象的addCookie()方法。 下面通过cookie保存并读取用户登录信息的例子加深一下理解。 （1）创建index.jsp文件。在改
  • JAVA 对象池 矮蛋蛋 javaObjectPool
    原文地址： http://www.blogjava.net/baoyaer/articles/218460.html Jakarta对象池       ☆为什么使用对象池   恰当地使用对象池化技术，可以有效地减少对象生成和初始化时的消耗，提高系统的运行效率。Jakarta Commons Pool组件提供了一整套用于实现对象池化
  • ArrayList根据条件+for循环批量删除的方法 alleni123 java
    场景如下： ArrayList<Obj> list Obj-> createTime, sid. 现在要根据obj的createTime来进行定期清理。（释放内存） ------------------------- 首先想到的方法就是 for(Obj o:list){ if(o.createTime-currentT>xxx){
  • 阿里巴巴“耕地宝”大战各种宝 百合不是茶 平台战略
    “耕地保”平台是阿里巴巴和安徽农民共同推出的一个 “首个互联网定制私人农场”，“耕地宝”由阿里巴巴投入一亿 ，主要是用来进行农业方面，将农民手中的散地集中起来 不仅加大农民集体在土地上面的话语权，还增加了土地的流通与 利用率，提高了土地的产量，有利于大规模的产业化的高科技农业的 发展，阿里在农业上的探索将会引起新一轮的产业调整，但是集体化之后农民的个体的话语权 将更少，国家应出台相应的法律法规保护
  • Spring注入有继承关系的类（1） bijian1013 javaspring
    一个类一个类的注入 1.AClass类 package com.bijian.spring.test2; public class AClass { String a; String b; public String getA() { return a; } public void setA(Strin
  • 30岁转型期你能否成为成功人士 bijian1013 成功
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • [Velocity三]基于Servlet+Velocity的web应用 bit1129 velocity
    什么是VelocityViewServlet 使用org.apache.velocity.tools.view.VelocityViewServlet可以将Velocity集成到基于Servlet的web应用中，以Servlet+Velocity的方式实现web应用   Servlet + Velocity的一般步骤 1.自定义Servlet，实现VelocityViewServl
  • 【Kafka十二】关于Kafka是一个Commit Log Service bit1129 service
    Kafka is a distributed, partitioned, replicated commit log service.这里的commit log如何理解？   A message is considered "committed" when all in sync replicas for that partition have applied i
  • NGINX + LUA实现复杂的控制 ronin47 lua nginx 控制
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-14.输入一个已经按升序排序过的数组和一个数字， 在数组中查找两个数，使得它们的和正好是输入的那个数字 bylijinnan java
    public class TwoElementEqualSum { /** * 第 14 题： 题目：输入一个已经按升序排序过的数组和一个数字， 在数组中查找两个数，使得它们的和正好是输入的那个数字。 要求时间复杂度是 O(n) 。如果有多对数字的和等于输入的数字，输出任意一对即可。 例如输入数组 1 、 2 、 4 、 7 、 11 、 15 和数字 15 。由于
  • Netty源码学习-HttpChunkAggregator-HttpRequestEncoder-HttpResponseDecoder bylijinnan javanetty
    今天看Netty如何实现一个Http Server org.jboss.netty.example.http.file.HttpStaticFileServerPipelineFactory： pipeline.addLast("decoder", new HttpRequestDecoder()); pipeline.addLast(&quo
  • java敏感词过虑-基于多叉树原理 cngolon 违禁词过虑替换违禁词敏感词过虑多叉树
    基于多叉树的敏感词、关键词过滤的工具包，用于java中的敏感词过滤 1、工具包自带敏感词词库，第一次调用时读入词库，故第一次调用时间可能较长，在类加载后普通pc机上html过滤5000字在80毫秒左右，纯文本35毫秒左右。   2、如需自定义词库，将jar包考入WEB-INF工程的lib目录，在WEB-INF/classes目录下建一个 utf-8的words.dict文本文件，
  • 多线程知识 cuishikuan 多线程
    T1，T2，T3三个线程工作顺序，按照T1，T2，T3依次进行 public class T1 implements Runnable{           @Override      
  • spring整合activemq dalan_123 java spring jms
    整合spring和activemq需要搞清楚如下的东东1、ConnectionFactory分：     a、spring管理连接到activemq服务器的管理ConnectionFactory也即是所谓产生到jms服务器的链接      b、真正产生到JMS服务器链接的ConnectionFactory还得
  • MySQL时间字段究竟使用INT还是DateTime？ dcj3sjt126com mysql
      环境：Windows XPPHP Version 5.2.9MySQL Server 5.1 第一步、创建一个表date_test（非定长、int时间） CREATE TABLE `test`.`date_test` (`id` INT NOT NULL AUTO_INCREMENT ,`start_time` INT NOT NULL ,`some_content`
  • Parcel: unable to marshal value dcj3sjt126com marshal
    在两个activity直接传递List<xxInfo>时，出现Parcel: unable to marshal value异常。   在MainActivity页面（MainActivity页面向NextActivity页面传递一个List<xxInfo>）：   Intent intent = new Intent(this, Next
  • linux进程的查看上（ps） eksliang linux pslinux ps -llinux ps aux
    ps:将某个时间点的进程运行情况选取下来 转载请出自出处：http://eksliang.iteye.com/admin/blogs/2119469 http://eksliang.iteye.com         ps 这个命令的man page 不是很好查阅，因为很多不同的Unix都使用这儿ps来查阅进程的状态，为了要符合不同版本的需求，所以这个
  • 为什么第三方应用能早于System的app启动 gqdy365 System
    Android应用的启动顺序网上有一大堆资料可以查阅了，这里就不细述了，这里不阐述ROM启动还有bootloader，软件启动的大致流程应该是启动kernel -> 运行servicemanager 把一些native的服务用命令启动起来（包括wifi, power, rild, surfaceflinger, mediaserver等等）-> 启动Dalivk中的第一个进程Zygot
  • App Framework发送JSONP请求(3) hw1287789687 jsonp跨域请求发送jsonpajax请求越狱请求
    App Framework 中如何发送JSONP请求呢? 使用jsonp,详情请参考:http://json-p.org/ 如何发送Ajax请求呢? (1)登录 /*** * 会员登录 * @param username * @param password */ var user_login=function(username,password){ // aler
  • 发福利，整理了一份关于“资源汇总”的汇总 justjavac 资源
    觉得有用的话，可以去github关注：https://github.com/justjavac/awesome-awesomeness-zh_CN 通用 free-programming-books-zh_CN 免费的计算机编程类中文书籍 精彩博客集合 hacke2/hacke2.github.io#2 ResumeSample 程序员简历
  • 用 Java 技术创建 RESTful Web 服务 macroli java编程WebREST
    转载：http://www.ibm.com/developerworks/cn/web/wa-jaxrs/   JAX-RS (JSR-311) 【 Java API for RESTful Web Services 】是一种 Java™ API，可使 Java Restful 服务的开发变得迅速而轻松。这个 API 提供了一种基于注释的模型来描述分布式资源。注释被用来提供资源的位
  • CentOS6.5-x86_64位下oracle11g的安装详细步骤及注意事项 超声波 oraclelinux
    前言： 这两天项目要上线了，由我负责往服务器部署整个项目，因此首先要往服务器安装oracle，服务器本身是CentOS6.5的64位系统，安装的数据库版本是11g，在整个的安装过程中碰到很多的坑，不过最后还是通过各种途径解决并成功装上了。转别写篇博客来记录完整的安装过程以及在整个过程中的注意事项。希望对以后那些刚刚接触的菜鸟们能起到一定的帮助作用。   安装过程中可能遇到的问题（注
  • HttpClient 4.3 设置keeplive 和 timeout 的方法 supben httpclient
    ConnectionKeepAliveStrategy kaStrategy = new DefaultConnectionKeepAliveStrategy() { @Override public long getKeepAliveDuration(HttpResponse response, HttpContext context) { long keepAlive
  • Spring 4.2新特性-@Import注解的升级 wiselyman spring 4
    3.1 @Import @Import注解在4.2之前只支持导入配置类 在4.2,@Import注解支持导入普通的java类,并将其声明成一个bean 3.2 示例 演示java类 package com.wisely.spring4_2.imp; public class DemoService { public void doSomethin
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他