ExtJS4.0源代码分析

Hadoop源代码分析（四零）

有了上面的基础，我们可以来解剖DFSOutputStream了。先看构造函数：   privateDFSOutputStream(Stringsrc, longblockSize,Progressableprogress,      intbytesPerChecksum) throws IOException  DFSOutputStream(Stringsrc,FsPermissionmask
超人学院·2015-06-11 15:00

【原创】kafka admin源代码分析

admin包定义了命令行的一些实现 一、AdminOperationException.scala 一个异常类，表示执行admin命令时候抛出的异常 二、AdminUtils.scala admin一些常用工具方法： 1. assignReplicasToBrokers：负责分配副本到不同的broker上。主要有两个目标：① 尽可能均匀地在不同的broker上分配副本；② 对
·2015-06-11 15:00

FFmpeg的HEVC解码器源代码简单分析：解码器主干部分

=====================================================HEVC源代码分析文章列表：【解码-libavcodecHEVC解码器】FFmpeg的HEVC解码器源代码简单分析
leixiaohua1020·2015-06-10 16:00

FFmpeg的HEVC解码器源代码简单分析：解析器（Parser）部分

=====================================================HEVC源代码分析文章列表：【解码-libavcodecHEVC解码器】FFmpeg的HEVC解码器源代码简单分析
leixiaohua1020·2015-06-09 23:00

Hadoop源代码分析（Task的内部类和辅助类）

从前面的图中，我们可以发现Task有很多内部类，并拥有大量类成员变量，这些类配合Task完成相关的工作，如下图。 MapOutputFile管理着Mapper的输出文件，它提供了一系列get方法，用于获取Mapper需要的各种文件，这些文件都存放在一个目录下面。我们假设传入MapOutputFile的JobID为job_200707121733_0003，TaskID为task_200707121
超人学院·2015-06-09 16:00

【原创】kafka client源代码分析

该包下只有一个文件：ClientUtils.scala。它是一个object，里面封装了各种client(包括producer，consumer或admin)可能会用到的方法： 1. fetchTopicMetadata(producer版本)： producer client会调用该方法来发送一个TopicMetadata请求，最后返回该请求对应的response。具体逻辑如下：
·2015-06-09 14:00

【原创】kafka consumer源代码分析

顾名思义，就是kafka的consumer api包。 一、ConsumerConfig.scala Kafka consumer的配置类，除了一些默认值常量及验证参数的方法之外，就是consumer的配置参数了，比如group.id, consumer.id等，详细列表见官网。 二、ConsumerIterator.scala     KafkaS
·2015-06-09 13:00

FFmpeg的HEVC解码器源代码简单分析：概述

=====================================================HEVC源代码分析文章列表：【解码-libavcodecHEVC解码器】FFmpeg的HEVC解码器源代码简单分析
leixiaohua1020·2015-06-08 14:00

Android应用程序绑定服务(bindService)的过程源代码分析

实际上：还是底层还是通过binder进程间通信http://wenku.baidu.com/link?url=mx6ol-xXe7tjPv-IdkgdtGBtVW5oevqOWqcc4uIHDUQHblnj8goaCkBHnjuuDg1LGRPTnTwaFQLDpypSgDkILotBZNtLj1uyUpnsYrz_H6y
yangxiaoming123·2015-06-06 13:11

【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析

在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
bit1129·2015-06-06 10:00

【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析

在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
bit1129·2015-06-06 10:00

【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析

在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
bit1129·2015-06-06 10:00

Hadoop源代码分析（MapReduce概论）

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。下面的图来自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.
超人学院66·2015-06-05 17:53

Hadoop源代码分析（MapReduce概论）

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。下面的图来自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.
超人学院66·2015-06-05 17:53

Hadoop源代码分析（MapReduce概论）

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。下面的图来自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.
超人学院66·2015-06-05 17:53

Hadoop源代码分析（MapReduce概论）

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。下面的图来自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.
超人学院·2015-06-05 16:00

Hadoop源代码分析（mapreduce.lib.partition/reduce/output）

Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。 Mapper的结果，可能送到可能的Combiner做合并，Combiner在系统中并没有自己的基类，而是用Reducer作为Combiner的基类，他们对外的功能是一样的，只是使用的位置和使用时的上下文不太一样而已。Mapp
超人学院66·2015-06-04 17:28

Hadoop源代码分析（mapreduce.lib.partition/reduce/output）

Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。Mapper的结果，可能送到可能的Combiner做合并，Combiner在系统中并没有自己的基类，而是用Reducer作为Combiner的基类，他们对外的功能是一样的，只是使用的位置和使用时的上下文不太一样而已。Mappe
超人学院66·2015-06-04 17:28

Hadoop源代码分析（mapreduce.lib.partition/reduce/output）

Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。 Mapper的结果，可能送到可能的Combiner做合并，Combiner在系统中并没有自己的基类，而是用Reducer作为Combiner的基类，他们对外的功能是一样的，只是使用的位置和使用时的上下文不太一样而已。Mapp
超人学院66·2015-06-04 17:28

Hadoop源代码分析（mapreduce.lib.partition/reduce/output）

Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。 Mapper的结果，可能送到可能的Combiner做合并，Combiner在系统中并没有自己的基类，而是用Reducer作为Combiner的基类，他们对外的功能是一样的，只是使用的位置和使用时的上下文不太一样而已。Mapp
超人学院·2015-06-04 17:00

Hadoop 源代码分析（二四）FSNamesystem

下面轮到FSNamesystem出场了。FSNamesystem.java一共有4573行，而整个namenode目录下所有的Java程序总共也只有16876行，把FSNamesystem搞定了，NameNode也就基本搞定。FSNamesystem是NameNode实际记录信息的地方，保存在FSNamesystem中的数据有：文件名数据块列表（存放在FSImage和日志中）合法的数据块列表（上面
超人学院66·2015-06-03 16:23

Hadoop 源代码分析（二四）FSNamesystem

下面轮到FSNamesystem出场了。FSNamesystem.java一共有4573行，而整个namenode目录下所有的Java程序总共也只有16876行，把FSNamesystem搞定了，NameNode也就基本搞定。FSNamesystem是NameNode实际记录信息的地方，保存在FSNamesystem中的数据有：文件名数据块列表（存放在FSImage和日志中）合法的数据块列表（上面
超人学院66·2015-06-03 16:23

Hadoop 源代码分析（二四）FSNamesystem

下面轮到FSNamesystem出场了。FSNamesystem.java一共有4573行，而整个namenode目录下所有的Java程序总共也只有16876行，把FSNamesystem搞定了，NameNode也就基本搞定。FSNamesystem是NameNode实际记录信息的地方，保存在FSNamesystem中的数据有：文件名数据块列表（存放在FSImage和日志中）合法的数据块列表（上面
超人学院·2015-06-03 16:00

Hadoop源代码分析（MapTask辅助类，III）

接下来讨论的是key，value的输出，这部分比较复杂，不过有了前面kvstart，kvend和kvindex配合的分析，有利于我们理解返部分的代码。输出缓冲区中，和kvstart，kvend和kvindex对应的是bufstart，bufend和bufmark。这部分还涉及到变量bufvoid，用与表明实际使用的缓冲区结尾（见后面BlockingBuffer.reset分析），和变量bufmar
超人学院66·2015-06-03 11:20

Hadoop源代码分析（MapTask辅助类，III）

接下来讨论的是key，value的输出，这部分比较复杂，不过有了前面kvstart，kvend和kvindex配合的分析，有利于我们理解返部分的代码。输出缓冲区中，和kvstart，kvend和kvindex对应的是bufstart，bufend和bufmark。这部分还涉及到变量bufvoid，用与表明实际使用的缓冲区结尾（见后面BlockingBuffer.reset分析），和变量bufmar
超人学院66·2015-06-03 11:20

Hadoop源代码分析（MapTask辅助类，III）

接下来讨论的是key，value的输出，这部分比较复杂，不过有了前面kvstart，kvend和kvindex配合的分析，有利于我们理解返部分的代码。输出缓冲区中，和kvstart，kvend和kvindex对应的是bufstart，bufend和bufmark。这部分还涉及到变量bufvoid，用与表明实际使用的缓冲区结尾（见后面BlockingBuffer.reset分析），和变量bufmar
超人学院·2015-06-03 11:00

Hadoop源代码分析（MapTask辅助类，II）

有了上面Mapper输出的内存存储结构和硬盘存储结构讨论，我们来仔细分析MapOutputBuffer的流程。首先是成员变量。最先初始化的是作业配置job和统计功能reporter。通过配置，MapOutputBuffer可以获取本地文件系统（localFs和rfs），Reducer的数目和Partitioner。SpillRecord是文件spill.out{spill号}.index在内存中的
超人学院·2015-06-02 18:00

RIPS自动化地挖掘PHP源代码安全漏工具

RIPS是一个源代码分析工具，它使用了静态分析技术，能够自动化地挖掘PHP源代码潜在的安全漏洞。渗透测试人员可以直接容易的审阅分析结果，而不用审阅整个程序代码。
296991904·2015-06-02 10:46

【原创】kafka server源代码分析(二)

十四、AbstractFetcherManager.scala 该scala定义了两个case类和一个抽象类。两个case类很简单： 1. BrokerAndFectherId：封装了一个broker和一个fetcher的数据结构 2. BrokerAndInitialOffset：封装了broker和初始位移的一个数据结构 该scala中最核心的还是那个抽象类：AbstractF
·2015-06-02 09:00

JedisCommand接口说明

本专栏与Redis相关的文章RedisSentinel机制与用法（一）RedisSentinel机制与用法（二）Jedis的JedisSentinelPool源代码分析Jedis的Sharded源代码分析
beanlam·2015-06-02 00:00

Hadoop源代码分析（MapTask辅助类 I）

Hadoop源代码分析（MapTask辅助类I）MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
超人学院66·2015-06-01 17:51

Hadoop源代码分析（MapTask辅助类 I）

Hadoop源代码分析（MapTask辅助类I）MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
超人学院66·2015-06-01 17:51

Hadoop源代码分析（MapTask辅助类 I）

Hadoop源代码分析（MapTask辅助类I）MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
超人学院·2015-06-01 16:00

Tomcat源代码分析

我下载的源码版本是7.0.50，你也可以从官网下载最新版的源代码，因为我们线上使用的是这个版，因此研究的也是这个，7.0版本的总体上变化应该不大，对研究学习里面的主干内容没有什么影响。根据官方的文档，需要使用ant这个比较古老的编译工具，实在有点繁琐，网上搜了一下，imtiger给出了比较好的解决方案，可以自己增加pom文件，然后生成Eclipse工程，非常方便。导入Eclipse首先将下载的ap
五大三粗·2015-05-31 13:00

Hadoop 源代码分析（二三）FSDirectory

下面我们来分析FSDirectory。其实分析FSDirectory最好的地方，应该是介绍完INode*以后，FSDirectory在INode*的基础上，保存了HDFS的文件目录状态。系统加载FSImage时，FSImage会在FSDirectory对象上重建文件目录状态，HDFS文件目录状态的变化，也由FSDirectory写日志，同时，它保存了文件名数据块的映射关系。FSDirectory只
超人学院66·2015-05-29 16:50

Hadoop 源代码分析（二三）FSDirectory

下面我们来分析FSDirectory。其实分析FSDirectory最好的地方，应该是介绍完INode*以后，FSDirectory在INode*的基础上，保存了HDFS的文件目录状态。系统加载FSImage时，FSImage会在FSDirectory对象上重建文件目录状态，HDFS文件目录状态的变化，也由FSDirectory写日志，同时，它保存了文件名数据块的映射关系。FSDirectory只
超人学院·2015-05-29 16:00

Storm杂谈之Acker拾趣

Storm杂谈之Acker拾趣本文所讲内容并非storm的acker机制，如果想看acker机制的让您失望了，不过在此奉上徐明明大牛的blog：TwitterStorm源代码分析之acker工作流程TwitterStorm
wzhg0508·2015-05-28 10:00

【原创】kafka server源代码分析(一)

这个是Kafkaserver的核心包，里面的类也很多，我们还是一个一个分析一、BrokerStates.scala定义了目前一个kafkabroker的7中状态——1.NotRunning：未运行2.Starting：启动中3.RecoveringFromUncleanShutdown：从上次异常恢复中4.RunningAsBroker：已启动5.RunningAsController：作为Con
weixin_33691700·2015-05-28 08:00

【原创】kafka server源代码分析(一)

这个是Kafka server的核心包，里面的类也很多，我们还是一个一个分析 一、BrokerStates.scala 定义了目前一个kafka broker的7中状态 ——  1. NotRunning：未运行 2. Starting：启动中 3. RecoveringFromUncleanShutdown：从上次异常恢复中 4. RunningAsBroker
·2015-05-28 08:00

zico源代码分析（一） 数据接收和存储部分

zorka和zico的代码地址：https://github.com/jitlogic由于zico是zorka的collecter端，所以在介绍zico之前首先说一下zorka和数据结构化存储和传输的部分。zorka抓取到数据后，会封装成一条TraceRecord，TraceRecord中包含本条trace的类，方法，调用链等信息，但是这些信息都是将对应的ID存在TraceRecord，而ID对应
Smart_Shuai·2015-05-27 20:29

Hadoop源代码分析（IFile）

Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。和IFile相关的类图如下： 其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOutputStream抽
超人学院·2015-05-27 17:00

Hadoop源代码分析（IFile）

Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。和IFile相关的类图如下：其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOutputStream抽象
超人学院66·2015-05-27 17:51

Hadoop源代码分析（IFile）

Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。和IFile相关的类图如下： 其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOutputStream抽
超人学院66·2015-05-27 17:51

android_fws_ams _study

view/17282Android入门-系统启动简介http://www.aichengxu.com/view/16442Android应用程序内部启动Activity过程（startActivity）的源代码分析
JESSE_ZHAO_503·2015-05-26 15:00

Hadoop源代码分析（*IDs类和*Context类）

我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和D
超人学院·2015-05-26 11:00

Hadoop源代码分析（*IDs类和*Context类）

我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和D
超人学院66·2015-05-26 10:03

Hadoop源代码分析（*IDs类和*Context类）

我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和D
超人学院66·2015-05-26 10:03

Hadoop源代码分析（包hadoop.mapred中的MapReduce接口）

前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了HadoopMapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapred，首先还是从mapred的MapRe
超人学院66·2015-05-25 14:24

Hadoop源代码分析（包hadoop.mapred中的MapReduce接口）

前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了HadoopMapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapred，首先还是从mapred的MapRe
超人学院66·2015-05-25 14:24

Hadoop源代码分析（包hadoop.mapred中的MapReduce接口）

前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了HadoopMapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapred，首先还是从mapred的MapRe
超人学院·2015-05-25 14:00
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他