E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Muduo源代码分析
Hadoop
源代码分析
（MapTask辅助类，III）
接下来讨论的是key，value的输出，这部分比较复杂，不过有了前面kvstart，kvend和kvindex配合的分析，有利于我们理解返部分的代码。输出缓冲区中，和kvstart，kvend和kvindex对应的是bufstart，bufend和bufmark。这部分还涉及到变量bufvoid，用与表明实际使用的缓冲区结尾（见后面BlockingBuffer.reset分析），和变量bufmar
超人学院
·
2015-06-03 11:00
hadoop
大数据
超人学院
Hadoop
源代码分析
（MapTask辅助类，II）
有了上面Mapper输出的内存存储结构和硬盘存储结构讨论，我们来仔细分析MapOutputBuffer的流程。首先是成员变量。最先初始化的是作业配置job和统计功能reporter。通过配置，MapOutputBuffer可以获取本地文件系统（localFs和rfs），Reducer的数目和Partitioner。SpillRecord是文件spill.out{spill号}.index在内存中的
超人学院
·
2015-06-02 18:00
hadoop
超人学院
RIPS自动化地挖掘PHP源代码安全漏工具
RIPS是一个
源代码分析
工具，它使用了静态分析技术，能够自动化地挖掘PHP源代码潜在的安全漏洞。渗透测试人员可以直接容易的审阅分析结果，而不用审阅整个程序代码。
296991904
·
2015-06-02 10:46
技术
源代码
程序
检测
下载地址
【原创】kafka server
源代码分析
(二)
十四、AbstractFetcherManager.scala 该scala定义了两个case类和一个抽象类。两个case类很简单： 1. BrokerAndFectherId：封装了一个broker和一个fetcher的数据结构 2. BrokerAndInitialOffset：封装了broker和初始位移的一个数据结构 该scala中最核心的还是那个抽象类：AbstractF
·
2015-06-02 09:00
server
JedisCommand接口说明
本专栏与Redis相关的文章RedisSentinel机制与用法（一）RedisSentinel机制与用法（二）Jedis的JedisSentinelPool
源代码分析
Jedis的Sharded
源代码分析
beanlam
·
2015-06-02 00:00
jedis
Hadoop
源代码分析
（MapTask辅助类 I）
Hadoop
源代码分析
（MapTask辅助类I）MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
超人学院66
·
2015-06-01 17:51
hadoop
超人学院
Hadoop
源代码分析
（MapTask辅助类 I）
Hadoop
源代码分析
（MapTask辅助类I）MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
超人学院66
·
2015-06-01 17:51
hadoop
超人学院
Hadoop
源代码分析
（MapTask辅助类 I）
Hadoop
源代码分析
（MapTask辅助类I）MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
超人学院
·
2015-06-01 16:00
hadoop
超人学院
Tomcat
源代码分析
我下载的源码版本是7.0.50，你也可以从官网下载最新版的源代码，因为我们线上使用的是这个版，因此研究的也是这个，7.0版本的总体上变化应该不大，对研究学习里面的主干内容没有什么影响。根据官方的文档，需要使用ant这个比较古老的编译工具，实在有点繁琐，网上搜了一下，imtiger给出了比较好的解决方案，可以自己增加pom文件，然后生成Eclipse工程，非常方便。导入Eclipse首先将下载的ap
五大三粗
·
2015-05-31 13:00
Hadoop
源代码分析
（二三）FSDirectory
下面我们来分析FSDirectory。其实分析FSDirectory最好的地方，应该是介绍完INode*以后，FSDirectory在INode*的基础上，保存了HDFS的文件目录状态。系统加载FSImage时，FSImage会在FSDirectory对象上重建文件目录状态，HDFS文件目录状态的变化，也由FSDirectory写日志，同时，它保存了文件名数据块的映射关系。FSDirectory只
超人学院66
·
2015-05-29 16:50
hadoop
hdfs
超人学院
Hadoop
源代码分析
（二三）FSDirectory
下面我们来分析FSDirectory。其实分析FSDirectory最好的地方，应该是介绍完INode*以后，FSDirectory在INode*的基础上，保存了HDFS的文件目录状态。系统加载FSImage时，FSImage会在FSDirectory对象上重建文件目录状态，HDFS文件目录状态的变化，也由FSDirectory写日志，同时，它保存了文件名数据块的映射关系。FSDirectory只
超人学院
·
2015-05-29 16:00
hadoop
超人学院
Storm杂谈之Acker拾趣
Storm杂谈之Acker拾趣本文所讲内容并非storm的acker机制，如果想看acker机制的让您失望了，不过在此奉上徐明明大牛的blog：TwitterStorm
源代码分析
之acker工作流程TwitterStorm
wzhg0508
·
2015-05-28 10:00
storm
分布式
实时计算
【原创】kafka server
源代码分析
(一)
这个是Kafkaserver的核心包，里面的类也很多，我们还是一个一个分析一、BrokerStates.scala定义了目前一个kafkabroker的7中状态——1.NotRunning：未运行2.Starting：启动中3.RecoveringFromUncleanShutdown：从上次异常恢复中4.RunningAsBroker：已启动5.RunningAsController：作为Con
weixin_33691700
·
2015-05-28 08:00
大数据
scala
数据结构与算法
【原创】kafka server
源代码分析
(一)
这个是Kafka server的核心包，里面的类也很多，我们还是一个一个分析 一、BrokerStates.scala 定义了目前一个kafka broker的7中状态 —— 1. NotRunning：未运行 2. Starting：启动中 3. RecoveringFromUncleanShutdown：从上次异常恢复中 4. RunningAsBroker
·
2015-05-28 08:00
server
zico
源代码分析
（一） 数据接收和存储部分
zorka和zico的代码地址：https://github.com/jitlogic由于zico是zorka的collecter端，所以在介绍zico之前首先说一下zorka和数据结构化存储和传输的部分。zorka抓取到数据后，会封装成一条TraceRecord，TraceRecord中包含本条trace的类，方法，调用链等信息，但是这些信息都是将对应的ID存在TraceRecord，而ID对应
Smart_Shuai
·
2015-05-27 20:29
Java
APM
Hadoop
源代码分析
（IFile）
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。和IFile相关的类图如下： 其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOutputStream抽
超人学院
·
2015-05-27 17:00
hadoop
超人学院
Hadoop
源代码分析
（IFile）
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。和IFile相关的类图如下：其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOutputStream抽象
超人学院66
·
2015-05-27 17:51
Hadoop
超人学院
Hadoop
源代码分析
（IFile）
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。和IFile相关的类图如下： 其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOutputStream抽
超人学院66
·
2015-05-27 17:51
hadoop
超人学院
libev库的框架解析
后续通过memcached、
muduo
等库的阅读。才深入理解了该库的框架模型。libev库不涉及具体的网络编程，而真正的主流网络编程框架需要基于此基础上实现，还需要大量的工作。在高性能
mdpmvpmao
·
2015-05-26 19:03
服务器及网络模型
android_fws_ams _study
view/17282Android入门-系统启动简介http://www.aichengxu.com/view/16442Android应用程序内部启动Activity过程（startActivity）的
源代码分析
JESSE_ZHAO_503
·
2015-05-26 15:00
Hadoop
源代码分析
（*IDs类和*Context类）
我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和D
超人学院
·
2015-05-26 11:00
hadoop
超人学院
Hadoop
源代码分析
（*IDs类和*Context类）
我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和D
超人学院66
·
2015-05-26 10:03
hadoop
源代码分析
超人学院
Hadoop
源代码分析
（*IDs类和*Context类）
我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和D
超人学院66
·
2015-05-26 10:03
hadoop
源代码分析
超人学院
Hadoop
源代码分析
（包hadoop.mapred中的MapReduce接口）
前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了HadoopMapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapred，首先还是从mapred的MapRe
超人学院66
·
2015-05-25 14:24
hadoop
源代码分析
超人学院
Hadoop
源代码分析
（包hadoop.mapred中的MapReduce接口）
前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了HadoopMapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapred，首先还是从mapred的MapRe
超人学院66
·
2015-05-25 14:24
hadoop
源代码分析
超人学院
Hadoop
源代码分析
（包hadoop.mapred中的MapReduce接口）
前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了HadoopMapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分析org.apache.hadoop.mapred，首先还是从mapred的MapRe
超人学院
·
2015-05-25 14:00
hadoop
超人学院
FFmpeg与libx264接口源代码简单分析
=====================================================H.264
源代码分析
文章列表：【编码-x264】x264源代码简单分析：概述x264源代码简单分析
leixiaohua1020
·
2015-05-25 01:00
ffmpeg
libx264
h.264
视频编码
avcodec
x264源代码简单分析：熵编码（Entropy Encoding）部分
=====================================================H.264
源代码分析
文章列表：【编码-x264】x264源代码简单分析：概述x264源代码简单分析
leixiaohua1020
·
2015-05-24 22:00
输出
x264
CAVLC
CABAC
MVD
x264源代码简单分析：宏块编码（Encode）部分
=====================================================H.264
源代码分析
文章列表：【编码-x264】x264源代码简单分析：概述x264源代码简单分析
leixiaohua1020
·
2015-05-24 13:00
编码
x264
量化
dct
残差
x264源代码简单分析：宏块分析（Analysis）部分-帧间宏块（Inter）
=====================================================H.264
源代码分析
文章列表：【编码-x264】x264源代码简单分析：概述x264源代码简单分析
leixiaohua1020
·
2015-05-23 19:00
x264
帧间预测
运动估计
运动搜索
亚像素
x264源代码简单分析：宏块分析（Analysis）部分-帧内宏块（Intra）
=====================================================H.264
源代码分析
文章列表：【编码-x264】x264源代码简单分析：概述x264源代码简单分析
leixiaohua1020
·
2015-05-22 16:00
x264
h.264
SAD
帧内编码
Intra
【原创】kafka controller
源代码分析
(二)
四、TopicDeletionManager.scala 管理topic删除的状态机，具体逻辑如下： TopicCommand发送topic删除命令，在zk的/admin/delete_topics目录下创建topic节点 controller会监听该zk目录下任何节点的变更并为对应的topic开启删除操作 controller开启一个后台线程处理topic的删除。使用该线
·
2015-05-22 11:00
controller
Hadoop
源代码分析
（包mapreduce.lib.input）
接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关内容，并介绍对应的基类的功能。首先是input部分，它实现了MapReduce的数据输入部分。类图如下： 类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：l 检查MapReduc
超人学院
·
2015-05-22 11:00
hadoop
Hadoop
源代码分析
（包mapreduce.lib.input）
接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关内容，并介绍对应的基类的功能。首先是input部分，它实现了MapReduce的数据输入部分。类图如下： 类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：l 检查MapReduc
超人学院66
·
2015-05-22 10:22
hadoop
超人学院
Hadoop
源代码分析
（包mapreduce.lib.input）
接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关内容，并介绍对应的基类的功能。首先是input部分，它实现了MapReduce的数据输入部分。类图如下： 类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：l 检查MapReduc
超人学院66
·
2015-05-22 10:22
hadoop
超人学院
Hadoop
源代码分析
（MapTask）
接下来我们来分析Task的两个子类，MapTask和ReduceTask。MapTask的相关类图如下： MapTask其实不是很复杂，复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少，只有split和splitClass。我们知道，Map的输入是split，是原始数据的一个切分，这个切分由org.apache.hadoop.mapred.InputSplit的子类具体描述（
超人学院
·
2015-05-21 14:00
hadoop
超人学院
Hadoop
源代码分析
（MapTask）
接下来我们来分析Task的两个子类，MapTask和ReduceTask。MapTask的相关类图如下： MapTask其实不是很复杂，复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少，只有split和splitClass。我们知道，Map的输入是split，是原始数据的一个切分，这个切分由org.apache.hadoop.mapred.InputSplit的子类具体描述（
超人学院66
·
2015-05-21 11:00
hadoop
map
task
超人学院
Hadoop
源代码分析
（MapTask）
接下来我们来分析Task的两个子类，MapTask和ReduceTask。MapTask的相关类图如下： MapTask其实不是很复杂，复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少，只有split和splitClass。我们知道，Map的输入是split，是原始数据的一个切分，这个切分由org.apache.hadoop.mapred.InputSplit的子类具体描述（
超人学院66
·
2015-05-21 11:00
hadoop
map
task
超人学院
Hadoop
源代码分析
（MapTask）
接下来我们来分析Task的两个子类，MapTask和ReduceTask。MapTask的相关类图如下：MapTask其实不是很复杂，复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少，只有split和splitClass。我们知道，Map的输入是split，是原始数据的一个切分，这个切分由org.apache.hadoop.mapred.InputSplit的子类具体描述（前
超人学院66
·
2015-05-21 11:00
Hadoop
map
task
超人学院
x264源代码简单分析：滤波（Filter）部分
=====================================================H.264
源代码分析
文章列表：【编码-x264】x264源代码简单分析：概述x264源代码简单分析
leixiaohua1020
·
2015-05-20 22:00
x264
滤波
视频质量
半像素内插
使用C++11改造
muduo
上周拿到了订购的《Linux多线程服务端编程:使用
muduo
C++网络库》一书，花费一天时间浏览了一遍，并细读了其中感兴趣的一些章节。阅毕，决定用C++11改造其相应源码
muduo
。
alexstocks
·
2015-05-20 14:00
boost
C++11
cmake
muduo
使用C++11改造
muduo
上周拿到了订购的《Linux多线程服务端编程:使用
muduo
C++网络库》一书，花费一天时间浏览了一遍，并细读了其中感兴趣的一些章节。阅毕，决定用C++11改造其相应源码
muduo
。
alexstocks
·
2015-05-20 14:00
boost
C++11
cmake
muduo
Hadoop
源代码分析
（三一）
下面是和目��树相关的方法。publicbooleanrename(Stringsrc,Stringdst)throwsIOException;更改文件名。调用FSNamesystem的renameTo，干活的是renameToInternal，最终调用FSDirectory的renameTo方法，如果成功，更新租约的文件名，如下：changeLease(src,dst,dinfo);public
超人学院66
·
2015-05-19 16:58
hadoop
超人学院
Hadoop
源代码分析
（三一）
下面是和目��树相关的方法。publicbooleanrename(Stringsrc,Stringdst)throwsIOException;更改文件名。调用FSNamesystem的renameTo，干活的是renameToInternal，最终调用FSDirectory的renameTo方法，如果成功，更新租约的文件名，如下：changeLease(src,dst,dinfo);public
超人学院66
·
2015-05-19 16:58
hadoop
超人学院
Hadoop
源代码分析
（三一）
下面是和目彔树相关的方法。publicbooleanrename(Stringsrc,Stringdst)throwsIOException;更改文件名。调用FSNamesystem的renameTo，干活的是renameToInternal，最终调用FSDirectory的renameTo方法，如果成功，更新租约的文件名，如下：changeLease(src,dst,dinfo);publicb
超人学院66
·
2015-05-19 16:58
Hadoop
超人学院
转：Tiny Jpeg Decoder （JPEG解码程序）
源代码分析
本文转自：http://blog.csdn.net/leixiaohua1020/article/details/12617079 Tiny Jpeg Decoder是一个可以用于嵌入式系统的JPEG解码器。也可以在Windows上编译通过。在此分析一下它部分的源代码，辅助学习JPEG解码知识。 通过TinyJpeg可以将JPEG（*.jpg）文件解码为YUV（*.yuv）或者RGB（*.
·
2015-05-18 11:00
decode
x264源代码简单分析：x264_slice_write()
=====================================================H.264
源代码分析
文章列表：【编码-x264】x264源代码简单分析：概述x264源代码简单分析
leixiaohua1020
·
2015-05-17 18:00
x264
量化
半像素内插
环路滤波
DCT变换
24、HashSet与HashMap
源代码分析
1、HashSet底层是使用HashMap实现的。当使用add方法将对象添加到set当中时，实际上是将该对象作为底层所维护的Map对象的Key，，而value则都是同一个Object对象（该对象我们用不上）；HashSet部分源代码：[java]viewplaincopyprint?privatetransientHashMapmap; privatetransientHashMapmap; [j
hekaihaw
·
2015-05-16 11:00
java开发工具
x264源代码简单分析：编码器主干部分-2
=====================================================H.264
源代码分析
文章列表：【编码-x264】x264源代码简单分析：概述x264源代码简单分析
leixiaohua1020
·
2015-05-14 14:00
编码
slice
x264
h.264
NALU
【原创】kafka controller
源代码分析
(一)
Kafka集群中的一个broker会被作为controller负责管理分区和副本的状态以及执行类似于重分配分区之类的管理任务。如果当前的controller失败了，会从剩下的broker中选出新的controller。 一、PartitionLeaderSelector.scala 顾名思义就是为分区选举出leader broker，该trait只定义了一个方法selectLeader，接
·
2015-05-13 17:00
controller
上一页
49
50
51
52
53
54
55
56
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他