hadoop源码分析

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

基于CentOS7 Hadoop-2.7.2伪分布式部署

1、基本环境Linux版本：CentOS7.0JDK版本：jdk-7u79-linux-x64.tar.gzHadoop版本：hadoop-2.7.2.tar.gzjdk以及Hadoop安装在/usr目录下
程序员小H·2024-01-25 07:23

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

（一）Netty服务端启动类源码分析

目录前言一、Netty版本二、Netty提供的服务端样例：EchoServer类解析前言本文需要了解一些Netty的基础知识，建议直接下载源码进行阅读，如果有错误疑问，欢迎指正讨论一、Netty版本源码分析系列基于
_isPan·2024-01-25 06:36

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
小猪Harry·2024-01-25 05:09

Lucene 源码分析——BKD-Tree

Lucene源码分析——BKD-Tree-AIQBkd-TreeBkd-Tree作为一种基于K-D-B-tree的索引结构，用来对多维度的点数据(multi-dimensionalpointdata)集进行索引
大叶子不小·2024-01-25 05:17

源码分析：Redis hash和Java HashMap、ConcurrentHashMap区别

简述大家在开发工作中经常使用的key-value的数据结构，像Java中有HashMap，线程安全的ConcurrentHashMap，在Redis中hash结构更是最基础的；这里我们来分析一下它们的底层数据结构，包括如何扩容的；HashMapJava的HashMap是比较传统的数据结构了，网上关于HashMap的数据结构介绍有很多，就不再过多赘述了，这里咱们以JDK1.8的为主；我们重点关注Ha
史啸天·2024-01-25 02:28

Spring系列之Spring常用注解总结

交流群：818491202验证：33关注公众号领资料搜索公众号【Java耕耘者】,回复【Java】，即可获取大量优质电子书和一份Java高级架构资料、Spring源码分析、Dubbo、Redis、Netty
Java耕耘者·2024-01-25 01:19

源码分析：高性能限流器Guava RateLimiter

主题本章我们来分析GuavaRateLimiter是如何解决高并发场景下的限流问题的Guava是Google开源的Java类库，提供了一个工具类RateLimiter。使用时候必须加入以下依赖：com.google.guavaguava${version}其中${version}参考https://search.maven.org/search?q=g:com.google.guava%20AND
逗逼程序员·2024-01-25 01:19

Python requests网络库源码分析（第三篇：通过学习异常模块，了解http协议）

前言作者在requests包下，定义了exceptions模块，该模块中定义执行http请求过程中常见的错误，熟悉这些错误有助于我们写出健壮的业务程序，同时还能温习http的知识点，本文基于的requests版本为2.27.1exceptions模块，位于requests包中exceptions模块中又定义了很多类，每个类创建的对象，代表一个http错误，可见作者对于http协议有多熟悉逐个介绍一
叫我王员外就行·2024-01-25 00:03

flask_apscheduler源码分析

前言遵循flask框架的标准的库，称为flask扩展，flask_apscheduler模块就是一个flask扩展，它使用了flask编程上下文，同时内部完全依赖apscheduler。我近期使用flask_apscheduler遇到了一个所有job全部死亡的bug。现象：job平时是正常启动的，突然某个时刻全部挂了，所以需要分析一遍源码，找出解决方案，同时也能提高自己的代码阅读能力，大家一起学习
叫我王员外就行·2024-01-25 00:32

ThreadLocal

image.pngThreadLocal的源码分析Thread类中有个变量threadLocals，
程序员札记·2024-01-24 23:42

linuxPWM子系统源码分析--Apple的学习笔记

一，前言所谓学习，那么就和单纯完成任务是不同的，我的学习也是有目标的，那么从linux驱动开发的角度来说，若只是配置下就能用了，这样有点知其然而不知其所以然，所以我的目标就是先会用，然后学习框架及源码，便于将来遇到问题后调试定位和代码优化。另外，最主要的就是学习linux中面向对象的抽象设计思路。所以做完了SG90的PWM后，那么就要分析PWM源码了。并且发现了看源码有助于我在写驱动的时候对函数的
applecai·2024-01-24 21:03

Spark基本架构及原理

Hadoop和Spark的关系Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
李飞_fd28·2024-01-24 20:50

死磕以太坊源码分析之p2p节点发现

死磕以太坊源码分析之p2p节点发现在阅读节点发现源码之前必须要理解kadmilia算法，可以参考：KAD算法详解。节点发现概述节点发现，使本地节点得知其他节点的信息，进而加入到p2p网络中。
mindcarver·2024-01-24 18:18

Android 计时器Chronometer 使用及源码分析

ChronometerChronometer是一个「简单的计时器」组件，继承自TextView。但是Chronometer「不显示当前时间」，它显示的是从某个起始时间开始，一共过去了多长时间。主要XML属性如下：「android:countDown」是否倒计时，默认false。「android:format」设置显示时间格式。如果指定，第一个「"%s"」替换为"MM:SS"或"H:MM:SS"形式
大渔歌_·2024-01-24 18:58

Linux网卡接收数据包过程图详细总结

简介本文对代码的详细实现过程不做过多的讲解，重点让读者熟悉数据的接收过程，如需进一步熟悉源码，可根据下面的链接做进一步学习：1、网卡驱动源码分析2、网卡结构和基础知识详解收包过程总览从TCP/IP网络分层模型中可以清楚当数据帧从网卡
快乐的学习·2024-01-24 16:17

2019-05-15

主流程1.关闭防火墙2.机器间实现免密3.zk部署4.hadoop部署实现流程2.免密登录ssh-keygen回车一直到最后（有3次）生成本机秘钥后，同步到自己机器和其他机器ssh-copy-idhostxshell
泡泡_bbb9·2024-01-24 15:54

通过hadoop jar命令运行提交MapReduce到YARN中

实现Wordcount大概流程：给定数据输入的路径，给定结果输出的路径；将输入路径内的数据中的单词进行计数，将结果写到输出路径如下：在hadoop下找hadoop-mapreduce-examples-
%HelloWorld%·2024-01-24 13:28

MapReduce配置 & YARN集群部署

1：编辑mapred-env.sh；添加如下配置#设置jdk路径exportJAVA_HOME=/opt/module/jdk#设置JobHistoryServer进程内存为1GexportHADOOP_JOB_HISTORYSERVER_HEAPSIZE
%HelloWorld%·2024-01-24 13:28

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hive在VMware中部署

会在日志文件中生成root用户的一个随机密码，使用下面命令查看密码：如果你想设置简单密码，需要设置mysql密码安全级别：(进入mysql中实行)然后就可以简单密码了：(进入mysql中实行)步骤二：配置hadoop
%HelloWorld%·2024-01-24 13:27

Kafka集群的安装与配置（二）

2.2.2生产者命令行操作1）查看操作生产者命令参数[atguigu@hadoop102kafka]$bin/kafka-console-producer.sh2）发送消息[atguigu@hadoop102kafka
ole_triangle_java·2024-01-24 12:59

Spring Bean的生命周期

目录一、知识点二、源码分析三、扩展1、InstantiationAwareBeanPostProcessor2、AwareBeanFactory类型的容器ApplicationContext类型的容器3
xiaoyu_alive·2024-01-24 10:23

Windows下hive中insert语句报错

报错信息我的hadoop和hive版本都是3.0版本(建议hadoop3.x版本、hive2.x版本，我在使用中发现有些问题)[08S01][2]Errorwhileprocessingstatement
林园857·2024-01-24 10:27

Go语言 标准容器源码分析

类似于Java的集合：list，map，set等，Go语言中也提供了类似的标准容器，在标准包container包含了conatiner/list，container/heap，container/ring三种标准容器。（1）conatiner/list容器在conatiner/list源码包中提供了相关的示例，比如下面这个示例packagelist_testimport("container/li
小杰的快乐时光·2024-01-24 09:15

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

HBase介绍及简易安装（转）

HBase介绍及简易安装（转）HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
weixin_33711647·2024-01-24 08:23

Hadoop集群（第12期)_HBase简介及安装

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
weixin_30451709·2024-01-24 08:23

HBase学习

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
mm_bit·2024-01-24 08:20

HBase详细概述

不过在此之前，你可以先了解Hadoop生态系统，若想运行HBase，则需要先搭建好Hadoop集群环境，可以参考此文搭建5个节点的hadoop集群环境（CDH5）。好了，让我们来学习HBase吧！
a867901084·2024-01-24 08:49

HBase简易安装和简介

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
滑过的板砖·2024-01-24 08:49

Hbase 基础理论

Hbase本身是属于NoSQL在hadoop的大数据集群框架中可以用来做数据的存储。Hbase本身是Google的Bigtable理论的开源实现。本篇文章
Allocator·2024-01-24 08:48

H. Linux查找文件 whereis locate which

[root@hadoop01~]#whereiscatcat:/bin/cat/usr/share/man/man1/cat.1.gz[root@hadoop01~]#yuminstallmlocate
小猪Harry·2024-01-24 08:06

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

1、常用Connector读写之前我们已经用过了一些简单的内置连接器，比如'datagen'、'print'，其它的可以查看官网：Overview|ApacheFlink环境准备：#1.先启动hadoopmyhadoopstart
让线程再跑一会·2024-01-24 07:17

MySQL数据库在CentOS 6.8环境下的安装

二、步骤1、检查本地YUM源检查本地YUM中可用的与mysql相关的软件包[root@hadoop00~]#yumlist|grepmysql出现如图所示错误，需要重新挂载一下系统安装镜像[root@hadoop00
m0_69595107·2024-01-24 06:10

Hadoop安装配置HBase

2、安装切换目录[root@hadoop00~]#cd/usr/local新建文件夹[root@hadoop00local]#mkdirhbase解压文件[root@hadoop00local]#tarzxvf
m0_69595107·2024-01-24 06:10

Hadoop伪分布式安装配置

A、添加hadoop用户1、添加用户组[root@hadoop00~]#groupaddhadoop2、添加用户并分配用户组[root@hadoop00~]#useradd-ghadoophadoop3
m0_69595107·2024-01-24 06:09

虚拟机网络配置及Moba工具的使用

A、设置IP和网关1、设置IP[root@hadoop00~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0（修改如下标红内容，没有的就添加）DEVICE=eth0HWADDR
m0_69595107·2024-01-24 06:09

Hadoop中HBase命令行操作

HBase提供了Shell命令行，功能类似于Oracle、MySQL等关系库的SQLPlus窗口那样，用户可以通过命令行模式进行创建表、新增和更新数据，以及删除表的操作。采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。1.启动HDFS服务进程和hbase服务
m0_69595107·2024-01-24 06:05

大数据基础设施搭建 - Hbase

文章目录一、解压压缩包二、配置环境变量三、修改配置文件3.1修改hbase-env.sh3.2修改hbase-site.xml3.3修改regionservers四、解决HBase和Hadoop的log4j
m0_46218511·2024-01-24 06:04

Spring Security 6.x 系列【72】授权篇之角色分层

gitee.com/pearl-organization/study-spring-security-demo文章目录1.前言2.RoleHierarchy3.案例演示3.1期望3.2集成3.2测试4.源码分析
云烟成雨TD·2024-01-24 05:08

以太坊源码分析：共识（3）Ethash

前言Ethash实现了PoW，PoW的精妙在于通过一个随机数确定，矿工确实做了大量的工作，并且是没有办法作弊的。接下来将介绍：Ethash的挖矿本质。Ethash是如何挖矿的。如何验证Ethash的随机数。Ethash的挖矿本质挖矿的本质是找到一个随机数，证明自己做了很多工作（计算）。在Ethash中，该随机数称为Nonce，它需要满足一个公式：Rand(hash,nonce)≤MaxValue/
大彬_一起学Golang·2024-01-24 05:00

有了金刚钻，不惧瓷器活 | 在数据文件上轻松使用SQL

当然，如果为了去英国美国，学个英语还算值，这就像学个Python、Hadoop，出去找工作也算是个技能。
小黄鸭呀·2024-01-24 04:41

【Linux 内核源码分析】堆内存管理

堆堆是一种动态分配内存的数据结构，用于存储和管理动态分配的对象。它是一块连续的内存空间，用于存储程序运行时动态申请的内存。堆可以被看作是一个由各个内存块组成的堆栈，其中每个内存块都有一个地址指针，指向下一个内存块。当程序需要分配内存时，堆会根据分配算法找到一块足够大的连续内存空间，并将其分配给程序。程序可以在堆中动态创建和销毁对象，而不需要在编译时确定对象的数量或大小。与静态分配的栈不同，堆的内存
攻城狮百里·2024-01-24 03:19

【Linux 内核源码分析】RCU机制

RCU基本概念Linux内核的RCU（Read-Copy-Update）机制是一种用于实现高效读取和并发更新数据结构的同步机制。它在保证读操作不被阻塞的同时，也能够保证数据的一致性。RCU的核心思想是通过延迟资源释放来实现无锁读取，并且避免了传统锁带来的争用和开销。具体而言，RCU维护了一个“回收”过程，在该过程中，当没有任何读者引用时，才会真正释放资源。这样就可以避免等待所有读者完成或者互斥锁对
攻城狮百里·2024-01-24 03:48

【Linux 内核源码分析】内存屏障

内存屏障内存屏障的作用是强制对内存的访问顺序进行排序，保证多线程或多核处理器下的内存访问的一致性和可见性。通过插入内存屏障，可以防止编译器对代码进行过度优化，也可以解决CPU乱序执行引起的问题，确保程序的执行顺序符合预期。Linux内核提供了多种内存屏障，包括通用的内存屏障、数据依赖屏障、写屏障、读屏障、释放操作和获取操作等。Linux内核中的内存屏障源码主要位于include/linux/com
攻城狮百里·2024-01-24 03:48

hadoop 集群搭建笔记

修改主机名字：hostnamectlset-hostname主机名称修改hosts文件进行解析：xxxx.xxxx.xxxx.xxxx主机名字ssh免密登录：ssh-keygen-trsa生成密钥ssh-copy-idslave1ssh-copy-idslave2每个节点都拷贝公钥ssh-copy-idmaster集群部署2、配置集群1、核心配置文件配置core-site.xmlfs.defaul
阿强的学习笔记·2024-01-24 03:42

Flink 架构--官网译文(v1.11)

它与所有常见的群集资源管理器（如HadoopYARN，ApacheMesos和Kubernetes）集成，但也可以设置为作为独立群集甚至库运行。
LQC_gogogo·2024-01-24 02:53
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他