hadoop源码分析

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

ROS-I simple_message 源码分析：SmplMsgConnection

SmplMsgConnection类定义了一些接口和常用的方法，用于SimpleMessage消息的发送，它做了两个假设：连接能够发送原始字节数据（封装在simplemessage之中）提供显示的connect方法来建立连接（相应的也要有一个disconnect），对于无连接的通信，比如UDP，则可以不用实现connect方法（作为一个空操作）此处的连接(connection)是代表的抽象连接，也
play_robot·2024-02-05 16:23

LinkedList集合

LinkedList集合1.概述2.方法2.1特有方法2.2代码示例3.遍历方法4.注意事项5.源码分析其他集合类父类List类祖父类Collection类具体信息请查看API帮助文档1.概述LinkedList
酷小洋·2024-02-05 15:47

2019年需要学习的专业知识

接下来的学习计划软件知识体系结构基础知识C/C++编程语言数据结构算法分析与实现中级知识编译器原理操作系统网络编程高级知识Linux内核源码分析硬件知识体系结构基础知识电路知识模拟电路数字电路计算机组成原理处理器体系架构实现应用性知识
大道而至简·2024-02-05 15:13

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

了解Vue2全局API这一篇就够了

复习完之后小哆啦也会跟着大佬去学习vue的源码分析，在总结的时候小哆啦也尽量去理解大佬的设计思想。
故梦867·2024-02-05 14:56

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

SpringBoot自动装配原理源码分析（详细）

SpringBoot自动装配原理源码分析1.前言2.SpringBoot源码2.1@SpringBootApplication注解2.2@EnableAutoConfiguration注解2.2.1selectImports
coderedma·2024-02-05 13:55

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

trinitycore 魔兽服务器源码分析(一) 网络

trinitycore是游戏服务器的开源代码许多玩家使用魔兽的数据来进行测试,使用它来假设魔兽私服。官方网址https://www.trinitycore.org/类似的还有mangos和kbengine不过mangos使用庞大的ACE网络框架kbengine使用自写网络库两者均使用了多语言进行开发作为trinitycore主要使用c++。代码比较好读，就开启本篇这个代码阅读的坑代码要求具备c++
weixin_30781107·2024-02-05 12:03

Nacos 源码分析

Nacos源码分析1.下载Nacos源码并运行要研究Nacos源码自然不能用打包好的Nacos服务端jar包来运行，需要下载源码自己编译来运行。
萧曵 丶·2024-02-05 11:55

Sentinel 源码分析

Sentinel源码分析项目源码1.Sentinel的基本概念Sentinel实现限流、隔离、降级、熔断等功能，本质要做的就是两件事情：统计数据：统计某个资源的访问数据（QPS、RT等信息）规则判断：判断限流规则
萧曵 丶·2024-02-05 11:55

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

SpringMVC精简知识点

数据格式化基本数据类型和字符串自动转换特殊数据类型和字符串自动转换验证及国际化应用实例注意事项和使用细节注解的结合使用数据类型转换校验核心类-DatBinder取消某个属性的绑定中文乱码解决处理json和HttpMessageConverter作业布置SpringMVC文件上传自定义拦截器异常处理SpringMVC执行流程-源码分析作业布置数据格式化
~ 小团子·2024-02-05 10:22

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

Hadoop执行WorldCount出现的问题和解决

failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/hadoop
SZHjy·2024-02-05 08:38

Runtime源码剖析 对象、类(元类)与isa

从这篇博客开始我们就会进行Runtime源码分析，所以你需要准备一份最新的源代码，源码建议从Apple官方获取本篇博客所用的是750.1版本的objc4源码(目前最新版)对象objc_object定义在
萨缪·2024-02-05 08:20

2.0 Hadoop 运行环境

由于Hadoop是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置Hadoop的情况，这对于学习者来说会制造诸多障碍，主要有两个：昂贵的计算机集群。
二当家的素材网·2024-02-05 07:01

impala与kudu进行集成

文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了Hadoop使用了Kerberos认证，可使用如下方式进行连接
shandongwill·2024-02-05 07:44

nginx slice模块的使用和源码分析

文章目录1.为什么需要ngx_http_slice_module2.配置指令3.加载模块4.源码分析4.1指令分析4.2模块初始化4.3slice模块的上下文4.2$slice_range字段值获取4.3httpheader
码农心语·2024-02-05 06:40

nginx flv模块的使用和源码分析

这里写自定义目录标题1.为什么需要ngx_http_flv_module2.配置指令3.加载ngx_http_flv_module模块4.源码分析4.1指令分析4.2ngx_http_flv_handler
码农心语·2024-02-05 06:40

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

本章着重介绍Hadoop中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。
二当家的素材网·2024-02-05 06:38

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36

linux中如何输入控制字符

看以下实例：以下文本中的字段用^A分隔，[leo@hadooporgplan]$sed"s/^A//g"orgplan一定要注意^并不是数字键6上的
发狂的蜗牛·2024-02-05 01:47

JAVASE进阶：Collection高级（2）——源码剖析ArrayList、LinkedList、迭代器

‍作者简介：一位大四、研0学生，正在努力准备大四暑假的实习上期文章：JAVASE进阶：Collection高级（1）——源码分析contains方法、lambda遍历集合订阅专栏：JAVASE进阶希望文章对你们有所帮助
布布要成为最负责的男人·2024-02-04 23:04

JAVASE进阶：函数式编程——lambda表达式替代匿名内部类

源码分析——字符串拼接底层原理、StringBuilder底层原理订阅专栏：JAVASE进阶希望文章对你们有所帮助lambda表达式，高级程序员写起来真的是信手拈来，而且他们经常是把lambda放在Collection
布布要成为最负责的男人·2024-02-04 23:34

JAVASE进阶：Collection高级（1）——源码分析contains方法、lambda遍历集合

‍作者简介：一位大四、研0学生，正在努力准备大四暑假的实习上期文章：JAVASE进阶：函数式编程——lambda表达式替代匿名内部类订阅专栏：JAVASE进阶希望文章对你们有所帮助打算法竞赛的时候用的C++，为了方便敲代码基本上都不怎么用iterator来遍历集合，都是直接使用的下标。但在JAVA，下标遍历的方式不适合所有的集合，因为集合中还包含了Set，其没有索引的概念。又因为Java具有泛型编
布布要成为最负责的男人·2024-02-04 23:03

SpringBoot响应处理源码分析以及自定义MessageConverter

文章目录自定义pojo类通过@ResponseBody响应数据为json格式源码解析内容协商自定义MessageConverter自定义pojo类通过@ResponseBody响应数据为json格式源码解析1、RequestMappingHandlerAdapter.class返回值处理器执行目标方法2、ServletInvocableHandlerMethod.class确定参数，真正执行目标方
Allure丶soul·2024-02-04 22:09

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件
china-zhz·2024-02-04 21:33

RocketMQ源码分析（五）消息的存储

RocketMQ存储的文件主要包括Comitlog文件、ConsumeQueue文件、IndexFile文件。CommitLog：消息存储文件，所有消息主题的消息都存储在CommitLog文件中。ConsumeQueue：消息消费队列，消息到达CommitLog文件后，将异步转发到消息消费队列，供消息消费者消费。IndexFile：消息索引文件，主要存储消息Key与Offset的对应关系。以下是核
甘_·2024-02-04 21:16

企业级大数据安全架构（九）FreeIPA管理员密码忘记后如何修改

作者：楼高1重置DirectoryServer管理员密码1.1停止directoryserver服务[root@ipaschema]#start-dirsrvHDP-HADOOP如果你不知道你的实例名，
云掣YUNCHE·2024-02-04 20:36

【tomcat路径匹配源码分析】搞懂tomcat中web.xml配置servlet的url-pattern为“/“和“/*“的区别

搞懂tomcat中web.xml配置servlet的url-pattern为"/"和"/*"的区别前言结论Servlet匹配规则（tomcat源码）分析举个例子路径配置为`/`导致拦截静态资源问题的解决方案总结原文地址前言我在写原生javaWEB项目时，想通过注册一个servlet实现拦截所有请求由HandOutServlet统一分发，于是我就想到把urlPatterns设置为"/"但是这个会出现
MysticalDream·2024-02-04 20:35

Hadoop集群搭建

搭建Hadoop集群涉及多个步骤，包括准备硬件环境、安装和配置Hadoop以及验证集群的安装。
终将老去的穷苦程序员·2024-02-04 19:53

nginx源码分析笔记（二）：nginx整体结构、进程模型

1、nginx的整体结构master属于root用户worker进程属于nobody，权限比较低，安全性比较高。受到攻击时。2、nginx进程模型一个master多个worker进程。master是监控进程，不处理具体业务，管理worker进程。worker处理具体业务，包括连接和读写信号。3、master和worker之间采用信号或者共享内存进行通讯。看代码。4、worker进程如果死掉，mas
奥斯特洛司机·2024-02-04 19:51

docker 主进程 日志_docker exec 与容器日志

主讲人为DaoCloud核心开发团队成员Allen(孙宏亮)，他是InfoQ「Docker源码分析」专栏作者，已出版《Docker源码分析》一书。
weixin_39977488·2024-02-04 19:13

HDFS常用命令

hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce程序bin/hadoopjarshar
须臾之北·2024-02-04 18:41

CocosCreator3.8源码分析

CocosCreator架构CocosCreator拥有两套引擎内核，C++内核和TypeScript内核。C++内核用于原生平台，TypeScript内核用于Web和小游戏平台。在引擎内核之上，是用TypeScript编写的引擎框架层，用以统一两套内核的差异，让开发更便捷。engine的图像与Android的Surface对接安卓平台下是从一个标准的activity启动，然后加载一个Native
破竹15·2024-02-04 18:41
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他