Hadoop源码解读

Linux操作系统下，彻底删除MySQL

背景：部署Hive时，遇到了无法访问数据库的问题；此时Linux中的环境是，已安装MySQL-8.0.35的版本，JDK8和Hadoop-3.3.4版本；然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw·2024-01-12 02:59

C++高性能服务器框架muduo，与配套书籍《Linux多线程服务端编程》解读

目录muduo源码解读《Linux多线程服务端编程》笔记第1章线程安全的对象生命周期管理第2章线程同步精要第3章多线程服务器的适用场合与常用编程模型第4章C++多线程系统编程精要第5章高效的多线程日志第
夏天匆匆2过·2024-01-12 01:24

C++流媒体服务器 ZLMediaKit框架ZLToolKit源码解读

ZLMediaKit是国人开发的开源C++流媒体服务器，同SRS一样是主流的流媒体服务器。ZLToolKit是基于C++11的高性能服务器框架，和ZLMediaKit是同一个作者，ZLMediaKit正是使用该框架开发的。ZLMediaKit开源地址：https://github.com/ZLMediaKit/ZLMediaKitZLToolKit开源地址：https://github.com/Z
夏天匆匆2过·2024-01-12 01:52

【Spring源码解读】bean标签中的属性

说明今天在阅读Spring源码的时候，发现在加载xml中的bean时，解析了很多标签，其中有常用的如：scope、autowire、lazy-init、init-method、destroy-method等等。但还有很多很少用甚至没用过的标签，看来对这个经常使用的框架，还是知之甚少，本着探索的精神，决定将bean中所有相关标签的作用做一次整理，以便完善自己的知识体系。另外，说明一下，使用的Spri
Python编程社区·2024-01-12 00:12

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry·2024-01-12 00:41

Hadoop伪集群模式搭建MAC版[Linux依旧适用]

[TOC]Hadoop1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略，但是启动的时候，每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹，应该能发现.ssh，如果没有就安装
zZeroZz·2024-01-12 00:45

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
ThoughtWorks·2024-01-11 17:47

《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-11 16:21

【2019-05-06】map reduce工作机制

mapreduce作业运行机制Hadoop运行mapreduce作业的工作原理（1）作业提交Job的submit()方法创建一个内部的JobSubmitter实例，并且调用其submitJobInternal
BigBigFlower·2024-01-11 15:31

学习笔记之——3D Gaussian Splatting源码解读

之前博客对3DGS进行了学习与调研学习笔记之——3DGaussianSplatting及其在SLAM与自动驾驶上的应用调研-CSDN博客文章浏览阅读450次。论文主页3DGaussianSplatting是最近NeRF方面的突破性工作，它的特点在于重建质量高的情况下还能接入传统光栅化，优化速度也快（能够在较少的训练时间，实现SOTA级别的NeRF的实时渲染效果，且可以以1080p分辨率进行高质量的
gwpscut·2024-01-11 15:53

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】文章目录1HA集群基础配置1.1创建系统为Centos7（Linux）的虚拟机1.2基本网络配置1.3连接FinalShell2NTP时间同步和免密登录
小伍_Five·2024-01-11 11:50

NameNode: Permission denied&无法启动Hadoop解决方法

NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys授权，解决方法如下：把产生的公钥文件放置到authorized_keys文件中，命令如下：[root@node1etc]#cat~/.ssh/id_rsa.pub>>~/.ssh
eyexin2018·2024-01-11 09:46

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop
Movle·2024-01-11 08:43

搭建时间服务器并配置集群自动时钟同步

搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器（一）为什么要搭建时间服务器因为Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。
Y先生的领地·2024-01-11 08:58

DAPLink 源码解读

DAPLink的Webusb部分涉及以下几主要个文件Vfs_manager.cstream_opne,stream_werite,strem_close，usb接口file_stream.copen,write,close操作virtual_fs.cfat16虚拟系统vs_user.c虚拟磁盘文件创建，文件命令处理flash_decoder.cbin,hex文件解析、烧写编程target_flas
cqcyst·2024-01-11 08:13

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Hadoop安装遇到的一些问题

image.pngimage.png解决选择CentOs.vmx无反应问题：image.png打开之后，选择Poweron之后，选择Imovedit：第一次点mved，以后点copiedroot登陆，密码：hadoop
博弈史密斯·2024-01-11 07:30

Apache Doris 聚合函数源码阅读与解析｜源码解读系列

笔者最近由于工作需要开始调研ApacheDoris，通过阅读聚合函数代码切入ApacheDoris内核，同时也秉承着开源的精神，开发了array_agg函数并贡献给社区。笔者通过这篇文章记录下对源码的一些理解，同时也方便后面的新人更快速地上手源码开发。聚合函数，顾名思义，即对一组数据执行聚合计算并返回结果的函数，在统计分析过程中属于最常见的函数之一，最典型的聚合函数包括count、min、max、
SelectDB技术团队·2024-01-11 07:16

Hadoop之mapreduce参数大全-5

101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是HadoopMapReduce框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas·2024-01-11 07:45

hive sql 和 spark sql的区别

HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具，但它们有一些关键的区别：底层计算引擎：HiveSQL：Hive是建立在Hadoop生态系统之上的，使用MapReduce作为底层计算引擎
深度学习研究员·2024-01-11 07:08

HDFS相关API操作

文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档：https://hadoop.apache.org/docs
欲无缘·2024-01-11 06:56

Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述

SerializationSupportedDataTypes（支持的数据类型）TuplesandCaseClassesPOJOsPrimitiveTypes（基本数据类型）GeneralClassTypes（一般类型）ValuesHadoopWritablesSpecialTypes
ε(´ο｀*)))·2024-01-11 05:30

aodv-uu 源码解读

目录前言源码解读defs.hlist.{h,c}params.hnl.{h,c}routing_table.{h,c}timer_queue.{h,c}seek_list.{h,c}llf.
瓴龍·2024-01-11 04:37

【大数据架构】日志采集方案对比

整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。
话数Science·2024-01-11 04:03

大数据独角兽 Cloudera 股价腰斩，Hadoop将何去何从？

围绕Hadoop进行商业化有著名的三巨头，分别是Cloudera、Hortonworks和MapR，如今都不约而同地陨落了。
烽火程序猿·2024-01-11 04:15

记一次Maxwell出现Communications link failure

原报错信息：connectingtojdbc:mysql://hadoop01:3306/maxwell?
玖玖1704·2024-01-11 03:34

10、采集通道启动、停止脚本

1）在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@hadoop102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞·2024-01-11 02:16

Linux 内核源码解析---心得记录

系统启动全流程图linux源码解读系列关于内核源码解读的一系列资料：链接1，链接2从内核源码的init/main.c开始阅读。fork()函数涉及到linux内核源码fork()函数的理解。
mosiwi·2024-01-11 02:42

从零到一：Hadoop开发者的成长之路

从零到一：Hadoop开发者的成长之路随着大数据时代的来临，Hadoop作为处理大规模数据的开源框架，已成为企业和开发者关注的焦点。那么，如何从零开始，逐步成长为一名优秀的Hadoop开发者呢？
乌龙饼干·2024-01-11 01:45

Hadoop的未来发展趋势与挑战分析

Hadoop的未来发展趋势与挑战分析Hadoop，作为大数据领域的老牌开源框架，已经历了十多年的风风雨雨。
乌龙饼干·2024-01-11 01:45

Hadoop中的数据治理策略与实践

Hadoop中的数据治理策略与实践随着大数据技术的快速发展，Hadoop已成为企业存储和处理大规模数据集的首选平台。然而，随着数据量的不断增长，数据治理问题也日益凸显。
乌龙饼干·2024-01-11 01:15

Hadoop与Spark：大数据处理框架的比较与选择

Hadoop与Spark：大数据处理框架的比较与选择在大数据的时代背景下，数据处理和分析的需求日益增长。
乌龙饼干·2024-01-11 01:14

利用Hadoop进行数据湖构建与管理

利用Hadoop进行数据湖构建与管理一、引言在大数据的时代，数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题，数据湖的概念应运而生。
乌龙饼干·2024-01-11 01:14

Hadoop简介：开启大数据处理之门

在此背景下，Hadoop作为一种分布式系统基础架构，应运而生，为大数据处理打开了新的大门。
乌龙饼干·2024-01-11 01:44

Hadoop在大数据分析中的应用与挑战

Hadoop在大数据分析中的应用与挑战随着数字化时代的来临，数据呈现爆炸性增长，大数据处理和分析成为了企业和研究机构不可或缺的一部分。
乌龙饼干·2024-01-11 01:44

如何搭建一个高效的Hadoop集群环境？

如何搭建一个高效的Hadoop集群环境在大数据处理和分析的领域中，Hadoop已经成为了一个非常流行的工具。
乌龙饼干·2024-01-11 01:44

深入了解Hadoop：架构、组件与工作流程

深入了解Hadoop：架构、组件与工作流程随着大数据时代的来临，Hadoop已经成为了一个不可或缺的开源工具。
乌龙饼干·2024-01-11 01:42

CDH5x离线安装+解决报错教程

前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、·2024-01-11 01:09

黑猴子的家：Hive 数据倾斜优化之 小文件合并

HiveInputFormat没有对小文件合并功能hive>sethive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
黑猴子的家·2024-01-10 20:26

阿里云服务器得免费使用领取

系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器得免费使用领取Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置文章目录系列文章目录领取免费的云服务器页面对云服务器操作通过程序进行远程连接控制通过
柔雾·2024-01-10 20:22

Scala操作HDFS

_importorg.apache.commons.lang3.StringUtilsimportorg.apache.hadoop.conf.Configurationimportorg.
SunnyMore·2024-01-10 18:13

Vue 源码解读（7）—— Hook Event

当学习成为了习惯，知识也就变成了常识。感谢各位的关注、点赞、收藏和评论。新视频和文章会第一时间在微信公众号发送，欢迎关注：李永宁lyn文章已收录到github仓库liyongning/blog，欢迎Watch和Star。封面image前言HookEvent（钩子事件）相信很多Vue开发者都没有使用过，甚至没听过，毕竟Vue官方文档中也没有提及。Vue提供了一些生命周期钩子函数，供开发者在特定的逻辑
李永宁_lyn·2024-01-10 18:34

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复
不吃海带吃海苔·2024-01-10 16:15

Jbd4：Hbase

Jbd4：Hbase教程地址0.背景0.1Hadoop的局限性0.2HBaseVS传统数据库0.2.1数据类型0.2.2数据库类型0.2.3数据库区别1.概述1.1HBase简介1.2HBase访问接口
JxWang05·2024-01-10 14:05

Linux入门学习笔记

系统2.Linux配置和Linux的目录结构Linux组成结构：硬件资源->内核程序->操作系统的应用程序->用户应用程序(Linux的文件系统均可被内核程序和操作系统的应用程序以及用户的应用程序调用)Hadoop
RoundOff·2024-01-10 14:02

《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-10 14:58

解读MyabtisPlus中的R类（通用响应包装类）

目录前言1.概念2.源码解读3.Demo前言大部分R类可以自已手写一个适配的，但MybatisPlus中有专门的R类，于是就使用封装好的类即可1.概念通用R类是一种用于处理API响应的通用响应包装类。
码农研究僧·2024-01-10 13:43

Flink集群安装部署（Standalone，Yarn模式）

目录一.环境准备二.Flink集群安装步骤三.FlinkOnYarn一.环境准备需要提前安装配置JDK，Hadoop二.Flink集群安装步骤1.下载安装包下载地址：Indexof/dist/flink
MJK祺·2024-01-10 12:03

4.MapReduce 序列化

目录概述序列化序列化反序例化java自带的两种Serializable非Serializablehadoop序例化实践分片/InputFormat&InputSplit日志结束概述序列化是分布式计算中很重要的一环境
流月up·2024-01-10 12:46
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他