hadoop源码分析

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

被标记为事务的方法互相调用的坑（上）

微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高
程序员日常填坑·2024-01-07 10:54

【大数据进阶第三阶段之Hive学习笔记】Hive基础入门

Hive的优缺点2.1、优点2.2、缺点2.2.1、Hive的HQL表达能力有限2.2.2、Hive的效率比较低3、Hive架构原理3.1、用户接口：Client3.2、元数据：Metastore3.3、Hadoop3.4
伊达·2024-01-07 08:20

mybatis-mapper的动态代理原理

mapper的xml文件和对应的接口注意：mapper的xml文件要与接口名一样，namespace也需要设置为接口的全路径名，只有这样才能在为mapper接口做动态代理的时候找到正确的sql语句二、源码分析涉及到的模块
想到的名字都被人用了·2024-01-07 07:11

iOS底层探索之Block(五)——Block源码分析(__block 底层都做了什么？)

回顾在上一篇博客中，通过对block追根溯源，汇编跟踪调式，源码分析，对底层结构和block的属性方法都有一定的认识，那么本篇博客将继续对block的底层进行分析。
俊而不逊·2024-01-07 07:07

Hadoop集群三节点搭建（二）

一、克隆三台主机（hadoop102hadoop103hadoop104）以master为样板机克隆三台出来，克隆前先把master关机按照上面的步骤克隆其他两个就可以了，记得修改ip和hostname
DIY……·2024-01-07 07:35

个人笔记：分布式大数据技术原理（二）构建在 Hadoop 框架之上的 Hive 与 Impala

有了MapReduce，Tez和Spark之后，程序员发现，MapReduce的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。你希望有个更高层更抽象的语言层来描述算法和数据处理流程。于是就有了Pig和Hive。Pig是接近脚本方式去描述MapReduce，Hive则用的是SQL。它们把脚本和SQL语言翻译成MapReduce程序，丢给计
garagong·2024-01-07 07:16

【DataX】windows下本地DataX同步hive到mysql，hive带Kerberos认证

直接同步会报错：java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset
airyv·2024-01-07 06:44

基于Hadoop的豆瓣电影数据分析

Hadoop是一个开源的分布式计算框架，它提供了处理大规模数据集的能力。在本文中，我们将利用Hadoop框架对豆瓣电影数据进行分析。
数据科学探险导航·2024-01-07 05:07

大数据编程期末大作业

大数据编程期末大作业文章目录大数据编程期末大作业一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程一、Hadoop基础操作在HDFS中创建目录/user/
-北天-·2024-01-07 05:20

RocketMQ源码分析----Producer队列选择与容错策略

队列选择在HA的文章里大概讲了一下Producer如何为高可用贡献出一份力量的，当时只是说了遍历列表选择队列，然后选择一个，没有深入分析，这篇文章深入分析一下其源码，首先从发送消息选择队列的代码开始：StringlastBrokerName=null==mq?null:mq.getBrokerName();MessageQueuetmpmq=this.selectOneMessageQueue(l
_六道木·2024-01-07 04:44

Spring 源码分析零：Springboot的启动流程

文章目录一、前言二、SpringApplication的初始化三、流程简介四、流程步骤详解1.获取监听器2.环境变量的构造2.1.application.yml的加载3.创建上下文4.上下文准备工作5.SpringApplication#refreshContext附录：spring.factories一、前言本文是笔者阅读Spring源码的记录文章，由于本人技术水平有限，在文章中难免出现错误，如
猫吻鱼·2024-01-07 04:14

Java HashMap 面试题（一）

面试题-HashMap的put方法的具体流程hashMap常见属性源码分析3.3面试题-说一下HashMap的实现原理？
xwhking·2024-01-07 03:11

Hive的基本的概述即使用参考

1.Hive的概述√意义：在于大幅度降低工程师学习MapReduce的学习成本，让好用（计算速度快）的MapReduce更方便的使用（使用简单）√基本概念：Hive是基于Hadoop的一个数据仓库工具，
C8H11O2N_4cd4·2024-01-07 02:29

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

2024.1.5 Hadoop各组件工作原理,面试题

目录1.简述下分布式和集群的区别2.Hadoop的三大组件是什么?3.请简述hive元数据服务配置的三种模式?4.数据库与数据仓库的区别?5.简述下数据仓库经典三层架构?
白白的wj·2024-01-06 23:34

Flink常见核心概念

分布式缓存有时一些数据是通用的,就需要进行共享,可以放在文件、缓存、db中,可以放在文件中,先缓存到hadoop集群中,然后使用cachepublicclassCacheStream{publicstaticvoidmain
一生逍遥一生·2024-01-06 21:56

Android架构组件Room功能详解，已拿offer附真题解析

可能有人会觉得，我技术牛逼就行了，为啥还要提高写文档的能力，有这功夫我还不如多看看源码分析？这是一些初级或者刚入门的工程师的普遍的困惑。这
m0_56067448·2024-01-06 19:36

spring之循环依赖底层源码分析

目录前言：@Resouce/@AutoWired区别@Resouce注入过程spring循环依赖底层原理源码解析解决循环依赖问题所需要的重要关键对象循环依赖不同场景解决方式前言：今天聊一聊spring循环依赖问题，同时分析一下@Resouce/@AutoWired区别。@Resouce/@AutoWired区别@Autowired注解是Spring提供的，而@Resource注解是J2EE本身提供
山鸟与鱼！·2024-01-06 18:09

Hive 源码解析一：Driver

本文为Hive源码系列的第一节(共三节)客户端部分，本节主要内容是通过源码分析总结从bin/hive启动到SQL解析转换成MR再到提交任务打印结果的一个宏观流程；第二节则针对HSQL如何解析、转换成MR
小王是个弟弟·2024-01-06 17:25

《Hive系列》Hive详细入门教程

目录1Hive基本概念1.1什么是HiveHive简介Hive：由FaceBook开源用于解决海量结构化日志的数据统计工具Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表
DATA数据猿·2024-01-06 17:55

Hive（一）概述

文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用一.简介1.概述什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具Hive是基于Hadoop
Jumanji_·2024-01-06 17:54

YARN（一）-- 产生原因及概述

本文内容如下：介绍为什么会产生YARN（同时介绍原MapReduce框架的不足）YARN的基本原理首先说一下YARN是什么吧：ApacheHadoopYARN(YetAnotherResourceNegotiator
小北觅·2024-01-06 17:54

Flume基础知识（九）：Flume 企业开发案例之复制和多路复用

2）需求分析：3）实现步骤：（1）准备工作在/opt/module/flume/job目录下创建group1文件夹[root@hadoop102job]$cdgroup1
依晴无旧·2024-01-06 17:58

教你如何将本地虚拟机变成服务器，供其它电脑访问

在虚拟机上安装hadoop和hive，然后同学机子上安装kettle进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器，供其它电脑访问。
吾浴西风·2024-01-06 16:01

【Linux 内核源码分析】I2C子系统分析 整体框架介绍

内核版本：v4.14构成在Linux的I2C架构如图：内核空间部分可以分为：i2c设备驱动、i2c核心以及i2c总线驱动。i2c核心：框架的实现；提供i2c总线驱动和设备驱动的注册、注销方法；i2c通信方法（algorithm）上层的，与具体适配器无关的代码以及探测设备、检测设备地址的上层代码等。这一部分的工作由内核开发者完成。i2c总线驱动：具体控制器的实现；i2c总线驱动是对i2c硬件体系结构
攻城狮百里·2024-01-06 16:26

【Linux 内核源码分析】GPIO子系统软件框架

Linux内核的GPIO子系统是用于管理和控制通用输入输出（GPIO）引脚的软件框架。它提供了一套统一的接口和机制，使开发者能够方便地对GPIO进行配置、读写和中断处理。主要组件：GPIO框架：提供了一套API和数据结构，用于在驱动程序中注册和操作GPIO引脚。这包括GPIO的请求、释放、配置以及读写等功能。GPIO控制器驱动：每个具体的硬件平台都需要编写相应的GPIO控制器驱动程序，负责与硬件进
攻城狮百里·2024-01-06 16:26

【Linux 内核源码分析】Linux内核通知链机制

Linux内核通知链（notifierchain）是一种机制，用于实现内核中的事件通知和处理。它提供了一种灵活的方式，让不同的模块可以注册自己感兴趣的事件，并在事件发生时接收到通知。通知链由一个或多个注册在其中的回调函数组成，每个回调函数都有一个优先级。当事件发生时，内核会按照优先级顺序调用相应的回调函数进行处理。在内核中，常见的使用场景包括：设备驱动程序：当设备状态改变时，通过通知链机制将相关信
攻城狮百里·2024-01-06 16:56

【Linux 内核源码分析】关于Linux内核源码目录结构

Linux内核源码采用树形结构。功能相关的文件放到不同的子目录下面，使程序更具有可读行。使用SourceInsight打开源码，如下图所示，可以看到源码是树形结构。目录含义描述arch存放与体系结构相关的代码，包括不同硬件平台的特定代码。block提供块设备的支持，包括文件系统和磁盘驱动程序。crypto提供加密算法和密码学支持。Documentation存放内核文档和说明。drivers包含各种
攻城狮百里·2024-01-06 16:20

高可用分布式部署Spark、完整详细部署教程

Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark
一座野山·2024-01-06 16:15

SuperMap分布式数据库实操

.配置开机自启动5.集群部署5.1主从复制集群5.2副本集集群安装部署配置开机自启动5.3分片集群二、DSF（HDFS）1.HDFS2.安装部署三、DSF(本地文件)四、HBASE1.数据模型2.安装Hadoop
会灭火的程序员·2024-01-06 15:42

seata的部署和集成

官网地址：Seata|Seata，其中的文档、播客中提供了大量的使用说明、源码分析。
ZSYP-S·2024-01-06 15:48

《数据采集与预处理环境》实验环境安装

文章目录1.安装Python及第三方库2.jupyternotebook安装3.jdk安装4.MySQL安装1.在根目录下创建文件my.ini2.初始化3.安装服务4.启动服务5.登录6.配置环境变量5.hadoop
活下去.·2024-01-06 14:10

熟悉常用的Linux操作和Hadoop操作

1.安装虚拟机(1)VMwareworkstationpro安装包下载登录VMware官网：VMware中国-交付面向企业的数字化基础|CN，点击登录->云服务控制台，进入欢迎使用VMware页面，点击创建您的VMWARE账户，进入注册界面填写信息并注册。注册完成后，返回登录页面进行登录，进入VMwareworkstationpro下载地址（https://customerconnect.vmwa
cwn_·2024-01-06 11:47

HDFS的高可用性

Hadoop在2.x的版本引入了联邦HDFS（HDFSFederation），通过在集群中添加namenode实现。
zh_harry·2024-01-06 10:25

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:

FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
深度检测·2024-01-06 10:25

Spark概述

Spark概述Spark是什么ApacheSpark是一个快速的，多用途的集群计算系统，相对于HadoopMapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行运算
我像影子一样·2024-01-06 09:38

RocketMQ源码 发送消息源码分析

前言DefaultMQProducer是默认生产者组件，是生产者客户端中，绝大部分关于生产者和broker、nameSrv进行网络通信的功能入口。其中，包含发送各种形式（同步、异步、事务、顺序）的消息，针对发送消息部分的实现，主要是封装好消息协议后，从NameSrv获取当前Topic路由信息，轮询悬着一个队列，通过RemotingClient客户端，将请求发送给messageQueue所在的bro
虚空小白·2024-01-06 08:37

Hbase进阶

yarn-daemon.shstartresourcemanageryarn-daemon.shstartnodemanager（2）在hive中建表时附加上：storedby'org.apache.hadoop.hive.hbase.HBaseStorageHandler'withserdeproperties
xinxinyydss·2024-01-06 08:36

java: 从HBase中读取数据

一、添加依赖：org.apache.hadoophadoop-client2.6.0org.apache.hbasehbase-client2.4.2二、使用Scanner读取数据示例：packagecn.edu.tju
amadeus_liu2·2024-01-06 08:01

Hadoop: HBase模糊查询

Tabletable=connection.getTable(TableName.valueOf("originalSignal"));Scanscan=newScan();RowFilterrowFilter=newRowFilter(CompareOp.EQUAL,newSubstringComparator(vin));scan.setFilter(rowFilter);ResultScan
amadeus_liu2·2024-01-06 08:31

Hadoop: User: hadoop is not allowed to impersonate anonymous

/etc/hadoop/core-site.xml增加（hadoop是你的用户名)hadoop.proxyuser.hadoop.hosts*hadoop.proxyuser.hadoop.groups
amadeus_liu2·2024-01-06 08:00

Hadoop: 访问hdfs报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferExceptio

可能是hdfs端口配置的不是默认的9000,hdfsgetconf-confkeyfs.default.name可以查看端口
amadeus_liu2·2024-01-06 08:00

Hadoop: JAVA连接单机版HBase报错：java.net.UnknownHostException: can not resolve master

windows:修改host文件，加上xxx.xxx.xxx.xxx(服务器ip)master.Linux:修改/etc/hosts
amadeus_liu2·2024-01-06 08:00

Hadoop： SpringBoot Hive项目报java.lang.AbstractMethodError: org.apache.jasper.servlet.TldScanner$Tl

修改hive-jdbc依赖org.apache.hivehive-jdbc3.1.2org.eclipse.jettyjetty-runner
amadeus_liu2·2024-01-06 08:30

Hadoop:jdbc连接hive maven 依赖

junitjunit3.8.1testorg.apache.hadoophadoop-common3.3.0org.apache.hivehive-jdbc3.1.2jdk.toolsjdk.tools1.8system
amadeus_liu2·2024-01-06 08:30

Hadoop: dfs常用命令

bin/hadoopdfs-mkdir/hilubin/hadoopdfs-touchz/hilu/niuyear.txtbin/hadoopdfs-touchz/hilu/niuyear2.txtbin
amadeus_liu2·2024-01-06 08:00

java: 写入数据到HBase

一、添加依赖org.apache.hadoophadoop-client2.6.0org.apache.hbasehbase-client2.4.2二、调用API写HBase示例packagecn.edu.tju
amadeus_liu2·2024-01-06 08:55
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他