集群搭建Hadoop

修修改hdfs上的文件所属用户、所属组等读写执行控制权限

在linux命令行下，可以使用下面的命令修改文件的权限、文件所有者，文件所属组：sudoaddgroupHadoop#添加一个hadoop组sudousermod-a-Ghadooplarry#将当前用户加入到
liuzx32·2024-01-05 11:52

Spark内核解析-数据存储5（六）

1、Spark的数据存储Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系
有语忆语·2024-01-05 10:05

Spark内核解析-节点启动4（六）

指令后的相关工作1.1脚本概览下面是一个举例：/opt/jdk1.7.0_79/bin/java-cp/opt/spark-2.1.0/conf/:/opt/spark-2.1.0/jars/*:/opt/hadoop
有语忆语·2024-01-05 10:12

1.2.2.3Reduce-Task（源码解读）

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fdReduce-Task
寒暄_HX·2024-01-05 10:43

【大数据】Spark学习笔记

初识SparkSpark和HadoopHadoopSpark起源时间20052009起源地MapReduceUniversityofCaliforniaBerkeley数据处理引擎BatchBatch编程模型
pass night·2024-01-05 09:16

Hadoop(04) HDFS编程实践操作

Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）是Hadoop核心组件之一，如果已经安装了Hadoop，其中就已经包含了HDFS组件，不需要另外安装。
Eufeo·2024-01-05 09:25

Hadoop集群环境下HDFS实践编程过滤出所有后缀名不为“.abc”的文件时运行报错：Path is not a file: /user/hadoop/input

一、问题描述搭建完Hadoop集群后，在Hadoop集群环境下运行HDFS实践编程使用Eclipse开发调试HDFSJava程序（文末有源码）：假设在目录“hdfs://localhost:9000/user
哇咔咔哇咔·2024-01-05 09:25

HBase伪分布式配置下，报错：org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案

一、问题描述今天在使用HBaseJavaAPI编程实践时发现出现报错，同样在创建表和查看HBase集群状态信息时也出现报错，以下是错误截图：这是由于HBase的主节点正在初始化过程中，无法处理请求。通常发生在启动HBase集群或进行主节点故障转移时。HBase主节点在启动或重启时需要一些时间来完成初始化过程。在此期间，HBase不会接受任何新的表创建请求。尝试了很多办法，包括重启HBase、卸载H
哇咔咔哇咔·2024-01-05 09:54

配置Hadoop集群后启动Hadoop时出错：Master: ssh: connect to host master port 22: No route to host

一、问题描述在配置完成Hadoop集群后,在启动Hadoop时出现报错：Master:ssh:connecttohostmasterport22:Noroutetohost错误截图如下（其中YKBMaster
哇咔咔哇咔·2024-01-05 09:54

真·保姆级——在VMware的Ubuntukylin上进行Hadoop单机/伪分布式安装时安装VMware Tools后虚拟机与物理机之间无法传输文件和复制粘贴的问题（附Ubuntu更改默认登录用户）

目录一、前言二、版本信息三、hadoop用户创建1.创建hadoop用户2.在创建hadoop用户后对系统进行重启四、解决办法4.1更改默认登陆用户4.2安装VMwareTools4.3验证VMwareTools
哇咔咔哇咔·2024-01-05 09:23

安装HBase后查看HBase版本时报错（错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty）的解决方案

目录一、错误二、解决方法三、错误分析一、错误在安装完成HBase（安装HBase的具体教程可参考HBase2.2.2安装和编程实践指南）后显示HBase版本时报错：显示HBase的版本信息代码如下（若已配置环境变量直接输入hbaseversion即可）：/usr/local/hbase/bin/hbaseversion报错信息如下：二、解决方法修改/usr/local/hbase/conf/hba
哇咔咔哇咔·2024-01-05 09:23

Hadoop集群环境下HDFS实践编程过滤出所有后缀名不为“.abc”的文件时运行报错：java.net.ConnectException: 拒绝连接；

一、问题描述搭建完Hadoop集群后，在Hadoop集群环境下运行HDFS实践编程使用Eclipse开发调试HDFSJava程序（文末有源码）：假设在目录“hdfs://localhost:9000/user
哇咔咔哇咔·2024-01-05 09:19

Hadoop入门学习笔记——八、数据分析综合案例

pwd=5ay8Hadoop入门学习笔记（汇总）目录八、数据分析综合案例8.1.需求分析8.1.1.背景介绍8.1.2.目标8.1.3.需求8.1.4.数据内容8.2.加载数据8.3.ETL
faith瑞诚·2024-01-05 08:17

Hadoop的启动停止命令详解

sbin/start-all.sh启动所有的Hadoop守护进程。
`FUTURE`·2024-01-05 08:44

大数据高级开发工程师——Hadoop学习笔记（4）

文章目录Hadoop进阶篇MapReduce：Hadoop分布式并行计算框架MapReduce的理解MapReduce的核心思想MapReduce编程模型MapReduce编程指导思想【八大步骤】Map
讲文明的喜羊羊拒绝pua·2024-01-05 08:20

大数据学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
乐姐·2024-01-05 08:18

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop
比屋大数据·2024-01-05 08:44

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 概述

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:12

Hadoop大数据生态系统及常用组件简介

经过多年信息化建设，我们已经进入一个神奇的“大数据”时代，无论是在通讯社交过程中使用的微信、QQ、电话、短信，还是吃喝玩乐时的用到的团购、电商、移动支付，都不断产生海量信息数据，数据和我们的工作生活密不可分、须臾难离。什么是大数据什么是大数据，多大算大，100G算大么?如果是用来存储1080P的高清电影，也就是几部影片的容量。但是如果100G都是文本数据，比如我们的后端kafka里的数据，抽取一条
669生活·2024-01-05 08:11

【大数据（一）】hadoop2.4.1集群搭建(重点)

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=server1.itcast.cn1.2修改ip地址vi/etc/sysconfig/network-scripts/ifcfg-eth0重新启动网络：servicenetworkrestart1.3修改ip地址和主机名的映射关系v
幸福巡礼·2024-01-05 08:09

java与大数据：Hadoop与MapReduce

Hadoop和MapReduce是由Apache软件基金会开发和维护的开源项目。它们的出现主要是为了解决传统的数据处理工具无法处理大数据量的局限性。首先，让我们深入了解一下Hadoop。
naer_chongya·2024-01-05 08:38

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:08

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行模式

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:08

字节跳动 Spark 支持万卡模型推理实践

背景介绍在云原生化的发展过程中Kubernetes由于其强大的生态构建能力和影响力，使得包括大数据、AI在内越来越多类型的负载应用开始向Kubernetes迁移，字节内部探索Spark从Hadoop迁移到
字节跳动云原生计算·2024-01-05 06:09

HBase 和 Hive 的差别是什么，各自适用在什么场景中？

一、区别：Hbase：Hadoopdatabase的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。
杰在天涯·2024-01-05 05:23

大数据与hadoop的介绍

大数据是什么，什么是大数据？萝卜和青菜各自有各自的看法，下面说说我所了解到的大数据，那，就从大数据特征说起：大数据，不仅仅具备大的特征，只有外行人才会天真的以为大数据，就是数据，量大！量大只是大数据其中的一个特征，除了这个特征之外，它还和另外三个特征和起来组成了大数据必不可少的四个特征：Volume大量的海量的数据Variety多种多样的数据的类型多种多样，比如数据来源多样，企业内部的日志，互联网
昨天_03fb·2024-01-05 00:31

kudu NoSQL数据库详解

一、Hbase、Kudu和ClickHouse对比Hadoop生态圈中HDFS一直用来保存底层数据。
wespten·2024-01-04 23:09

金色麦芒的2023

通过学习Hadoop、Spark等框架，我掌握了大数据的存储、处理和分析技术，能够更高效地处理大规模数据集。同时，我也深入学习
溜达的大象·2024-01-04 22:44

Hadoop集群三节点搭建（一）

一、第一台虚拟机准备确认是可以上网，方便下载文件和工具，使用ping命令测试下安装工具net-tool：工具包集合，包含ifconfig等命令，大家可以根据自己需要按需下载创建普通用户attest，并修改attest用户的密码配置attest用户具有root权限，方便后期加sudo执行root权限的命令在/opt目录下创建文件夹，并修改所属主和所属组二、安装JDK卸载虚拟机自带的JDKrpm-qa
DIY……·2024-01-04 21:08

微信基于StarRocks的湖仓一体实践

作者：StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件，其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时数仓的阶段，但仍旧面临着数据体验割裂
StarRocks_labs·2024-01-04 20:38

大数据应用场景-搜索引擎概述

从互联网网页爬取网页数据,存储到网页库;2.建立索引:分析整理爬虫收集到的数据资源,建立索引,为检索系统提供数据;3.提供检索服务:从预处理好的资源里挑选出用户最满意的结果最快最好的展现给用户;二.基于HadoopMapReduce
GuangHui·2024-01-04 16:14

hbase编程

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.
SunsPlanter·2024-01-04 15:23

11111111

参考步骤1.使用vim编辑器打开/usr/local/hadoop/etc/hadoop/core-site.xml文件，它的初始内容如下：修改以后，core-site.xml文件的内容如下：hadoop.tmp.dirfile
SunsPlanter·2024-01-04 15:23

ClickHouse高可用集群搭建（离线安装）

一、简介ClickHouse官网二、生产集群搭建准备Zookeeper集群Linux服务器四台(以四台为列)创建用户组和用户groupaddclickhouse---创建用户组useradd-m-d/home
Sql强·2024-01-04 15:49

ElasticSearch 集群搭建与状态监控cerebro

海量数据存储问题:将索引库从逻辑上拆分为N个分片(shard)，存储到多个节点单点故障问题:将分片数据在不同节点备份(replica)目录一、部署es集群二、集群搭建案例：利用3个docker容器模拟3
Crhy、Y·2024-01-04 13:16

2024.1.3 Spark on Yarn部署方式与工作原理

YARN模式：这是一种分布式资源管理器，可以与Hadoop集成，将
白白的wj·2024-01-04 11:44

ZooKeeper+Kafka+ELK+Filebeat集群搭建实现大批量日志收集和展示

文章目录一、集群环境准备二、搭建ZooKeeper集群和配置三、搭建Kafka集群对接zk四、搭建ES集群和配置五、部署Logstash消费Kafka数据写入至ES六、部署Filebeat收集日志七、安装Kibana展示日志信息一、集群环境准备1.1因为资源原因这里我就暂时先一台机器部署多个应用给大家演示硬件资源节点组件8c16g50node1-192.168.40.162Kafka+ZooKee
小蔡技术栈·2024-01-04 11:09

【数据湖架构】数据湖101：概述

数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可以建立在多种技术上，如Hadoop，NoSQL，AmazonSimpleStorageService，关系数据库或各种组合根据一份名为“什么是数据湖
架构师研究会·2024-01-04 10:08

Flume基础知识（四）：Flume实战之实时监控单个追加文件

1）案例需求：实时监控Hive日志，并上传到HDFS中2）需求分析：3）实现步骤：（1）Flume要想将数据输出到HDFS，依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh
依晴无旧·2024-01-04 10:08

Nacos 持久化及集群的搭建【微服务】

文章目录一、统一配置管理二、微服务配置拉取三、配置热更新四、多环境共享配置五、Nacos集群搭建1.集群结构2.初始化数据库3.搭建集群六、Nginx反向代理七、启动项目测试一、统一配置管理案例练习的时候我们只有两个微服务
栈老师不回家·2024-01-04 10:51

Java技术栈 —— Hadoop入门（一）

Java技术栈——Hadoop入门（一）一、Hadoop第一印象二、安装Hadoop三、Hadoop解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2HDFS-核心组件3.1.3YARN
键盘国治理专家·2024-01-04 08:02

大数据-HDFS原理

HDFS（HadoopDistributionFileSystem）是基于谷歌发布的GFS论文设计的；出了具有其他文件系统具有的特性之后，HDFS还具有：高容错性：认为硬件总是不可靠的；高吞吐量：为大量数据访问的应用提供高吞吐量的支持
运维仙人·2024-01-04 07:00

【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比

【Hadoop-HDFS-S3】HDFS和存储对象S3的对比1）可扩展性2）数据的高可用性3）成本价格4）性能表现5）数据权限6）其他限制虽然ApacheHadoop以前都是使用HDFS的，但是当Hadoop
bmyyyyyy·2024-01-04 07:25

对比Pig、Hive和SQL，浅看大数据工具之间的差异

以下为译文有人说对于大数据分析来说Hadoop才是炙手可热的新技术，SQL虽然久经考验但已经有些过时了。这话说得不错，但有非常多的项目都用Hadoop作
MayerBin·2024-01-04 06:09

CloudManager大数据本地环境标准部署文档

一、基本信息文档目的：标准化、规范化Hadoop在本地化环境中部署所涉及的操作和流程，以便高效、高质地落地本地化环境部署的工作。
有语忆语·2024-01-04 04:29

【SpringBoot框架篇】34.使用Spring Retry完成任务的重试

SpringRetry是从SpringBatch独立出来的一个功能，已经广泛应用于SpringBatch,SpringIntegration,SpringforApacheHadoop等Spring项目
皓亮君·2024-01-04 04:45

多台机器的时钟同步

本文将以第二种方式介绍三台机器之间的时间同步具体的操作步骤：本文是以centos6.5作为服务器搭建的三台机器Hadoop伪分布式的平台，解决三台机器之间的时间同步的问题，主机master的IP为192.168.141.130
无为二里·2024-01-04 03:26

docker-compose部署hadoop集群（高可用）—— 筑梦之路

hadoop高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址：https://zookeeper.apache.org/releases.html#zookeeper
筑梦之路·2024-01-04 03:11

从零开始了解大数据(六)：数据仓库Hive篇

目录前言一、数据仓库基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)Hadoop与
橘子-青衫·2024-01-04 02:51

从零开始了解大数据(五)：YARN篇

目录前言一、HadoopYARN介绍二、HadoopYARN架构与组件1.ResourceManager（RM）2.NodeManager（NM）3.ApplicationMaster三、程序提交YARN
橘子-青衫·2024-01-04 02:20
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他