集群搭建Hadoop

Hadoop HDFS集群 和 Yarn集群的架构

前言：Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。
听风细雨66·2024-01-14 14:15

Hadoop命令

进程命令对hadoop集群的操作start-dfs.shstop-dfs.sh打开和关闭dfsstart-yarn.shstop-yarn.sh打开和关闭yarnhadoop单进程操作旧版本命令hadoop-daemon.shstart
CJ21·2024-01-14 14:25

【环境搭建】RocketMQ集群搭建

前置条件及效果图条件：两台服务器，个人是两台腾讯云服务器(其中嫖的朋友一个)；版本：rocketmq-version:4.4.0rocketmq-console(mq控制台)Java：1.8maven:3.6.3集群模式选择：单master这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。多master**优点：**配置简单，单个Mast
xbhog·2024-01-14 13:10

【elastic search】详解elastic search集群

目录1.与集群有关的一些概念2.集群搭建3.集群搭建4.kibana链接集群5.选举流程6.请求流程7.master的作用1.与集群有关的一些概念数据分片：数据分片（shard），单台服务器的存储容量是有限的
_BugMan·2024-01-14 13:24

大数据Hadoop3.0更新，到底改进了哪些新的特性呢

截止到目前，大数据hadoop已经更新到了3.0版本，那么相比较之前的版本，3.0到底在哪些方面做出了新的改变呢？到底做了哪些重大的改进呢？
尚学先生·2024-01-14 11:21

Nacos和Eureka比较、统一配置管理、Nacos热更新、多环境配置共享、Nacos集群搭建步骤

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Nacos和eureka的对比二、统一配置管理二、Nacos热更新方式一方式二三、多环境配置共享四、Nacos集群搭建步骤
༶626·2024-01-14 09:51

Spark-累加器

内存地址无法改变.你传你的,我传我的,没有把值给返回去双端对列当发送错误的时候要放回到要来头部对列一般是先进先出,要是发送错误,放回到尾部顺序就错了所以叫累加器不是很准确,叫采集器importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase
疯子@123·2024-01-14 09:00

Sqoop与其他数据采集工具的比较分析

SqoopSqoop是一个Apache项目，专门设计用于在Hadoop生态系统和关系型数据库之间传输数据。它提供了方便的命令行界面，支持从关系型数据库导入数据到Hadoop集群，
晓之以理的喵~~·2024-01-14 06:00

Hadoop-HA高可用

一、集群规划二、HDFS高可用官方地址在opt目录下创建一个ha文件夹，将/opt/module/下的hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data和log目录）配置core-site.xmlhdfs-site.xmldfs.namenode.name.dirfile
DIY……·2024-01-14 06:28

hbase集群之间数据迁移_HBase集群数据迁移方案

2、采用Hadoopdistcp方式，将以上目录的内容，迁移到另一个集群。使用add_table.rb进行恢复。
无畏道人·2024-01-14 06:14

一种HBase数据备份及恢复方法

这里我们引入Hbase的一个API，hbaseorg.apache.hadoop.hbase.map
莫叫石榴姐·2024-01-14 06:42

Doris集群搭建——2.0.1.1版本

目录一、启动Doris二、配置并分发doris安装包和环境变量1.分发doris安装包2.解压安装包3.分发环境变量4.修改对应的配置文件(1)修改be的配置(2)修改fe的配置三、be的扩容与缩容(一)be扩容1.添加be节点3.另外两个节点启动be4.重新查看be节点状态(二)be缩容四、broker的扩容与缩容(一)broker扩容1.每台节点启动broker2.客户端添加broker节点3
雷神乐乐·2024-01-14 06:31

mac 上 ssh: connect to host localhost port 22: Connection refused

问题在搭建hadoop环境的时候发现sshlocalhost在报错2.解决打开系统设置->共享->->在左边服务中选择远程登录注意红框这些选项慎重选择！！！
寂夜了无痕·2024-01-14 05:50

mac上部署单体hbase

它是GoogleBigTable的开源实现，并且是Apache基金会的Hadoop项目的一部分1。
寂夜了无痕·2024-01-14 05:15

一：Hadoop初始化环境搭建-1

一：虚拟机和Linux的安装在搭建Hadoop集群环境之前，我们必须要进行如下的准备工作：01.安装虚拟机02.安装3台Linux03.修改主机名和IP地址对应关系04.SSH免密码登陆1.1：虚拟机的安装步骤
小葱_拌豆腐·2024-01-14 05:15

java开发，年薪15W的和年薪50W的差距

在这个IT系统动辄就是上亿流量的时代，Java作为大数据时代应用最广泛的语言，诞生了一批又一批的新技术，包括HBase、Hadoop、MQ、Netty、SpringCloud等等。
墨雨轩夏·2024-01-14 02:57

大数据调度框架Oozie，这个学习网站让你事半功倍！

它主要用于管理和调度ApacheHadoop作业，支持的任务类型包括HadoopMapReduce、PigJobs等。Oozie的核心概念包括workflowjobs和coordinatorjobs。
知识分享小能手·2024-01-14 01:59

基于Spark2.x新闻网大数据实时分析可视化系统项目

全套课程内容概述2.案例需求分析3.系统架构设计4.系统数据流程设计5.集群资源规划设计第二章：linux环境准备与设置1.Linux系统常规设置2.克隆虚拟机并进行相关的配置3.对集群中的机器进行基本配置第三章：Hadoop2
飞雪雪团队·2024-01-13 23:30

大数据

image.pnghadoop主要解决海量数据的存储和海量数据的分析计算问题。
哈斯勒·2024-01-13 19:30

HBase 四种数据迁移方案

http://ballwql.cnblogs.com/一、前言HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类：图1.HBase数据迁移方案从上面图中可看出，目前的方案主要有四类，Hadoop
过往记忆·2024-01-13 18:21

3.hadoop HA-QJM 安装

目录概述实践一主两从解压配置文件hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers分发环境变量格式化启动
流月up·2024-01-13 16:32

开源大数据集群部署（四）Freeipa部署（kerberos+ldap）

将它与Hadoop服务进行集成便能够很好地解决安全性不足的问题。除了需要安装MITKerberos之外，我们还需要安装LDAP。
云掣YUNCHE·2024-01-13 14:15

Hive安装部署

安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务安装了MySQL服务，并启动MySQL的服务Hive的安装部署注意hive就是==一个构建数据仓库的工具==，只需要在==一台服务器上
我还不够强·2024-01-13 13:35

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。
思旭�·2024-01-13 13:02

Hive及各组件功能介绍

Hive是一个开源的数据仓库基础设施，是构建在Hadoop之上的。它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop中的大规模数据集。
思旭�·2024-01-13 12:32

HDFS及各组件功能介绍

Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式文件系统。
思旭�·2024-01-13 12:32

zookeeper未授权访问漏洞修复方式

:https://www.cnblogs.com/linuxbug/p/5023677.html图片中的解决方式都是通过设置认证用户,但是仅仅设置用户和密码的话集群(ApacheActivemq集群，Hadoop
xiexiaoming052·2024-01-13 12:39

Yarn的安装与使用详细介绍

什么是yarnApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度
知数SEO·2024-01-13 11:36

hadoop historyserver启动，无法访问，查看报错等问题

hadoophistoryserver启动，无法访问，查看报错等问题1、historyserver无法启动2、historyserver已启动，可以看到进程，web无法访问url3、historyserver
这都不是事er·2024-01-13 10:07

按照官网步骤sbin/start-yarn.sh失败

按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh启动失败sbin/stop-yarn.sh执行失败环境Centos7-1台虚拟机hadoop-3.2.1OpenJDK1.8.0
这都不是事er·2024-01-13 10:06

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

Flink CDC 实时抽取 Oracle 数据-排错&调优

使用环境Oracle：11.2.0.4.0（RAC部署）Flink：1.13.1Hadoop：3.2.1问题1、无法连接数据库根据官方文档说明，在FlinkS
Denny辉·2024-01-13 09:48

Spark原理——逻辑执行图

"local[6]").setAppName("wordCount_source")valsc=newSparkContext(conf)valtextRDD=sc.parallelize(Seq("HadoopSpa
我像影子一样·2024-01-13 09:17

Spark原理——运行过程

运行过程逻辑图是什么怎么生成具体怎么生成valtextRDD=sc.parallelize(Seq("HadoopSpark","HadoopFlume","SparkSqoop"))valsplitRDD
我像影子一样·2024-01-13 09:44

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。这么理解就凉凉4、
王络不稳定·2024-01-13 09:28

微服务自动化 etcd集群搭建

静态部署(前提)它需要开多个虚拟机那我们就找到你使用的那个虚拟机复制（强调两个主机都已经安装好了etcd服务并且能够正常运行）不是复制就可以使用我们需要把里面的不是vmdk和vmx的文件删了然后再回到我们的虚拟机，鼠标右键选择打开然后启动虚拟机它会提示我们是否已知虚拟机被复制选择已知复制该虚拟机就行（选第一个就会默认IP一样的）进来输入ifconfig查看IP再到外部进行连接连接之后我们在两个里面
巴枝子·2024-01-13 07:27

使用Sqoop将数据导入Hadoop的详细教程

在大数据处理中，Sqoop是一个强大的工具，它可以将关系型数据库中的数据导入到Hadoop生态系统中，以便进行进一步的分析和处理。
晓之以理的喵~~·2024-01-13 07:43

Sqoop入门指南：安装和配置

Sqoop是一个强大的工具，用于在Hadoop和关系型数据库之间高效传输数据。在本篇文章中，将深入探讨如何安装和配置Sqoop，以及提供详细的示例代码。
晓之以理的喵~~·2024-01-13 07:13

Hadoop分布式集群安装

上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn伪分布式集群的安装方法，方便大家学习，真实环境不可能只有一台机器，肯定是多节点的集群，大单位还会建设很多Hadoop集群，比如各个大部门有自己的集群
鬓戈·2024-01-13 07:28

基于Hadoop的网上购物行为大数据分析及预测系统【flask+echarts+机器学习】前后端交互

有需要本项目或者部署的系统可以私信博主，提供远程部署和讲解本研究基于淘宝用户行为的开源数据展开大数据分析研究，通过Hadoop大数据分析平台对阿里天池公开的开源数据集进行多维度的用户行为分析，为电商销售提供可行性决策
王小王-123·2024-01-13 06:53

使用Sqoop将数据从Hadoop导出到关系型数据库

当将数据从Hadoop导出到关系型数据库时，ApacheSqoop是一个非常有用的工具。
晓之以理的喵~~·2024-01-13 06:23

NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发

版本hadoop2.7分段锁优化Namenode的FSNamesystem类中主要有三块。
邵红晓·2024-01-13 06:24

实验二 ：HIve数据定义操作实验

二、实验环境要首先自行搭建由3台虚拟机构成的Hadoop环境及Hive环境。
又是被bug折磨的一天·2024-01-13 04:55

Hadoop/Spark安装

单机安装Hadoop安装Javasudoapt-getinstalldefault-jdkjava-version2.设置Hadoop用户和组sudoaddgrouphadoopsudoadduser-
周倜吉·2024-01-13 03:40

2022字节跳动【数据仓库工程师】日常实习面经-----一面

都还没学扎实）一，自我介绍二，问答阶段shuffle阶段详细介绍回答环形缓冲区，分区排序，溢写磁盘，reduce再抽取归并等等计算单元和实际block存储单元不在一个机器节点上，这样会带来大量的IO操作，Hadoop
dyson不只是吹风机·2024-01-13 03:34

Flink

GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘，可以处理海量数据；Spark基于内存，性能提高百倍，微批（500ms）；Flink基于
三半俊秀·2024-01-13 01:53

设置5台SSH互免的虚拟机服务器配置

步骤如下——1、准备五台机器服务器名字服务器IPhadoop1192.168.31.130hadoop2192.168.31.131hadoop3192.168.31.132hadoop4192.168.31.133hadoop5192.168.31.134
朱季谦·2024-01-12 23:24

hadoop(4)--NameNode元数据管理

这是分享的第四篇文章了，可能有些小伙伴看到标题后，很纳闷，完全是跳跃式的，NameNode是什么呢？NameNode是管理元数据的，这个和大数据有什么关系呢？对了，就爱带着问题去探索，NameNode是HDFS的一个组件，可以说一个进程，HDFS中共有三个组件NameNode,DataNode,SecondNameNode。这三个都是做什么的呢？NameNode:管理元数据的DataNode:保存
ROCK_杰哥·2024-01-12 22:41

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

这次在搞不定 Redis 集群搭建！你来找我~~

Redis集群简介下载&安装Redis搭建Redis集群手动方式搭建自动方式搭Redis集群简介RedisCluster即Redis集群，是Redis官方在3.0版本推出的一套分布式存储方案。完全去中心化，由多个节点组成，所有节点彼此互联。Redis客户端可以直接连接任何一节点获取集群中的键值对，不需要中间代理，如果该节点不存在用户所指定的键值，其内部会自动把客户端重定向到键值所在的节点。Redi
码农开花·2024-01-12 20:42
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他