hdfs集群搭建

php连接redis集群 CodeIgniter(ci)框架redis5集群RedisClustert类使用，php redis集群加密码调用

注意：如果redis集群配置了密码，需要把php环境升级到php7.3，不然无法使用redis5集群搭建（集群加密）看这里：https://blog.csdn.net/u011477914/article
爱吃榴莲的橙子·2024-01-26 08:56

Flink1.13集成Hadoop3.x以上版本

org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs
未来影子·2024-01-26 04:22

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

Pyspark 读 DataFrame 的使用与基本操作

一、安装基于mac操作系统安装jdkjdk下载地址安装pysparkpipinstallpyspark二、读取HDFS文件读json注意，如果是多行的json，需要用“multiLine”模式，否则会报错
苏学算法·2024-01-26 02:10

pyspark学习-RDD转换和动作

RDDsc.parallelize(param:list)#demosc.parallelize(['tom','jack','black'])#2.textFile方法：读取文件,创建RDD,参数为hdfs
heiqizero·2024-01-26 02:39

使用CDH的api接口对cdh服务进行滚动重启

写了个py脚本实现此功能importtimeimportrequestsimportjsonimportsys#可操作的服务列表server_list=['hdfs','yarn','zookeeper
Mumunu-·2024-01-26 01:32

HDFS的优缺点、写流架构、访问方式、可靠性策略新特性

HDFS优点高容错性数据自动保存多个副本副本丢失后，自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架适合大数据处理GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模流式文件访问一次性写入
木迪_2a4e·2024-01-26 00:49

CDH浏览器安装流程

选择所有得主机列出所有得主机3然后根据自己安装得版本来进行选择选择对应版本4然后等待安装等待配置5出现问题根据提示进行操作进行相关设置（安装得时候，一般做了配置）6然后下一步，然后选择自定义安装，先安装最基本得几个组件：HDFSHbaseZooKeePerYARN7
PunkP·2024-01-25 23:41

大数据开发之Spark（spark streaming）

sparkstreaming支持的数据源很多，例如：kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如：map、reduce、join、window等进行计算。
Key-Key·2024-01-25 21:07

sqoop之hive数据仓库和oracle数据库数据转换

，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS
Summer_1981·2024-01-25 20:37

java打jar包添加第三方依赖

    org.apache.maven.pluginsmaven-shade-plugin2.4.3packageshadeaddMain-Classtomanifestfilecom.shine.HdfsAPImergeMETA-INF
久生情123·2024-01-25 18:25

HDFS高可用架构涉及常用功能整理

HDFS高可用架构涉及常用功能整理1.hdfs的高可用系统架构和相关组件2.hdfs的核心参数2.1常规配置2.2特殊优化配置2.1.1NN优化2.1.2DN优化3.hdfs常用命令3.1常用基础命令3.2
李姓门徒·2024-01-25 16:31

hadoop集群部署

Hadoop的框架最核心的设计就是：HDFS和Ma
Cat God 007·2024-01-25 12:45

hadoop集群规划部署

hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeM
Snower_2022·2024-01-25 12:43

上万字详解Spark Core（建议收藏）

虽然MapReduce提供了对数据访问和计算的抽象，但是对于数据的复用就是简单的将中间数据写到一个稳定的文件系统中(例如HDFS)，
废柴程序员·2024-01-25 09:06

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

一、说明在我的博客中已经包含了HDFS高可用的搭建，这里描述下它的原理。
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。
隔着天花板看星星·2024-01-25 09:52

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

大数据小白初探HDFS架构原理：带你揭秘背后的真相（一）

目录1.前言2.HDFS架构2.1架构定义2.2揭秘架构2.3HDFS核心结构3.HDFS的优缺点3.1HDFS的优点3.2HDFS的缺点4.HDFS的应用场景5.总结1.前言前面的文章写了一篇，大数据方面的基础知识
程序员阿奇·2024-01-24 19:38

小白初探架构模式—常用的设计模式

2.4主从架构的示例3.主从架构设计的延伸3.1主备模式3.2主从复制3.3集群分片3.4异地多活4.总结1.前言作为一个架构设计小白，我们通常用了很多种工具，比如Mysql、Redis、Kafka、Hdfs
程序员阿奇·2024-01-24 19:03

Kubeadm安装单master多node节点K8S集群

kubeadm安装k8s1.25版本集群步骤环境说明实验环境规划集群搭建规划初始化安装k8s集群的实验环境安装虚拟机更新yum源和操作系统配置机器主机名配置主机hosts文件，相互之间通过主机名互相访问配置主机之间无密码登录关闭交换分区
sissie喵~·2024-01-24 18:15

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

22-07-19 西安 RabbitMQ（03） 消息可靠投递、消费端限流、死信队列、延迟队列、集群搭建

消息的可靠投递消息发送方希望杜绝任何消息丢失或者投递失败，RabbitMQ为我们提供了两种方式用来控制消息的投递可靠性模式confirm确认模式return退回模式消息从producer到exchange有问题了则会返回一个confirmCallback（确认模式）。消息从exchange–>queue投递失败则会返回一个returnCallback（退回模式）利用这两个callback控制消息的
￡小羽毛·2024-01-24 11:29

linux安装mycat2 搭建主从复制 读写分离 分库分表

压缩包2.解压3.修改权限4.配置物理地址5.启动mycat6.连接mycat二、主从复制1.环境说明2.配置主从复制三、读写分离1.创建数据源2.创建集群3.创建逻辑库，为其配置集群4.测试读写分离四、集群搭建
理塘丁甄·2024-01-24 11:03

mysql分库负载均衡_使用Mycat实现Mysql数据库的主从复制、读写分离、分表分库、负载均衡和高可用...

ITManager这是一个开源的项目管理工具，具备组织架构管理，权限管理，任务管理，测试管理，日报，周报，绩效考核，还包括配套的代码生成器：http://www.itproject-manager.com/Mysql集群搭建使用
im陈璐·2024-01-24 11:30

kafka集群的错误处理

今天由于kafka集群搭建时的配置不当，由于一台主消费者挂掉(服务器崩了，需要维修)，导致了所有新版消费者(新版的offset存储在kafka)都无法拉取消息。
Stalary·2024-01-24 10:16

Hive 优化总结

Hive优化本质：HDFS+MapReduce问题原因：倾斜：分区：有的分区没有数据，有的分区数据堆积。(若按天分区，每一天数据差别大就叫倾斜。)
Byyyi耀·2024-01-24 10:25

RKE快速搭建离线k8s集群并用rancher管理界面

关联文章：1.k8s集群搭建前的服务器初始化，见文章《附1：k8s服务器初始化》2.rke搭建的k8s集群新增节点，见文章《附2：rke安装的k8
SRE成长记·2024-01-24 10:23

IDEA报错：No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.

NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment(suchasforHDFSfiles
唯一2333·2024-01-24 09:09

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

Hadoop集群（第12期)_HBase简介及安装

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
weixin_30451709·2024-01-24 08:23

HBase学习

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
mm_bit·2024-01-24 08:20

HBase简易安装和简介

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
滑过的板砖·2024-01-24 08:49

HBase学习五：运维排障之宕机恢复

RegionServer主要负责用户的读写服务，进程中包含很多缓存组件以及与HDFS交互的组件，实际生产线上往往会有非常大的压力，进而造成的软件层面故障会比较多。
Studying！！！·2024-01-24 07:27

记一次Flink通过Kafka写入MySQL的过程

->sink,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS
梦痕长情·2024-01-24 07:17

Druid集群搭建手册

1.Java环境安装和配置建议使用JDK1.8。可以参考《Linux安装JDK完整步骤》。2.创建用户创建druid用户，用来管理druid相关的服务。执行命令：useradddruid#创建用户passwddruid#设置druid用户密码3.Zookeeper安装和配置Druid的服务套件imply自带zookeeper，方便单机部署。如果是集群部署，最好使用自己部署的zookeeper集群。
萧十一郎君·2024-01-24 06:13

Hadoop中HBase命令行操作

采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。
m0_69595107·2024-01-24 06:05

hadoop 集群搭建笔记

修改主机名字：hostnamectlset-hostname主机名称修改hosts文件进行解析：xxxx.xxxx.xxxx.xxxx主机名字ssh免密登录：ssh-keygen-trsa生成密钥ssh-copy-idslave1ssh-copy-idslave2每个节点都拷贝公钥ssh-copy-idmaster集群部署2、配置集群1、核心配置文件配置core-site.xmlfs.defaul
阿强的学习笔记·2024-01-24 03:42

Storm和hadoop对比及storm组件

stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS，MR数分钟，数小时不会主动停止终于完成的时候storm优点：跨语言，可伸缩，低延迟，秒级容错核心概念
smartjiang·2024-01-24 02:01

Elasticsearch8 集群搭建（二）配置篇：（3）安全配置

此篇记录Elasticsearch8.x传输层的安全配置。传输层节点间：如果集群有多个节点，必须在节点间配置TLS。生产模式下，如果不启用TLS，集群将无法启动。图片来源：SetupbasicsecurityfortheElasticStack|ElasticsearchGuide[8.10]|Elastic传输层依赖于TLS进行节点间的加密和认证。在节点之间配置TLS可以防止未授权的节点访问集群
要薪贫气和哦·2024-01-23 21:11

Kafka集群与可靠性

Kafka集群与可靠性1.Kafka集群搭建实战使用两台Linux服务器：一台192.168.182.137一台192.168.182.138安装kafka首先，我们需要配置java环境变量（这里就略过了
llp1110·2024-01-23 13:39

Hadoop集群配置及测试

配置文件hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNod
YUuuuME_·2024-01-23 11:07

Postgresql的集群搭建与监控方案

转载说明：如果您喜欢这篇文章并打算转载它，请私信作者取得授权。感谢您喜爱本文，请文明转载，谢谢。相关文章：PostgreSQL学习之部署与简单使用PostgreSQL的常见错误和解决方法如果PostgreSQL有两层nginx代理，会发生什么事？前言之前在《PostgreSQL学习之部署与简单使用》记录了PostgreSQL的搭建和简单使用，本文记录PostgreSQL集群的搭建，接入Promet
SRE成长记·2024-01-23 10:30

Spark解析JSON文件，写入hdfs

一、用Sparkcontext读入文件，map逐行用Gson解析，输出转成一个caseclass类，填充各字段，输出。解析JSON这里没有什么问题。RDD覆盖写的时候碰到了一些问题：1.直接saveAsTextFile没有覆盖true参数；2.转dataframe时，还得一个一个字段显化才能转成dataframe；3.write时，一开始打算写text，说字段里不能含有long和int，换成str
gegeyanxin·2024-01-23 09:42

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

DATAX的架构和运行原理

一.概念DATAX呢就是把各个不同构的数据库进行同步的过程，具体有hdfshiveOracle等等吧。二.架构1.设计原理显而易见从强连通图到星形图，大大的简化了工作量。
加林so cool·2024-01-23 08:37
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他