bigdata集群搭建

Hadoop开发环境搭建

文章目录第1关：配置开发环境-JavaJDK的配置第2关：配置开发环境-Hadoop安装与伪分布式集群搭建hadoop-env.sh配置yarn-env.sh配置core-site.xml配置hdfs-site.xml
柔雾·2023-12-30 09:42

Hadoop分布式集群搭建（三台虚拟机）

一.准备工作搭建好VMwareWorkstationPro（我这里装的版本是16）二.新建虚拟机hadoop01搭建hadoop集群需要三台虚拟机1.新建虚拟机——>自定义（高级）2.不用改动，点击下一步3.映像文件稍后再加入4.选择Linux——>CentOS764位5.可以在存放虚拟机的文件内新建一个文件夹，专门放hadoop集群需要的虚拟机（有三个）6.处理器数量设置一个就好7.内存不够的选
# Ling·2023-12-30 07:00

Hadoop集群搭建教程（完全分布式）

环境准备：本案例使用VMwareWorkstationPro虚拟机创建服务器来搭建Hadoop集群，所用软件及版本及简要配置方法如下：1.VMwareWorkstationPro15.5.1（推荐使用15以上版本，感觉优化比14好了许多）2.Ubuntu16.0464bit（3台，用户名均为Hadoop，主机名分别为node-1，node-2，node-3）注意：三台虚拟机用户名需要一致，也可以对
这是一个死肥宅·2023-12-30 07:27

8、服务提供者和消费者注册进微服务以及服务提供者的集群搭建

1、创建cloud-provider-payment8002image.png仿照cloud-provider-payment8001创建cloud-provider-payment80022、服务提供者注册进Eureka集群image.png在cloud-provider-payment8001和cloud-provider-payment8002中分别将注册地址改成集群地址eureka:cli
Kari开源·2023-12-30 06:52

大数据框架介绍

大数据分析(BigDataAnalysis)：大数据，表面上看就是大量复杂的数据，这些数据本身的价值并不高，但是对这些大量复杂的数据进行分析处理后，却能从中提炼出很有价值的信息。
mikecg·2023-12-29 23:06

集群部署篇--Redis 哨兵模式

文章目录前言一、哨兵模式介绍：1.1介绍：1.2工作机制：二、哨兵模式搭建：2.1redis主从搭建：2.2setinel集群搭建：2.2.1配置：sentinel.conf：2.2.2运行容器：2.2.3
拽着尾巴的鱼儿·2023-12-29 18:24

集群部署篇--Redis 集群分片模式

文章目录前言一、Redis分片集群介绍1.1介绍：1.2工作机制：1.2.1节点：1.2.2槽slot：1.2.3故障转移：二、Redis分片集群搭建:2.1配置文件：2.2redis部署：2.3redis
拽着尾巴的鱼儿·2023-12-29 18:52

k8s部署 CNI 网络组件与k8s集群搭建（二）

目录部署CNI网络组件部署flannelK8S中Pod网络通信FlannelUDP模式的工作原理ETCD之Flannel提供说明FlannelVXLAN模式跨主机的工作原理在node01节点上操作在master01节点上操作部署Calicok8s组网方案对比Calico主要由三个部分组成Calico工作原理在master01节点上操作node02节点部署在node01节点上操作在node02节点上
whtqwq·2023-12-29 14:56

Redis 主从集群 —— 超详细操作演示！

五、Redis主从集群五、Redis主从集群5.1主从集群搭建5.1.1、伪集群搭建与配置5.1.2、分级管理5.1.3、容灾冷处理5.2主从复制原理5.2.1、主从复制原理5.2.2、数据同步演变过程
酷酷的懒虫·2023-12-29 10:19

03.生成Kubernetes集群证书文件

K8S入门学习的难点是集群搭建，集群搭建的难点是tls证书Kubeadm部署的集群证书默认是一年，所以在证书到期之前需要进行手动更新（生产环境这样可能有风险）这里我把证书生成的过程全部用脚本自动生成，默认有效期
CodingDemo·2023-12-29 07:42

Centos7设置开机自动运行脚本

1.Centos7设置开机自动运行脚本[root@bigdata001~]#[root@bigdata001~]#catrestart.shnohupecho`date`>>/root/restart.log2
zybiao2·2023-12-29 06:53

Elasticsearch：1.集群搭建

简介基本概念cluster代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。shards代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大
小六的昵称已被使用·2023-12-29 06:57

《MySQL系列-部署维护》通过表的.frm和.idb文件备份MySQL表

1.在服务器上找到对应的文件，如果不清楚MySQL的数据路径在哪，可以参考如下:[root@zxy_master/]#find/-iname'bootstrap.frm'/var/lib/mysql/bigdata
DATA数据猿·2023-12-29 03:53

kubeadm来搭建k8s集群。

二进制的搭建更适合50台主机以上的大集群，kubeadm更适合中小型企业的集群搭建主机配置建议：2c4G主机节点IP组件master20.0.0.101docker、kubeadm、kubelet、kubectl
相遇蟹堡王，尽享蟹黄堡·2023-12-29 02:37

让孩子受用的10个高效的阅读方法

研究机构比达咨询（BigData-Research）发布了《2019年中国数字阅读市场研究报告》，报告显示，去年我国人均阅读量达到7.99本，其中纸质书4.67本、电子书3.32本。
修养女性论坛芊妤·2023-12-29 02:49

Spark 集群搭建

文章目录搭建前准备安装搭建解压并重命名环境变量配置配置文件yarn-site.xmlspark-env.sh官网求π(PI)案例启动spark-shell通过浏览器查看显示查看Spark的网页信息展示搭建前准备下载地址：Indexof/dist/spark(apache.org)配置好hadoop环境，hdfs和yarn服务正常可以启动start-dfs.shstart-yarn.sh安装搭建解压
撕得失败的标签·2023-12-29 00:42

最全Hadoop实际生产集群高可用搭建

1.环境准备1.1集群规划序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005IPxxxxxxxxxxxxxxx组件hadoop1hadoop2hadoop3hadoop4hadoop5
tuoluzhe8521·2023-12-29 00:30

Hive和Spark生产集群搭建（spark on doris）

1.环境准备1.1版本选择序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005MySQL-8.0.31mysqlDataxDataxDataxDataxDataxDataxSpark
tuoluzhe8521·2023-12-28 23:56

Redis集群搭建很easy

前言哨兵模式虽然让读写分离更加高可用，但单台服务器由于本身的内存和CPU瓶颈，对于高并发和大数据业务的应用场景还是远远不能满足；对于这种情况，有点经验的小伙伴会毫不犹豫的想到集群，搞他好几个节点，负载均衡再加上故障转移，岂不美哉。是的，就是这个理，接下来玩玩。正文集群，相信这个词小伙伴应该听的耳朵起茧子了吧；多搞几台服务器，让请求/命令平均分发到各个服务器，避免单台服务器承载过大压力；对于Redi
Code综艺圈·2023-12-28 23:14

zookeeper集群搭建

一、介绍zookeeper是一个高可用的分布式协调器，官网二、功能统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等三、单机安装zookeeper需要jdk环境，所以需要先安装jdk，安装教程3.1、文件下载下载zookeeper压缩文件3.2、解压tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/3.3、修改配
有人看我吗·2023-12-28 12:38

Nacos使用快速入门

namespace给微服务配置namespaceNacos与Eureka的区别Nacos做配置中心快速入门在nacos中添加配置文件从微服务拉取配置配置热更新方式一方式二配置共享配置共享的优先级Nacos集群搭建集群结构图搭建集群初始化
Binary Oracle·2023-12-28 07:45

Nginx+keepalived从入门到集群搭建（手把手教学，建议收藏）

目录一、什么是Nginx二、Nginx的相关概念1.正向代理2.反向代理3.负载均衡4.动静分离三、Nginx安装1.安装2.其他配置3.windows中nginx安装四、Nginx常用命令1.查看nginx版本号2.启动3.关闭4.重新加载命令五、Nginx的配置文件1.配置文件位置2.分析nginx.conf配置文件六、Nginx配置-反向代理11.实现效果：2.tomcat启动3.nginx
秃了也弱了。·2023-12-28 06:03

【头歌实训】Spark 完全分布式的安装和部署

文章目录第1关：Standalone分布式集群搭建任务描述相关知识课程视频Spark分布式安装模式示例集群信息配置免密登录准备Spark安装包配置环境变量修改spark-env.sh配置文件修改slaves
撕得失败的标签·2023-12-27 20:56

【头歌实训】Spark 完全分布式的安装和部署（新）

文章目录第1关：Standalone分布式集群搭建任务描述相关知识课程视频Spark分布式安装模式主机映射免密登录准备Spark安装包配置环境变量修改spark-env.sh配置文件修改slaves文件分发安装包启动
撕得失败的标签·2023-12-27 20:56

如何评价大数据的未来？

如果不太了解它到底是什么，最简单的方法就是知乎搜一下bigdata/大数据，这类问题回答的太多了，很多专业人士既给了学术的回答，也给了浅显易懂的例子，我想不用多说了。
金光闪闪耶·2023-12-27 18:47

Flink on K8S集群搭建及StreamPark平台安装

1.环境准备1.1介绍在使用Flink&Spark时发现从编程模型,启动配置到运维管理都有很多可以抽象共用的地方,目前streampark提供了一个flink一站式的流处理作业开发管理平台,从流处理作业开发到上线全生命周期都做了支持,是一个一站式的流出来计算平台。未来spark开发也在规划范围内，目前还不支持1.2下载StreamPark安装包下载：https://streampark.apach
tuoluzhe8521·2023-12-27 10:45

Es三节点+vip集群搭建部署方案

线上环境Es三节点集群搭建部署方案1.目标Es集群架构图!
大雪冬至·2023-12-27 10:12

mongodb生成自签名证书以及配置SSL以及mongo集群搭建(亲测有效)版本-5.0.6

@[TOC](mongodb生成自签名证书以及配置SSL(亲测有效)版本-5.0.6一直以来都是向大神学习，今天也做回大神分享，哈哈！！几个小时的努力不算白费。一、自签名证书生成1、生成根证书ca.pem1、生成CA私钥(ca.key)（不加密）opensslgenrsa-outca.key20482、生成CA证书签名请求(ca.csr)opensslreq-new-keyca.key-outca
HappyLearnerL·2023-12-27 08:38

【运维路不弯】最简单的k8s集群搭建(基于ubuntu22.04 cloud-img)

配置详情节点k8sdockercontainerdmasterv1.26.024.0.61.6.22node1v1.26.024.0.61.6.22node2v1.26.024.0.61.6.22node3v1.26.024.0.61.6.22所有节点操作替换系统源cat/etc/apt/sources.list#默认注释了源码镜像以提高aptupdate速度，如有需要可自行取消注释debhttp
指剑·2023-12-27 07:43

Hadoop-Hbase集群搭建

1.下载http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz2.解压#解压到指定的文件夹tarxzvfhbase-1.2.0-cdh5.7.0.tar.gz-C/usr/loca/hadoop/app3.配置文件修改进入目录:/usr/local/hadoop/app/hbase-1.2.0-cdh5.7.0/conf
GuangHui·2023-12-27 07:17

Rancher小白学习之路

load-balancer/_indexhttp://docs.rancher.cn/docs/rancher1/rancher-service/load-balancer/_indexRancher2.5集群搭建
weixin_42124960·2023-12-27 01:07

pgsql建表语句，并设置自增主键code

2.一定加表的说明COMMENTONTABLE"xlbigdata_ods"."
北凉-徐凤年·2023-12-26 20:07

大数据生态系统和组件

大数据（BigData）是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率、多样化的信息资产。
数据产品经理·2023-12-26 06:46

Kubernetes-通过Rancher从Harbor私有仓库拉取镜像

引言  前一篇文章详细描述了如何使用rancher搭建Kubernetes高可用集群，集群搭建好了后，我们就需要开始部署应用了，那么如何从私有镜像仓库拉取镜像呢？
Statmoon·2023-12-26 04:03

CDH框架搭建【小白易上手】

CDH框架搭建Vmware安装CentOS虚拟机java环境搭建mysql环境搭建CDH集群搭建遇到的问题1.磁盘空间不够2.centOS版本过低3.连接虚拟机ip失败4.node0节点无法加入集群Vmware
刀锋0001·2023-12-26 02:14

从 Bigdata 到 token

图片发自Appbigdata同token似乎风马牛不相及，为什么可以进行比较呢？
曹博士·2023-12-26 02:24

RocketMQ

MQ的优缺点各种MQ产品的比较RockeetMQ快速入门准备工作下载RocketMQ安装RocketMQ启动RocketMQ测试RocketMQ发送消息接收消息RocketMQ集群搭建角色介绍集群搭建方式集群特点集群模式
Xiaolei.Shi·2023-12-25 23:52

RabbitMq学习笔记11（小滴课堂）

讲解RabbitMQ高可用普通集群模式介绍讲解RabbitMQ高可用mirror镜像集群模式介绍讲解RabbitMQ高可用普通集群搭建基础准备停止节点：删除单节点：我们已经查不到之前的容器了。
抹茶味的西瓜汁·2023-12-25 19:36

HBase 集群搭建

文章目录安装前准备兼容性官方网址集群搭建搭建Hadoop集群搭建Zookeeper集群解压缩安装配置文件高可用配置分发HBase文件服务的启停启动顺序停止顺序验证进程查看Web端页面安装前准备兼容性1）
撕得失败的标签·2023-12-25 19:05

hadoop 3.3大数据集群搭建系列2-安装zookeeper

一.下载并解压cd/home/softwarewgethttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz--no-check-certificatetar-xvfapache-zookeeper-3.6.3-bin.tar.gz-C/home二
只是甲·2023-12-25 11:04

二.Zookeeper安装

2.1本地模式安装部署1）安装前准备：（1）安装jdk（2）上传zookeeper到linux系统下（3）修改tar包权限[itstar@bigdata111software]$chmodu+xzookeeper
临时_01e2·2023-12-25 09:39

Hadoop开发环境搭建

0、修改hostname1)修改/etc/hosts:192.168.184.130luozheng.bigdata2)修改/etc/hostnameluozheng.bigdata3)添加或是修改/etc
紫苓·2023-12-25 08:36

python规则引擎pyke_[bigdata-115] 规则引擎pyke

1.官网http://pyke.sourceforge.net/2.安装第三方包pyenvglobalanaconda3-4.2.0pipinstallHTMLTemplate3.源码安装pyke3.1下载https://nchc.dl.sourceforge.net/project/pyke/pyke/1.1.1/pyke3-1.1.1.zip3.2下载后解压缩pyenvglobalanacon
weixin_39907596·2023-12-25 03:51

零基础搭建k8s集群（一）- 基础准备

基础准备零基础搭建k8s集群（二）-依赖软件安装零基础搭建k8s集群（三）-提前放行相关的网络端口零基础搭建k8s集群（四）-构建k8s集群一、前言本栏目主题会讲解k8s集群的零基础构建，从环境准备、防火墙管理、集群搭建
不认输的猴·2023-12-24 23:53

Redis集群

二、Redis集群能干什么三、Redis集群槽位四、Redis集群的分片1、哈希取余分区算法3、哈希槽分区算法五、集群搭建1、3主3从redis集群配置2、3主3从redis集群读写3、主从容错切换迁移
Poetry-Distance·2023-12-24 19:26

MySQL主从架构及读写分离实战

目录一、实验目的与环境二、基础环境介绍三、搭建主从集群1、理论基础2、同步的原理3、搭建主从集群3.1配置master主服务器3.2配置slave从服务3.3主从集群测试3.4集群搭建扩展：3.5、GTID
Memory_2020·2023-12-24 09:04

RocketMQ 入门：MQ 基础概念、集群搭建与高可用配置，消息示例详解

RocketMQ入门视频地址：千锋教育RocketMQ全套视频教程，快速掌握MQ消息中间件什么是MQ？MessageQueue（消息队列），从字面上理解：首先它是一个队列。FIFO先进先出的数据结构——队列。消息队列就是所谓的存放消息的队列。消息队列解决的不是存放消息的队列的目的，解决的是通信问题。1、同步通信情况下比如以电商订单系统为例，如果各服务之间使用同步通信，不仅耗时较久，且过程中受到网络
沉梦听雨.·2023-12-24 08:44

Hadoop+Hive学习笔记-4

Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户：crontab-e在第一行写入：*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作，这一步让三台机器的时间服务器一致
fwings260·2023-12-24 08:22

服务器运维 专有名词

专有名词云上虚拟私有云（VirtualPrivateCloud，VPC）IDC机房专线Kubernetes集群搭建以及基本使用【具详细】有了docker为什么还需要k8shttps://blog.csdn.net
wowocpp·2023-12-24 04:10

Clickhouse基础知识

clickhouse.tech/docs/zh/【clickhouse中文社区文档】https://www.jianshu.com/p/5f7809b1965ehttps://blog.csdn.net/jmx_bigdata
DevinKim·2023-12-23 20:38
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他