bigdata集群搭建

Big Data Tools完整攻略，一键连接Hadoop

BigDataTools完整攻略安装BigDataTools连HDFS连Hadoop连Spark写HDFS程序安装BigDataTools打开idea选择插件在Marketplace里面输入BigDataTools
轻夏·2023-10-14 02:50

Nacos集群搭建

Nacos集群搭建1.集群结构图Nacos集群图：其中包含3个nacos节点，然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
无条件做异梦·2023-10-14 02:33

分布式NoSQL数据库HBase实践与原理剖析（一）

title:HBase系列第一章HBase基础理论1.1HBase简介ApacheHBase™istheHadoopdatabase,adistributed,scalable,bigdatastore.ApacheHBase
落叶飘雪2014·2023-10-13 23:51

Ceph初步了解和ceph集群搭建测试

Ceph初步了解和ceph集群搭建测试常用分布式文件系统HadoopFastDFSCephGlusterFSLustre(太老了)Ceph概述Ceph是一个分布式文件系统具有高扩展、高可用(默认3副本存储数据一个挂了还有两个
icnvd·2023-10-13 22:32

迷你Ceph集群搭建（超低配设备）

我的博客原文链接：https://blog.gcc.ac.cn/post/2023/%E8%BF%B7%E4%BD%A0ceph%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA/环境机器列表：IP角色说明10.0.0.15osdARMv7，512M内存，32G存储，百兆网口10.0.0.16clientARM64，2G内存，测试集群性能用，千兆网口10.0.0.17osdA
叶梓翎·2023-10-13 21:29

RocketMQ集群搭建

3.RocketMQ集群搭建3.1各角色介绍Producer：消息的发送者；举例：发信者Consumer：消息接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker
码农GG·2023-10-13 19:44

基于kafka，zookeeper实现的日志收集平台搭建

centos7（9台，1核2G），kafka(2.12)，nginx，filebeat，zookeeper(3.6.3)，python3.6，mysql项目描述：分别使用3台Linux服务器来作为nginx集群搭建前端
月昭昭·2023-10-13 15:27

分布式存储——GlusterFS

原文链接：分布式存储—GlusterFS_西风未眠的技术博客_51CTO博客文章目录GlusterFS简介GlusterFS集群搭建1.gfs集群安装前提2.测试服务器规划3.四台gfs集群节点安装gfs
西风未眠·2023-10-13 13:19

06-Scala面向对象

虽然如此，但其面向对象思想和Java的面向对象思想还是一致的Scala包1）基本语法Scala中基本的package包语法和Java完全一致例如：packagecom.clear.bigdata.scala2
书香恋仁心·2023-10-13 11:32

2018年海外大数据和人工智能产业全景分析与趋势预测

1、全景概况Withoutbigdataanalytics,companiesareblindanddeaf,wanderingoutontotheWeblikedeeronafreeway.高科技营销魔法之父
yoku酱·2023-10-13 10:32

spark 读取hive事务表

参考链接：spark通过JDBC读取hive事务表https://github.com/Gowthamsb12/BigData-Blogs/blob/master/Spark_ACIDimportorg.apache.spark.sql.jdbc.JdbcDialectobjectHiveDialectextendsJdbcDialect
Java小田·2023-10-13 05:44

Linux 搭建redis集群(centos7.8+redis6.*)

redis集群搭建主要步骤如下：安装单机版redis；创建集群redis配置信息启动集群一、Linux搭建redis单机本实例选用redis版本6.2.6，具体搭建参考我的另外一篇实例；Linux搭建redis6
李贝尔·2023-10-13 02:46

windows下redis搭建集群

windows下redis的集群搭建（三主三从）所需资料百度网盘全部存在，依次执行就好链接：https://pan.baidu.com/s/1BCyL4G71AXczBSBbbppe0g提取码：ABCC
一只小山雀·2023-10-13 01:01

Redis3.0 Cluster Redis集群搭建

一、介绍Redis集群是一个提供在多个Redis间节点间共享数据的程序集.redis3.0以前，只支持主从同步的，如果主的挂了，写入就成问题了。而官方的RedisCluster出来后就可以很好帮我们解决这个问题；可以做到节点的自动发现、集群容错slave->master、人为操纵分片(slots)等等RedisCluster架构架构细节：(1)、所有的redis节点彼此互联(PING-PONG机制
孤天浪雨·2023-10-13 01:59

Windows下Redis3.0集群搭建

redis版本：Redis-x64-3.0.504复制相同文件修改文件夹下redis.windows.conf文件配置(注意：主有密码，从必须有密码且跟主相同)修改端口：主库：端口号6379从库1：修改端口号为6380从库2：修改端口号为6381在从库中添加从属信息slaveof127.0.0.16379注意：有关slaveof的配置只是配置从服务器，主服务器不需要配置开启尝试：测试主从模式：新开
愚人钊呀·2023-10-13 01:23

基于Docker搭建RabbitMQ集群(多台服务器)

前言:本文章这次主要是基于docker在多台服务器下搭建的普通集群环境,镜像集群以及集群搭建后通过nginx负载和keepalived实现HA会另出一篇文章进行详细介绍。
小前端而已·2023-10-12 22:50

【EI会议征稿】第三届大数据、人工智能与风险管理国际学术会议 (ICBAR 2023)

第三届大数据、人工智能与风险管理国际学术会议(ICBAR2023)20233rdInternationalConferenceonBigData,ArtificialIntelligenceandRiskManagement
搞科研的小刘选手·2023-10-12 18:05

Scala的List

点击(此处)折叠或打开defmain(args:Array[String]){valbigData=List("Hadoop","Spark")valdata=List(1,2,3)valbigData_Core
cufu3352·2023-10-12 17:24

hadoop 3.x大数据集群搭建系列7-安装Hudi

文章目录编译环境准备一.下载并解压hudi二.maven的下载和配置2.1maven的下载和解压2.2添加环境变量到/etc/profile中2.3修改为阿里镜像三.编译hudi3.1修改pom文件3.2修改源码兼容hadoop33.3手动安装Kafka依赖3.4解决spark模块依赖冲突3.4.1修改hudi-spark-bundle的pom文件3.4.2修改hudi-utilities-bun
只是甲·2023-10-12 15:59

大数据导论习题_《大数据导论（通识课版）》.PDF

《大数据导论(通识课版)》教材官网：/post/bigdataintroduction/温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字《大数据导论(通识课版)》课程介绍(PPT版本号：
weixin_39747075·2023-10-12 12:17

【EI检索征稿】第五届机器学习、大数据与商务智能国际会议（MLBDBI 2023）

第五届机器学习、大数据与商务智能国际会议（MLBDBI2023）20235thInternationalConferenceonMachineLearning,BigDataandBusinessIntelligence
搞科研的小刘选手·2023-10-12 11:22

consul 集群搭建

consul有agentclient和server两种模式，通过3台server模式进行集群下载安装准备3台服务器192.168.0.150/192.168.0.151/192.168.0.152如下命令启动3个节点#!/bin/bashnohup./consulagent-server-bootstrap-expect=3-data-dir=/data/consul-node=192.168.0
slicn·2023-10-12 08:14

开一门驳斥“狗屁”的课（多美）

今天要跟大家介绍的这门《CallingBullshitIntheAgeofBigData》——课名直译过来，大概是：“在这个大数据时代，分辨并驳斥狗屁”。
多美2018·2023-10-12 05:52

Hadoop分布式集群搭建教程

目录前言环境准备一、创建虚拟机二、虚拟机网络配置三、克隆虚拟机四、Linux系统配置五、Hadoop的部署配置六、Hadoop集群的启动前言大数据课程需要搭建Hadoop分布式集群，在这里记录一下搭建过程环境准备搭建Haoop分布式集群所需环境：VMware：VMware-workstation-full-17.0.2-21581411CentOS：CentOS-7-x86_64-DVD-2003
韭菜盖饭·2023-10-12 05:12

MySQL 主从集群搭建

MySQL主从集群数据库主从概念、优点、用途主从数据库是什么意思呢，主是主库的意思，从是从库的意思。数据库主库对外提供读写的操作，从库对外提供读的操作。数据库为什么需要主从架构呢？高可用，实时灾备，用于故障切换。比如主库挂了，可以切从库。读写分离，提供查询服务，减少主库压力，提升性能备份数据，避免影响业务。主从复制介绍（1）MySQL数据库默认是支持主从复制的，不需要借助于其他的技术，我们只需要在
PleeCh·2023-10-12 04:15

MySQL集群搭建(2)-主主从模式

https://segmentfault.com/a/1190000017050180让我们继续MySQL集群搭建之旅，大部分MySQL的集群都是采用主主从的经典模式，这也是部署高可用集群的基础。
yygr·2023-10-12 04:45

数据库基础：mysql主从集群搭建

(4)查看一下主库的状态showmasterstatus\G;需要注意的是：如果没有上面第3步操作，执行showmasterstatus\G;会报错，如下图：file：表示同步的bin-log信息从哪个文件开始；position：表示从file的哪个位置开始；binlog_do_db：表示同步哪一个库在后面的slave配置中，这三个结果都需要使用到。4.Slave(6.85)节点配置配置从库(1)
Javaesandyou·2023-10-12 04:44

RocketMQ学习笔记

RocketMQ学习笔记一、下载安装1.1官网下载官网地址:http://rocketmq.apache.org下载地址：https://rocketmq.apache.org/download/1.2集群搭建
神雕大侠mu·2023-10-12 04:33

Kafka在linux中的安装

Kafka集群部署概述环境准备JDK安装Docker环境安装Kafka集群搭建（ZK模式）zookeeper集群搭建zookeeper部署情况准备工作下载安装包解压安装包创建数据存放目录创建配置文件编辑配置文件配置
我就是我352·2023-10-12 02:10

zookeeper 详解及集群搭建

一、Zookeeper安装包下载地址：https://download.csdn.net/download/weixin_45894220/87020758关于zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分
被生活耽误的旅行者·2023-10-11 23:43

Zookeeper集群搭建及使用

什么是zookeeperzookeeper是一个开源的分布式，基于观察者模式的分布式服务管理框架。使用场景统一配置管理、统一命名服务、统一集群管理、软负载均衡、服务器节点动态上下线等统一配置管理：将配置信息写入zookeeper的一个znode中，各个服务端监听这个znode，znode中内容经过修改，zookeeper将会通知各个服务器统一命名服务：对服务/应用进行统一命名，便于识别统一集群管理
优优优优呐·2023-10-11 23:13

Zookeeper入门详解、集群搭建以及源码解析（一）

1、Zookeeper入门1.1、概述Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。1.2、特点Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。全局数据一致：每个Server保存一份相同的数据副本，Client
后端技术那点事·2023-10-11 23:36

zookeeper 集群搭建及Shell操作

zookeeper集群搭建及Shell操作一、搭建准备二、修改配置三、启动步骤四、客户端的基本操作五、常用的shell操作命令六、zookeeper的watch机制七、zookeeper集群leader
半吊子Kyle·2023-10-11 23:31

ZooKeeper 安装并实现集群搭建

0.集群结构服务器IPhostname节点说明192.168.31.101master主节点192.168.31.102slave1从节点192.168.31.103slave2从节点下面的安装与配置操作需要在三台虚拟机上都执行一遍，这里的虚拟机上安装的是centOS7版本。1.安装JDKZooKeeper要求运行在JDK环境上，JDK安装教程可参考CentOS7.x安装JDK1.82.下载Zoo
Java知者·2023-10-11 23:29

ZooKeeper集群环境搭建及客户端使用

ZooKeeper集群搭建（三台机器为例）上传并解压到/usr/local目录下：tar-zxvfzookeeper-3.4.13.tar.gz-C/usr/local重命名：mvzookeeper-3.4.13
Future_LL·2023-10-11 23:28

zookeeper节点数据类型介绍及集群搭建

一、zookeeper介绍zookeeper官网：ApacheZooKeeperzookeeper是一个分布式协调框架，保证的是CP，即一致性和分区容错性；zookeeper是一个分布式文件存储系统，文件节点可以存储数据，监听子文件节点等可以实现数据的集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能二、zookeeper安装和基本命令1、zookeeper安装下载
高如风·2023-10-11 23:27

spark集成hadoop

hadoop环境搭建请参考hadoop3.2.2集群搭建环境centos7、jdk1.8.0_311、scala-2.12.15、zookeeper-3.6.3、hadoop3.2.2、spark-3.2.1
0x12A2A7F·2023-10-11 16:07

redis6高可用集群搭建

最近发现redis的内存空间不够实用了，发现是服务器太旧了导致乱七八糟的都占了不少存储和内存。而且服务器的性能也比较差。但是服务器还是蛮多的（5台左右），如果说换新的又可惜。所以找了一种redis集群的搭建方式来部署redis高可用集群环境。以下就是搭建的过程。给自己做一个总结和笔记。准备环境1.redis-6.0.52.三台服务器10.172.246.231、10.172.246.232、10.
_小石头啊·2023-10-11 15:36

基于rancher的K8s集群搭建(可实现CICD部署)

一、环境搭建序号软件版本链接账号密码1GitlabV14.6.1http://ip/root1234562Harborv2.5.3http://ip:port/harbor/projectsadmin1234563rancherv2.6.3https://ip:port/dashboard/homeadmin123456序号地址名称备注1192...182K8s-codegitlab安装位置219
ld丹业余分享·2023-10-11 14:51

VIP01-RocketMQ整体理解与快速实战

RocketMQ3.1启动NameServer3.2启动Broker3.3命令行快速验证3.4关闭RocketMQ服务三、RocketMQ集群架构1、RocketMQ集群中的各个角色2、RocketMQ集群搭建
liuhehe321·2023-10-11 14:04

Zookeeper（二）实战-客户端使用

文章目录前言一、Zookeeper的Java客户端1.Zookeeper分布式配置中心使用2.Zookeeper的JavaAPI使用二、使用Curator客户端1.创建节点三、Zookeeper集群模式概念集群搭建前言本文主要讲解
剩下的远方·2023-10-11 10:48

RabbitMQ实战

queueDeclare方法queueBind方法exchangeBind方法发送消息basicPublish方法消费消息推模式拉模式RabbitMQ进阶持久化生产者确认消费端要点消息传输保障RabbitMQ运维集群搭建集群迁移集群监控跨越集群限制
陈晨_软件五千言·2023-10-11 10:17

Kafka学习笔记（六）· 高级应用~集群~监控

独立模式-文件系统3、SpringBootKafka1、添加pom文件2、添加application.properties3、消息的发送4、消息的接收5、Kafka事务的支持九、集群管理1、集群使用场景2、集群搭建
发抖吧小喵喵·2023-10-11 09:11

2018国内手机浏览器产品分析, UC、QQ占7成以上市场份额, UC用户满意度最高、粘性最强

市场上主流浏览器据比达咨询（BigData
黄大大么么哒·2023-10-11 07:20

Kerberos常用操作

Kerberos:kadmin.local使用kadmin.local命令登录[root@manager~]#kadmin.localAuthenticatingasprincipalroot/admin@BIGDATAwithpassword.kadmin.local
王羲之的之·2023-10-11 05:34

Flink各类运行环境介绍

java1.8maven工具开发工具：例如IntelliJIDEA，并配置环境具备了开发所依赖的各类环境后，即可进行Flink的开发工作创建一个maven工程pom.xml文件：4.0.0com.zenitera.bigdataflink
王亭_666·2023-10-10 23:54

hadoop安装集群搭建

准备工作：1，创建一台虚拟机，安装javajdk这里选择1.82，给虚拟机并配置好静态IP地址一：Javajdk安装1.1检查安装环境，是否已安装其他版本的jdk，有的话卸载。#查看系统JDK进程[root@hadoop102~]#rpm-qa|grepjdkjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64java-1.6.0-openjdk-1.6.0
lingdu6633·2023-10-10 22:01

python中TagMe包的token获取

1.注册Tagme，注册地址https://services.d4science.org/home（我用邮箱注册一直说验证码不对，最后用Google账号注册的）2.找sobigdata3.进入sobigdata
肉嘟嘟的zhu·2023-10-10 22:22

CC00011.spark——|Hadoop&Spark.V11|——|Spark.v11|sparkcore|开发环境搭建IDEA|

一、创建工程###---创建一个maven工程：~~~CreateNewProject——>Maven——>Next——>Name：SparkBigData——>Finish——>END###---安装
yanqi_vip·2023-10-10 18:48

时序数据库 TDengine 3.0 参数体系使用方式汇总

首先，我们来看下它们的使用方式——参数分级集群级别参数：SHOWCLUSTERVARIABLES;代表集群搭建时，必须要保
涛思数据（TDengine）·2023-10-10 17:30
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他