bigdata集群搭建第24页

【EI会议】第三届大数据、人工智能与风险管理国际学术会议 (ICBAR 2023)

第三届大数据、人工智能与风险管理国际学术会议(ICBAR2023)20233rdInternationalConferenceonBigData,ArtificialIntelligenceandRiskManagement

搞科研的小刘选手·2023-09-25 05:32

017 Hadoop 的 13 大局限性 & Hadoop 弊端的解决方案

01713BigLimitationsofHadoop&SolutionToHadoopDrawbacksAlthoughHadoopisthemostpowerfultoolofbigdata,therearevariouslimitationsofHadooplikeHadoopisnotsuitedforsmallfiles

胡巴Lei特·2023-09-25 04:12

一文搞定Redis主从复制，哨兵集群，Cluster集群搭建与测试

在本文中，我们将准备三台虚拟机，安装三个Redis服务端，分别搭建Redis主从、哨兵和集群。下面我会图文结合来讲解搭建的详细过程，并对注意点加以说明，开始吧～一、安装Redis服务端1、准备三台乌班图虚拟机：下面以UbuntuServer20.04作为实验环境，对于CentOS中的安装过程自行百度。准备工作：乌班图Server20.04虚拟机三台，我用的是MacOS的vmware，架构图：2、安

小杰666·2023-09-24 22:31

BigData-MySQL（事务和存储过程）

1.事务1.1存储引擎数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。Mysql的核心就是存储引擎。常见存储引擎InnoDB是事务型数据库的首选，执行安全性数据库，行锁定和外键。mysql5.5之后默认使用。MyISAM插入速度和查询效率较

蜡笔小虎_007·2023-09-24 21:51

Elasticsearch集群搭建 + ELFK数据传输链路打通

1.1ElasticSearch1.2Logstash1.3Kibana1.4Filebeat1.5ELFK使用原因1.6日志系统的基本特征1.7ELFK工作原理二、Docker安装部署ELFK2.1数据流向2.2前置准备2.3ES集群搭建

南波塞文·2023-09-24 14:11

mysql MHA集群搭建

我们准备了三台虚拟主机192.168.44.11：主192.168.44.12：从192.168.44.14：从+MHA管理节点1.搭建主从复制环境（见上一篇）2.MHA的安装需要Perl我们需要在系统中进行安装：yuminstallperl*3.安装MHA-manager（资源里有安装包文件）unzipmha4mysql-manager-master.zip--解压安装包cdmha4mysql-

chengyuyuan_zh·2023-09-24 13:05

CentOS7 下 HBase-1.3.1 安装

安装准备:Zookeeper-3.4.10Hadoop-2.7.3zk,hadoop安装略启动zookeeper集群[hadoop@hadoop131software]$/opt/bigdata/hadoop

V1cttor·2023-09-24 13:06

Hive3远程模式安装

本文环境：Hadoop3.2.2JDK1.8.0_291MySQL5.7.35Hive3.1.2一、安装Hadoop集群Hadoop集群部署参考这篇文章：《Hadoop完全分布式集群搭建详细图文教程》二

Yunis尤尼斯·2023-09-24 13:17

BigData-MySQL（数据库设计）

1.数据库设计数据库的设计是基础,数据库设计的目标是为用户和各种应用系统提供一个基础的信息设施和高效的运行环境。1.1数据库设计三个范式1NF:所有的域是原子性的表中的每一列应该是不可拆分的最小单元。最低要求。2NF:所有的非主键字段必须与主键相关,不能与部分主键相关(联合主键)每张表中描述和表示一类数据,多种不同的数据需要拆分到多张表中。3NF:所有非主键字段必须与主键直接相关,而不能依赖于其他

蜡笔小虎_007·2023-09-24 02:55

RabbitMQ用户命令_策略_日志

阿亮说技术·2023-09-23 23:32

Docker安装RabbitMQ集群_亲测成功

先安装DockerCentos7离线安装Docker华为云arm架构安装DockerRabbitMQ集群模式介绍RabbitMQ集群搭建和测试总结_亲测RabbitMQ有三种模式：单机模式，普通集群模式

beyond阿亮·2023-09-23 23:32

RabbitMQ配置文件_修改RabbitMQ MQTT的1883端口

Centos离线安装RabbitMQ并开启MQTTDocker安装rabbitMQRabbitMQ集群搭建和测试总结_亲测Docker安装RabbitMQ集群_亲测成功rabbitmq.conf默认没有配置文件

阿亮说技术·2023-09-23 23:31

7.4-IngestPipeline&PainlessScript

的数据Tags字段中，逗号分隔的⽂本应该是数组，⽽不是⼀个字符串需求：后期需要对Tags进⾏Aggregation统计PUTtech_blogs/_doc/1{"title":"Introducingbigdata

落日彼岸·2023-09-23 20:01

Kafka 集群与可靠性

文章目录Kafka集群的目标Kafka集群规模如何预估Kafka集群搭建实战Kafka集群原理成员关系与控制器集群工作机制replication-factor参数auto.leader.rebalance.enable

叫我二蛋·2023-09-23 18:17

hive元数据的partitions表不存在

Log4JLogger.java:error(115))-ErrorthrownexecutingALTERTABLE`PARTITIONS`ADDCOLUMN`TBL_ID`BIGINTNULL:Table'bigdata.partitions'doesn'texistjava.sq

万事于足下·2023-09-23 18:40

2015年《大数据》高被引论文Top10文章No.5——对大数据的再认识

其引用格式如下：李国杰.对大数据的再认识[J].大数据,2015001.LIGJ.Furtherunderstandingofbigdata[J].BigDataResearch,2015001.李国杰中

唐名威·2023-09-23 17:19

（本地安装clickhouse）执行 nstall/doinst.sh时报错： cp: 无法创建普通文件“/usr/bin/clickho

/module/再进入cdclickhouse-common-static-21.9.4.35/执行：install/doinst.sh报错报错信息和截图：root@bigdata1clickhouse-common-static

小辉懂编程·2023-09-23 15:58

社会化海量数据采集爬虫框架搭建

社会化海量数据采集爬虫框架搭建随着BIGDATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。

weixin_34381666·2023-09-23 04:53

大数据抓取采集框架

随着BIGDATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。

younger_z·2023-09-23 04:53

CDH重新初始化Hive元数据库

/schematool-initSchema-dbTypemysql--verbose执行报错：[root@prod-bigdata-pc7bin]#.

头顶榴莲树·2023-09-23 04:11

大数据之Hive初始化数据元

安装完hive后，需要配置好hive-site.xml配置如下：javax.jdo.option.ConnectionURLjdbc:mysql://bigdata113:3306/hivedb?

Java璐到底·2023-09-23 04:36

zookeeper + kafka + kafka-eagle集群搭建

zookeeper+kafka+kafka-eagle集群搭建1.前言记录zookeeper集群和kafka集群的搭建步骤，并配置可视化工具kafka-eagle。

花信風-Ling·2023-09-22 16:33

MySQL 两张表数据合并

有一个需求,需要从数据库中导出两张表的数据到同一个excel中鉴于是临时的业务需求,直接使用Navicat进行查询并导出数据.数据涉及到三张表CREATETABLE`bigdata_qiye`(`id`

Dylan Song·2023-09-22 14:04

Docker Swarm简介及使用说明

DockerSwarm简介DockerSwarm集群搭建DockerSwarm服务DockerSwarm服务日志DockerSwarm常用命令DockerSwarm简介Swarm是Docker官方提供的一款集群管理工具

咖猫·2023-09-22 13:55

mysql+canal+kafka+elasticsearch构建订单搜索平台(kafka伪集群搭建)

kafka启动命令kafka启动命令本章介绍kafka伪集群搭建:依然采用brew安装方式brewinstallkafka安装路径:配置文件路径:由于是伪集群安装（3台机器），所以将server.properties

wz的技术窝·2023-09-22 10:22

LuatOS-SOC接口文档(air780E)-- fastlz - FastLZ压缩

示例--与miniz库的差异--内存需求量小很多,miniz库接近200k,fastlz只需要32k+原始数据大小--压缩比,miniz的压缩比要好于fastlz--准备好数据localbigdata=

l531798151·2023-09-22 05:29

【大数据集群搭建-Apache】Apache版本进行大数据集群各组件环境部署

【大数据集群搭建-Apache】Apache版本进行大数据集群各组件环境部署1）大数据环境统一1.1.设置主机名和域名映射1.2.关闭服务器防火墙和Selinux1.3.服务器免密登陆1.4.所有机器时钟同步

bmyyyyyy·2023-09-22 02:47

虚拟机搭建Hadoop集群环境-CentOS篇

文章目录Linux环境安装虚拟机环境准备虚拟机克隆修改虚拟机IP修改主机名创建普通用户重启虚拟机使用Xshell远程访问集群搭建安装JDK安装Hadoop关闭防火墙其它节点虚拟机克隆配置SSH无密钥登录编写文件集群分发脚本修改

书隐辞·2023-09-22 02:16

大数据复习----虚拟机创建~集群搭建~hadoop高可用

1.centos7创建1.新建虚拟机2.最好放在非系统盘的固态盘3.设置内存大小，根据自己需求4.默认5.默认6.动态分配7.最少100G8.分组9.重命名10.11.12.安装操作系统13.选择镜像14.15.16.修改CPU17.修改鼠标18.启动19.自由缩放20.21.22.23.设置root密码24.重启2.配置网络环境1.cd/etc/sysconfig/network-scripts

lkm0522·2023-09-22 02:45

大数据入门--hadoop（一）--分布式集群搭建

大数据入门--hadoop（一）--分布式集群搭建准备工作ntp时间同步hadoop101配置修改/etc/ntp.conf修改/etc/sysconfig/ntpd文件重新启动ntpd服务其他服务器配置

许中宝·2023-09-22 02:45

搭建Flink集群、集群HA高可用以及配置历史服务器

Flink集群搭建Flink集群搭建集群规划下载并解压安装包修改集群配置分发安装目录启动集群访问WebUIFlink集群HA高可用概述集群规划配置flink配置master、workers配置ZK分发安装目录启动

CodeDevMaster·2023-09-22 00:12

启动spark历史服务失败问题处理

SPARK_HOME/sbin/start-history-server.shstartingorg.apache.spark.deploy.history.HistoryServer,loggingto/home/bigdata

泊涯·2023-09-21 23:52

Redis学习（七）--Redis主从复制与Redis集群搭建

Redis主从复制主从复制是什么主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主主从复制能干嘛读写分离，性能扩展；容灾快速恢复；怎么玩：主从复制拷贝多个redis.conf文件include(写绝对路径)；开启daemonizeyes；Pid文件名字pidfile；指定端口port；Log文件名字；dump.rdb名字dbfil

三笠·阿卡曼·2023-09-21 19:03

hadoop集群搭建

vim/etc/hosts192.168.1.2Master.Hadoop192.168.1.3Slave1.Hadoop192.168.1.4Slave2.Hadoop192.168.1.5Slave3.Hadoop若能用主机名进行ping通，说明刚才添加的内容，在局域网内能进行DNS解析。hadoop:https://dlcdn.apache.org/hadoop/common/hadoop-

我有甜甜·2023-09-21 15:45

zookeeper虚拟机集群搭建问题：Cannot open channel to * at election address

配置zoo.cfg中各个主机的ip地址不对，查看myid是否与zoo.cfg中service.*是对应的。关闭防火墙首先查看防火墙的状态systemctlstatusfirewalld.serviceactive(running)表示防火墙开启关闭防火墙systemctlstopfirewalldservicesystemctlstatusfirewalld.servicedisavtive（de

AmeliaPP·2023-09-21 07:09

01.三节点集群搭建--VM配置

1.下载CentOS71.百度搜索centos–>2.点击centos官网连接–>3.点击DVDISO–>4.点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso连接进下载.2.安装虚拟机管理软件MwareWorkstation15Pro产品文档Mac安装教程安装完成虚拟机会在桌面上生成虚拟

一碗机智的糖浆·2023-09-21 06:53

Hadoop集群搭建的总结

集群搭建步骤1.设置ip：使用命令servicenetworkrestart重启网卡2.关闭

qq_40178533·2023-09-21 05:43

RabbitMQ高级特性-搭建RabbitMQ普通集群

目录一、架构二、获取cookie三、准备集群配置四、启动集群五、测试1、数据共享测试2、可用性测试一、架构我们通过docker模拟集群搭建，端口分配如下：主机名控制台端口amqp通信端口mq18081—

Blueeyedboy521·2023-09-21 02:17

rocketmq安装，内存配置，各种命令说明，windows下安装，控制台工具

1修改内存大小以下只是设置实例：cd/home/bigdata/installed/rocketmq-all-4.2.0（140机器）vimbin/runserver.sh（调整nameserver启动的内存

涂作权的博客·2023-09-20 23:17

Hdoop伪分布式集群搭建

文章目录Hadoop安装部署前言1.环境2.步骤3.效果图具体步骤（一）前期准备（1）ping外网（2）配置主机名（3）配置时钟同步（4）关闭防火墙（二）正文（1）配置hosts列表（2）SSH免密钥登录配置①master虚拟机上②slave01虚拟机上③slave02虚拟机上④验证免密登录（3）安装JDK（4）安装部署Hadoop集群（chenqi用户）1.解压缩包2.配置文件3.创建Hadoo

陈七.·2023-09-20 22:27

centos7 mysql集群搭建

mysql集群前置条件修改集群节点设备计算机名称hostnamectlset-hostnamenode1#以此类推node2,3实现集群节点之间的ssh互信功能functionssh_trust(){result=$(cat/etc/ssh/sshd_config|grep"RSAAuthentication")#echo$resultif[!"$result"];thenecho"RSAAuth

祈心无尘·2023-09-20 15:59

mysql 集群搭建(Centos7) for Galera

背景：mysql高可用集群主流的是MHA，缺点不够灵活，需要做单独做读写分离。Galera目前是没有主从，所有节点都可读写，宕机重启自动加入集群，容灾灵活。第一步：环境介绍centos7+mysql-8.0+galera-4第二步：准备工作.执行命令：>vi/etc/selinux/config修改SELINUX=enforcing为permissive,执行reboot重启电脑.准备一个ssh连

谁冷漠了秋天·2023-09-20 15:29

Redis-cluster原理及集群搭建

一3.0版本之前在redis3.0版本之前是不支持集群的，我们的redis如果想要集群的话，就需要一个中间件，然后这个中间件负责将我们需要存入redis中的数据的key通过一套算法计算得出一个值。然后根据这个值找到对应的redis节点，将这些数据存在这个redis的节点中,在取值的时候，同样先将key进行计算，得到对应的值，然后就去找对应的redis节点，从对应的节点中取出对应的值,这样做有很多不

itfanszhao·2023-09-20 14:00

大数据定义

大数据（bigdata），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

一揽疯华·2023-09-20 12:07

图文结合丨GreatSQL MGR + ProxySQL集群搭建方案

前言ProxySQLProxySQL是基于MySQL的一款开源的中间件的产品，是一个灵活的MySQL代理层，可以实现读写分离，支持Query路由功能，支持动态指定某个SQL进行缓存，支持动态加载（无需重启ProxySQL服务），故障切换和一些SQL的过滤功能。GreatSQLMGRGreatSQL是适用于金融级应用的国内自主开源数据库，具备高性能、高可靠、高易用性、高安全等多个核心特性，可以作为M

·2023-09-20 10:40

Hbase完全分布式搭建

一、简介Hbase官网二、生产集群搭建准备Zookeeper集群，Zookeeper搭建Hadoop集群(必须搭建完)，Hadoop搭建Hbase完全分布式配置(注意切换用户hadoop)#上传Hbase

鋆坤·2023-09-20 03:06

Redis 高级总结

Redis持久化1.RDB2.AOF3.AOF和RDB对比Redis主从集群结构准备实例和配置启动开启主从关系测试数据同步原理搭建哨兵集群集群结构准备实例和配置启动测试哨兵的作用SpringBoot访问哨兵集群搭建分片集群集群结构准备实例和配置启动创建集群测试散列插槽集群伸缩故障转移

_CX_·2023-09-19 18:49

spark-sql sql on yarn --deploy-mode cluster 改造

前言众所周知，spark-sql不能提交到远端并且使用cluster进行部署：huangyichun@bigdata130023:~#spark-sql--masteryarn--deploy-modeclusterExceptioninthread"main"org.apache.spark.SparkException

青冬·2023-09-19 12:09

flink1.13 table api 查询hive数据，及腾讯云cos存储

代码packagecom.bigdata.etlimportorg.apac

杜之心·2023-09-19 11:25

推荐频道

bigdata集群搭建