bigdata集群搭建

flink1.13 table api 查询hive数据，及腾讯云cos存储

代码packagecom.bigdata.etlimportorg.apac
杜之心·2023-09-19 11:25

Redis cluster集群搭建

通过三台虚拟机搭建一个3主3从的cluster集群1、安装gcc-c++依赖包yuminstallgcc-c++2、下载安装包并解压wgethttps://download.redis.io/releases/redis-6.0.9.tar.gztar-zxvfredis-6.0.9.tar.gz3、编译安装编译cdredis-6.0.9make默认安装makeinstall指定路径安装(PREF
J_HelloWorld·2023-09-19 10:25

Nacos安装指南以及集群搭建

结合SpringCloud从基础到活用（超详细）查看一、Windows安装开发阶段采用单机安装即可。1.1.下载安装包在Nacos的GitHub页面，提供有下载链接，可以下载编译好的Nacos服务端或者源代码：GitHub主页：https://github.com/alibaba/nacosGitHub的Release下载页：https://github.com/alibaba/nacos/rel
Wen阿杜·2023-09-19 08:50

Hadoop+zookeeper+Flume+Spark+Kafka+Hbase大数据集群搭建

HadoopzookeeperFlumeSparkKafkaHbase大数据集群搭建教程集群搭建流程一、环境的准备和必要软件的下载下载并安装vmvare虚拟机软件下载centos7系统镜像文件，下载链接下载
jjjkkkhhhggg·2023-09-19 07:42

爱思唯尔云论坛：疫情挑战下的大数据与人工智能研究

值此疫情之际，由爱思唯尔旗下大数据期刊BigDataResearch发起的“爱思唯尔云论坛：疫情挑战下的大数据与人工智能研究”将于4月18日在线举办。
PaperWeekly·2023-09-18 22:17

大数据的概念

1、大数据定义对于“大数据”（Bigdata）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
满龙林·2023-09-18 21:49

什么叫大数据 大数据的概念

1、大数据定义对于“大数据”（Bigdata）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
BLSPers·2023-09-18 21:16

使用Navicat premium同步表结构和表数据

同步"bigdata"数据库里的所有表和数据。1、在目标数据库创建跟源数据库相同的数据库：2、输入数据库名:我这里要同步的数据库名是“bigdata”,字符集和排序规则我用的是默认的。
fooke·2023-09-18 20:29

hbase 集群搭建

hbase集群搭建1、安装步骤1.1、安装zookeeper集群1.2、下载/解压hbase1.3、修改配置文件1.3.1、hbase-env.sh1.3.2、hbase-site.xml1.3.3、regionservers1.3.4
.道不虚行·2023-09-18 18:10

nginx+keepalived集群搭建

1.nginx部署单机部署可参考：https://blog.csdn.net/ym5209999/article/details/1198972372.keepalived安装[root@nginx1~]#yum-yinstallkeepalived3.keepalived配置3.1安装完成后，默认配置文件位于：/etc/keepalived，默认配置如下：keepalived.conf!Conf
看到代码头都是大的·2023-09-18 18:59

大数据知识点之什么是大数据

大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
猿界零零七·2023-09-18 18:54

基于K8S进行postgresql数据备份&恢复

进行数据备份操作4.恢复备份数据5.如何进行数据的定时备份1.前置说明本文基于K8S进行postgres数据库进行备份和数据还原，数据库采用及集群HA的模式进行搭建，可参考前文Rancher+K8S+Docker集群搭建
纠结已成歌e·2023-09-18 14:18

阿里大数据架构师告诉你这些大数据面试题！你不看？

随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。
大数据学习02·2023-09-18 09:15

Ubuntu 22.04 配置 JDK8

mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/linux/OpenJDK8U-jdk_x64_linux_hotspot_8u372b07.tar.gz解压Jdk(在bigdata01
demodeom·2023-09-18 09:21

RabbitMQ——RabbitMQ搭建及问题

文章目录单点搭建准备版本确定安装各种依赖模块Erlang安装RabbitMQ安装安装流程安装问题集群搭建一般集群HA集群参考单点搭建准备版本确定官方给出的RabbitMQ和Erlang对应版本RabbitMQ
SK_Jaco·2023-09-18 08:05

redis 最新版 6.2.1 cluster 集群搭建

准备三台服务器，每台启动两个节点，搭建一主一从集群：192.168.3.4192.168.3.5192.168.3.6连接服务器192.168.3.4，下载最新版redis6.2.1cd/home/soft/download-package/wgethttps://download.redis.io/releases/redis-6.2.1.tar.gz复制到其他机器上scpredis-6.2.1
则好·2023-09-18 03:08

docker 安装 redis

文章目录redis单机版1.拉取redis镜像并创建数据卷目录2.复制和修改redis.conf3.启动redis容器4.进入容器并连接redisredis一主两从集群搭建1.复制三份redis.conf2
N-1-萘乙基二胺盐酸盐·2023-09-17 23:26

一个‘大数据’引发的商业模式推测

图片发自App大数据（BIGDATA）可能大家前面几年听这个词已经听的耳熟能详了，每个人都能说出一个一二三，但是大数据与我们生活息息相关吗？
A_VitoYang·2023-09-17 17:39

Apache Ignite 基本概念

简单说ApacheIgnite是为开发人员提供了实时处理大数据和内存计算的方便易用的解决方案：一个以内存为中心的数据平台可持久化、强一致和高可用强大的SQL、键-值存储及相关的APIBigdataaccelerator
wank1259162·2023-09-17 10:11

Apache Spark 2.2.0 官方文档中文版

原文链接:http://www.apachecn.org/bigdata/spark/268.htmlApacheSpark™是一个快速的,用于海量数据处理的通用引擎.官方网址:http://spark.apache.org
boonya·2023-09-17 10:40

Redis集群搭建linux

一、什么是Redis集群Redis集群是为了能够解决一台主服务器容量不足或者是出现高并发写操作时性能不足的问题，Redis集群就是将多台主服务器进行连接以实现多台主服务器数据同步和共享。每个Redis集群一共有16384个插槽，这16384个插槽将会被平均分配给群里的主服务器中，当key被存储时，Redis会将key通过CRC16算法计算出相对应的插槽并写入对应的主服务器中，因此每台主服务器只保存
码农弓长先生·2023-09-17 08:17

kafka

-05T11:35:47+08:00draft:falseauthor:“name”tags:[“kafka”]categories:[“install”]description:“测试的”kafka集群搭建下载地址
猪猪侠blogs·2023-09-17 08:13

redis集群搭建

title:“Redis集群搭建”createTime:2022-01-04T20:44:58+08:00updateTime:2022-01-04T20:44:58+08:00draft:falseauthor
猪猪侠blogs·2023-09-17 08:42

先电2.4版本iaas搭建部分（vm中模拟，比赛使用服务器）

改革由于2020年云计算改革由团队比赛变成个人比赛，原本由三个人，iaas和pass，bigdata,云应用开发都变成一个人所有脚本都在/usr/local/bin/今天刚拿到镜像和文档，先进行搭建预先准备配置两个网卡的
黑白子2000·2023-09-17 01:01

Kafka高可用 — KRaft集群搭建

本文介绍了KRaft模式及三节点的KRaft集群搭建。1KRaft介绍KRaft简介KRaft运行模式的Kafka集群，不会将元数据存储在ApacheZooKeeper中。
WonderThink·2023-09-16 22:49

ElasticSearch7(ES)集群搭建(并配置密码)

ElasticSearch之分布式搜索引擎一、简介ElasticSearch官网二、生产集群搭建准备安装JDK的linux服务器三台(JDK版需要与ElasticSearch版本对应好)下载准备好ElasticSearch
鋆坤·2023-09-16 20:24

Nacos安装与集群搭建 （保姆级指南）

Nacos安装快速安装Windows安装Linux安装集群搭建1.Windows安装开发阶段采用单机安装即可。
Lor :)·2023-09-16 18:18

1.spark读取数据与scala编程

以下是idea中用到的maven仓库版本说明：spark2.3.1scala2.11hadoop3.1.14.0.0com.attest.bigdataspark-2003291.0org.apache.sparkspark-core
一杭oneline·2023-09-16 10:59

启动hadoop服务报错

hadoop和spark后，启动hadoop集群报如下错误：上一次登录：五9月1515:32:56CST2023pts/0上[root@managerconf]#whichstart-all.sh/home/bigdata
泊涯·2023-09-16 10:04

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

说明:本篇将详细介绍用二进制安装包部署hadoop等组件，注意事项，各组件的使用，常用的一些命令，以及在部署中遇到的问题解决思路等等，都将详细介绍。1.环境说明1.1ip规划iphostname192.168.1.11node1192.168.1.12node2192.168.1.13node31.2系统配置1.2.1系统版本[root@localhost~]#cat/etc/redhat-rel
Mr.L-OAM·2023-09-16 02:02

Docker 高级篇

文章目录第一章Docker复杂安装详说1.1安装mysql主从复制1.2安装redis集群（哈希槽分区进行亿级数据存储）1.2.1相关面试题1.2.2集群搭建步骤第二章Dockerfile解析2.1是什么
程序猿历险记·2023-09-16 01:11

k8s集群搭建-kubeadm

k8s架构图1636466481738.png安装准备关闭防火墙[root@k8smaster~]#systemctlstopfirewalld[root@k8smaster~]#systemctldisablefirewalld关闭selinux：[root@k8smaster~]#sed-i's/enforcing/disabled/'/etc/selinux/config[root@k8sm
小李飞刀_lql·2023-09-16 00:00

Tomcat与云服务器集群搭建

第一章：Tomcat1.1网站代码PHPLNMPJavaLNMT(Tomcat/Resin/)Oracle(Weblogic)1.2JVMWindows我们希望1分代码可以运行在不同的系统中(代码的可移植性)JAVA程序会被放在1个叫虚拟机容器JVMJavaVirtualMachineJava虚拟机运行java程序：1份代码可以处处使用1.3JDK+TOMCATJDKJavaDevelopment
北疆07·2023-09-15 13:06

nacos的集群搭建步骤

单机版的nacos安装我已经写过一篇文章了，点击这里查看，今天直接开始集群篇的安装，首先安装需要三台nacos（官方推荐最少三台），可以安装一边复制三次，分别定义为nacos8841，nacos8842，nacos8843，如图：并在nacos加目录下的conf目录下的application.properties文件当中将端口号改成对应的88418842和8843其他的请自己配置，然后再conf文
XiaoHH Superme·2023-09-15 07:00

jenkins部署k8s

一、jenkins搭建参考之前的文章：Jenkins搭建二、k8s集群搭建参考之前的文章：k8s集群搭建三、jenkins上配置凭证3.1、配置gitlab凭据3.2、配置kuberntes凭据在master
大A崛起·2023-09-15 00:47

Python：如何实现提取文本关键词、摘要、短语、无监督文本聚类

一、提取文本关键词frompyhanlpimport*content="随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。分析师团队认为，大数据（Bigdata）
浩栋丶·2023-09-14 20:09

mvn install的时候出现的Please refer to dump files (if any exist) [date].dump

出现问题Pleasereferto/Users/wanghaohao/Downloads/workspace/BigDataOss/target/surefire-reportsfortheindividualtestresults.Pleaserefertodumpfiles
想用代码改变世界·2023-09-14 10:54

Spark实例学习(一)spark3.x集群搭建

目录集群规划spark安装包下载虚拟机搭建NAT静态网络配置Hadoop集群搭建scala安装配置spark修改conf下文件分发虚拟机修改启动文件名配置历史日志启动sparkUI界面查看测试spark
阳光里哭泣的狗·2023-09-14 10:34

【工具-Nginx】从入门安装到高可用集群搭建

文章已收录至https://lichong.work，转载请注明原文链接。ps：欢迎关注公众号“Fun肆编程”或添加我的私人微信交流经验一.Nginx安装配置及常用命令1.环境搭建首先在linux系统下安装gcc编译环境，执行：yuminstallgcc-c++-y确保当前系统可以编译nginx及其依赖包。同时，安装Nginx还需要以下依赖需要进行安装：pcre-9.37.tar.gzopenss
Fun肆编程·2023-09-13 21:14

Faasm: Lightweight Isolation for Efficient Stateful Serverless Computing

AbstractServerlesscomputingisanexcellentfitforbigdataprocessingbecauseitcanscalequicklyandcheaplytothousandsofparallelfunctions.Existingserverlessplatformsisolatefunctionsinephemeral
蟹蟹宁·2023-09-13 18:29

Docker——k8s集群搭建

一、知识剖析简介官方中文文档：https://www.kubernetes.org.cn/docsKubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用
Treasured _·2023-09-13 17:57

使用docker搭建RocketMQ(非集群搭建官方镜像)

之前在使用RocketMQ官方的包在搭建的时候，发现好多问题，什么修改内存大小，然后启动broker报错，类似servicenotavailablenow,maybediskfull等等…最后决定还是重新用docker搭建下，感觉这样子玩坏了，可以直接把容器干掉，重新启动一个新的容器，毕竟是在学习阶段，这样子快好多。废话不多说，现在开始搭建。具体搭建流程前提说明，由于之前使用非docker搭建的时
Wayfreem·2023-09-13 16:46

Hadoop集群搭建

目录导引Hadoop集群搭建1.安装VMwareWorkstation16PRO2.基于VMwareWorkstation16PRO安装Centos7完全分布式安装1.Hadoop集群节点设置2.准备三台虚拟机
db_gjq_2038·2023-09-13 15:35

Docker搭建RabbitMQ集群_开启MQTT插件后连接不上

RabbitMQ集群搭建和测试总结_亲测Docker安装RabbitMQ集群_亲测成功开启MQTT插件后,集群方式连接不上,看日志报错连接超时,执行如下命令就可以连接上了rabbitmqctleval“
阿亮说技术·2023-09-13 07:47

[bigdata-078] python3 logging 的示例 TimedRotatingFileHandler和RotatingFileHandler 基于时间切分和基于文件大小切分

1.官网文档https://docs.python.org/3/library/logging.html2.logger不会直接实例化。而是以logging.getLogger(name)方式实例化，如果多次以同一个name获取logger，那么返回的都是同一个logger。name可以是形如foo.bar.baz，bar是foo的子logger，因此，建议以类似python包的结构，组织多种lo
未济2019·2023-09-12 18:29

实操Hadoop大数据高可用集群搭建（hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12）

前言纯实操，无理论，本文是给公司搭建测试环境时记录的，已经按照这一套搭了四五遍大数据集群了，目前使用还未发现问题。有问题麻烦指出，万分感谢！PS：Centos7.9、Rocky9.1可用集群配置iphostname系统CPU内存系统盘数据盘备注192.168.22.221hadoop1Centos7.9416250G192.168.22.222hadoop2Centos7.9416250G192.
虫叽叽·2023-09-12 12:09

【kafka】kafka单节点/集群搭建

概述本章节将分享不同版本的kafka单节点模式和集群模式搭建。在kafka2.8版本之前，需要依赖zookeeper服务，而在kafka2.8版本（包括）之后，可以不在依赖zookeeper服务。本章节将分kafka2.8版本之前的版本和之后的版本分别搭建单节点模式和集群模式。服务器环境规划实际的生产使用中，我们一般推荐搭建奇数多节点的kafka集群，如3/5/7。在本次测试中，我分别使用了1台和
margu_168·2023-09-12 10:19

这 4 种高可用 RocketMQ 集群搭建方案，推荐最后一种。。。

背景笔者所在的业务线，最初化分为三个服务，由于业务初期业务复杂度相对简单，三个业务服务都能很好的独立完成业务功能。随着产品迭代，业务功能越来越多后慢慢也要面对高并发、业务解耦、分布式事务等问题，所以经过团队内部讨论，引入RocketMQ消息中间件来更好的处理业务。由于公司内部业务线部署相互独立，我们业务线对引入RocketMQ的需求也比较急切，所以打算自己搭建一套高可用的RocketMQ集群，同时
架构文摘·2023-09-12 10:36

RabbitMQ集群搭建和测试总结_亲测

RabbiMQ简介RabbitMQ是用Erlang开发的，集群非常方便，因为Erlang天生就是一门分布式语言，但其本身并不支持负载均衡。RabbitMQ模式RabbitMQ模式大概分为以下三种:(1)单一模式。(2)普通模式(默认的集群模式)。(3)镜像模式(把需要的队列做成镜像队列，存在于多个节点，属于RabbitMQ的HA方案，在对业务可靠性要求较高的场合中比较适用)。要实现镜像模式，需要先
beyond阿亮·2023-09-12 09:26

Docker搭建RabbitMQ集群_开启MQTT插件后连接不上

RabbitMQ集群搭建和测试总结_亲测Docker安装RabbitMQ集群_亲测成功开启MQTT插件后,集群方式连接不上,看日志报错连接超时,执行如下命令就可以连接上了rabbitmqctleval“
beyond阿亮·2023-09-12 09:26
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他