hadoop大数据集群技术

浅谈Hive

在Hadoop大数据体系中，Hive和HBase事两种基于Hadoop的不同技术，Hive是一类类SQL的引擎，其数据存放在HDFS上，并运用MapReduce进行计算，适合OLAP事务。
yinglish_·2022-04-24 15:53

BigData大数据开发路线详细完整结构知识体系学习大全（2022）

BigData一、基础知识（一）采集：（二）存储：（三）计算：（四）查询：（五）可视化：（六）任务调度：（七）集群监控：（八）元数据管理：（九）数据质量监控：二、开发平台（一）Hadoop大数据处理框架
REMLILI·2022-04-22 20:46

Docker六脉神剑 (五) Docker Swarm集群搭建及基础服务部署

集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。
憧憬blog·2022-04-17 00:49

Hadoop大数据入门(1)

Hadoop大数据入门1、大数据导论数据：数据是对客观事物的计量和记录产生数据。
Xiao艾扶·2022-04-04 07:54

阿木实验室无人机编队起航

也许是守望于浪漫主义的理想，也许是憧憬于无人机集群技术的未来潜力，阿木实验室的无人机编队技术开始实测啦！一、编队控制理论对无人机协同控制的研究一般分为两个方向：编队构型的形成与构型维持。
阿木实验室·2022-03-19 07:33

第一天 hadoop概述

hadoop概述一、hadoop大数据概述概念特点作用大数据就业方向和部门的组成二、Hadoop概述（hdfs+yarn+mapreduce）概念发展史特点组成数据业务流程图三、Hadoop的搭建步骤步骤一
飛翔的大雁·2022-03-18 04:06

LVS 负载均衡群集--理论详解--LVS-NAT 负载均衡群集项目实战

除了使用价格昂贵的大型机、专用负载分流设备外，企业还有另外一种选择来解决难题，那就是构建集群服务器——通过整合多台对廉价的普通服务器，以同一个地址对外提供相同的服务，接下来我们将要学习在企业中常用的一种集群技术
Arlssaze·2022-03-13 02:48

实战 | 史上最详细Hadoop大数据集群搭建，不看后悔系列

文章目录1.搭建环境1.1实验环境1.2架构模型1.3前期准备2.软件环境依赖部署2.1jdk安装及配置2.2ssh免密钥配置3.Hadoop及Zookeeper部署3.1Hadoop安装及配置3.1.1解压hadoop-2.6.5.tar.gz：3.1.2修改配置文件/etc/profile:3.1.3修改hadoop-env.sh和mapred-env.sh配置文件3.1.4配置hdfs-si
小林玩大数据·2022-03-07 14:49

GBase 8s 高可用简介

GBase8s提供了业界领先的高可用集群技术，即HAC、SSC和ER，提供秒级故障自动切换功能，使数据库的可用性达到99.999%，具体如下特点：通过不同方案组合，GBase8s具有搭建两地三中心、同城双活高可用方案能力
八珍豆腐·2022-02-28 15:12

数据仓库电商建模_真实电商数据仓库全流程开发详解，资源教程下载

课程名称Hadoop大数据视频教程-第一季：真实电商数据仓库全流程开发详解(共46讲)，资源教程下载课程目录第一部分：数据仓库基础理论与技术圈第一章：互联网电商大数据环境第二章：商业智能与数据仓库基础理论第三章
weixin_39624733·2022-02-28 15:05

1&2 大数据发展趋势 & HDFS和ZooKeeper【HCIA-BigData】

文章目录1、大数据发展趋势与鲲鹏大数据**大数据应用的主要计算模式****Hadoop大数据生态圈****华为云大数据服务**2、HDFS分布式文件管理系统和ZooKeeper2.1导读2.2HDFS分布式文件管理系统
Mengo_x·2022-02-28 10:22

搭建Nginx+tomcat的实现集群

集群的简介：集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、高可用、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。
尊老爱幼·2022-02-19 15:33

ACP互联网架构认证笔记-MQ消息队列服务

MQ是消息服务中间件，基于高可用分布式集群技术，是消费模式基于发布订阅模式的消息系统。
freesan44·2022-02-12 18:11

三.Hadoop介绍

Hadoop大数据平台入门——HDFS和MapReducehttps://blog.csdn.net/a60782885/article/details/71304913背景随着硬件水平的不断提高，需要处理数据的大小也越来越大
愿风去了·2022-02-12 12:37

大数据初学者福利：一片文章教你搭建Hadoop大数据处理环境

由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMwareWorkstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要注意的是需要修改每个虚拟机的IP与主机名。所有虚拟机采用NAT模式上网，而且要保证与物理主机的IP互相能
丨程序之道丨·2022-02-09 20:25

干货：大数据学习路线，如何学好大数据？（精华）

1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题
Java架构领域·2022-02-06 13:47

【教程】手把手教你如何搭建Hadoop单机伪集群

作者：幻好来源：恒生LIGHT云社区概述本文将通过虚拟机搭建单机伪集群的Hadoop服务，帮助更好的学习和理解Hadoop大数据平台的运行原理。具体到每个细节，方便新手学习和理解。
·2022-01-10 13:32

数据挖掘

搜索排序我们说过Hadoop大数据技术最早源于Google，而Google使用大数据技术最重要的应用场景就是网页排名。
do_young·2021-12-30 16:26

一个网站访问慢的真正原因

上一篇>>高并发情况下，接口的代码会存在哪些问题1.后端处理速度较慢解决办法：a、数据库读写分离/分表分库b、代码使用集群技术+缓存技术（JVM缓存、redis缓存、sql缓存等）c、增加CPU的核数和内存数
迦叶_金色的人生_荣耀而又辉煌·2021-12-26 09:41

各大技术基础教学、实战开发教学（最新更新时间2021-11-23）

一、Hadoop大数据Hadoop集群搭建（一）——Liunx网络、主机名配置，多台虚拟机的相互连通和远程登陆Hadoop集群搭建（二）——Linux系统SSH远程双向免密登陆Hadoop集群搭建（三）
Yuan-Programmer·2021-11-16 23:41

各技术实战开发文章整合（持续更新~~）

一、Spring框架开发SpringBoot——第一个项目Spring项目——抵御跨站脚本（XSS）攻击Spring项目——Shiro和JWT技术二、Hadoop大数据开发Hadoop——集群搭建(步骤图文超详细版
HuiSoul·2021-11-12 00:50

文档数据库（nosql）学习笔记（1）--简述

4.拥有卓越的读写性能，并具有高可用副本集合可扩展分片集群技术，先天支持大数据的存储与管理，具有高扩展性和高可伸缩性。5.文档数据库广泛应用于大数据存储与处理场景，如：日志数据存储、订单数
阿洋太爱大数据·2021-11-03 16:48

集群与代理

文章目录一、集群介绍：二、集群的分类三、正向代理、反向代理、透明代理一、集群介绍：集群(cluster)技术是一种较新的技术,通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益
阿木690·2021-10-13 16:51

hadoop中hive与mapreduce小文件合并优化实操（超强详解！！！）

1.2-小文件的危害：2-解决方案实操2.1-解决方案12.2-解决方案22.3-解决方案33-总结扩展3.1-总结3.2-扩展（map任务数量的准确控制）1-背景公司数据治理过程中，发现apachehadoop
KG大数据·2021-09-09 15:04

hadoop集群部署之基础概念介绍（一）

Hadoop生态其实我们在做工业级的大数据框架部署的时候，所说的hadoop大数据部署通常指的是一整个生态，其中包括hadoop，spark，hive，hdfs，flink等，而不是单独指hadoop。
远方的旅行者·2021-07-25 16:10

Hadoop大数据入门到实战（第二节） - 环境安装（centOS）

本小节，我们来安装Hadoop环境。远程连接工具为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT，当然还有很多其他连接工具，不过我觉得这一款挺好用。官网下载地址（不免费）：https://www.vandyke.com/download/securecrt/download.html你也可以用我这个：链接：https://pan.
MasterXiao·2021-06-14 18:49

RocketMQ介绍

RocketMQ介绍什么是消息队列产品功能功能概览图多协议支持管理工具特色功能专有云部署消息收发模型名词解释什么是消息队列消息队列RocketMQ是阿里巴巴集团自主研发的专业消息中间件，基于高可用分布式集群技术
夜寒灯暖·2021-06-11 00:27

七 nacos stream RocketMQ 简单消息（延迟）集成

第七章RocketMQ是一款开源的分布式消息系统，基于高可用分布式集群技术，提供低延时的、高可靠的消息发布与订阅服务。
所谓伊人在水之湄·2021-06-10 00:23

2020-05-21 5.21晚 云计算虚拟化与集群技术

今晚七点，云计算下篇～虚拟化集群技术，夏师老带你解读2020年521，我上带你，你带上你同学，我们起一去参加夏老师的益公公开课
Runtimest·2021-06-09 02:34

面试题汇总：Hadoop

《面试了7家公司的Hadoop开发，居然都考了这8道题（Hadoop大数据）》8.《请查收：TOP25大常见Hadoop面试题及答案》9.《Hadoop100道面试题及
金字塔下的小蜗牛·2021-06-07 00:49

高可用集群与负载均衡集群

高可用集群:高可用集群是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度。
忆往昔04551·2021-06-06 08:02

记一次hadoop大数据课设准备工作--hadoop集群搭建（三个结点）+Spark安装

【未完待续…】本次课设所使用的操作系统是华为的openEluer。主节点部署创建hadoop用户创建用户：sudouseradd-mhadoop-s/bin/bash设置密码，可简单设置为hadoop，按提示输入两次密码：sudopasswdhadoop密码统一设置为Aaaa1111@hadoop用户增加管理员权限，方便部署：sudoadduserhadoopsudo用hadoop用户登录su-h
wxl@·2021-05-19 19:28

Hadoop大数据环境搭建保姆级教程（完整版）

SSH免密登陆8、搭建虚拟机上的Hadoop环境9、配置jdk和Hadoop10、scp、xsync集群分发脚本11、修改核心配置文件12、启动集群13、Hadoop环境检测前言：找了全网关于mac配置Hadoop
Jancydc·2021-05-16 22:04

Lan分享Java职位（架构）

2、大型网络应用结构：消息中间件，缓存，负载均衡，集群技术，数据同步；高可用，可容灾分布式系统设计能力。3、熟悉Java虚拟机原理，基
TonyLan·2021-05-16 15:43

Hadoop大数据入门到实战（第二节） - 环境安装（ubuntu）

本小节，我们来安装Hadoop环境。远程连接工具为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT，当然还有很多其他连接工具，不过我觉得这一款挺好用。官网下载地址（不免费）：https://www.vandyke.com/download/securecrt/download.html你也可以用我这个：链接：https://pan.
MasterXiao·2021-05-15 20:54

Hadoop学习日志和资料

===========学习日志===========2017-04-28Hadoop大数据平台架构与实践|hadoop概述与安装Hadoop初探Hadoop安装2017-04-30Hadoop大数据平台架构与实践
拾壹北·2021-05-13 16:41

Java架构师之路！mysql数据库开发外面公司大作业

开头消息队列RocketMQ是阿里巴巴集团基于高可用分布式集群技术，自主研发的云正式商用的专业消息中间件，既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐
程序员欢喜·2021-05-13 01:10

大数据与云计算整理

目录大数据大数据基础大数据概述大数据处理架构Hadoop大数据采集大数据存储分布式文件系统HDFS分布式数据库HBASENoSQL数据库云数据库大数据处理与分析MapReduceSpark流计算图计算数据可视化大数据应用云计算云概念云架构云组件云技术云端技术终端技术云安全信息管理与数据安全计算可用性互操作性和可移植性云应用云方案大数据大数据基础大数据概述数据产生方式经历的几个阶段运营式系统阶段用户
vircorns·2021-05-12 18:47

JBOD磁盘配置和StorCLI命令使用小结

前言已经实施过2次Hadoop大数据平台的基础环境搭建，对于硬盘的RAID模式都不约而同选择了JBOD，毕竟大数据对于文件系统的管理本身就是基于分布式，由至少3份副本来保障数据可靠性，只是不做RAID后的
王奥OX·2021-05-11 11:04

Hadoop大数据平台

文章目录1.HDFS单机版2.伪分布式3.全分布式热添加节点（在线添加server4节点）4.分布式存储5.Zookeeper高可用集群(hadoop自带的nn高可用)1.集群搭建2.hadoop配置3.启动hdfs集群（按顺序启动）4.上传文件5.测试故障自动切换6.yarn管理器的高可用7.测试yarn故障切换8.Hbase分布式部署1.HDFS单机版##新建五个快照server1，2，3，4
qiao_qing·2021-04-28 17:55

北京八维教育

2、云服务Java高级工程师、Hadoop大数据工程师
金火焰·2021-04-26 09:37

0基础搭建Hadoop大数据处理-初识

在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习，如双十一淘宝的交易量的实时展示。大数据什么叫大？4个特征：体量化Volume，就是量大。多样化Variety，可能是结构型的数据，也可能是非结构行的文本，图片，视频，语音，日志，邮件等快速化Velocity，产生快，处理也需要快。
欢醉·2021-04-24 03:59

LVS(Linux Virtual Serve)介绍

2、它工作在网络层，可以实现高性能，高可用的服务器集群技术。3、它可把许多低性能的服务器组合在一起形成一个超级服务器。4、它配置非常简单，且有多种负载均衡的方法。5、它稳定可靠，即使在集群的服务器中某
wendy0101·2021-04-19 23:05

hadoop大数据平台的简介及搭建

Hadoop1.简介2.hadoop的优点3.hadoop核心架构4.hadoop应用场景5.hadoop工作模式5.1单机模式（Local(Standalone)Mode）5.2Pseudo-DistributedMode伪分布式5.2.1配置5.2.2测试5.3完全分布式5.3.1部署5.3.2测试6.双机热备6.1节点扩容6.1.1配置6.1.2效果6.1.3上传文件6.2缩减节点7.hdf
樱桃Maruko小丸子cxj·2021-04-03 19:15

hadoop大数据平台搭建（一）

@Hadoop大数据平台搭建前言（这篇文章的背景和目的）百科是这样解释大数据（Bigdata）。
卫魔王·2021-03-28 15:33

hadoop 多机全分布式安装步骤（虚拟机1master+2slave）

编辑域名映射5.安装配置Java6.配置SSH免密登录7.安装Hadoop8.关闭防火墙9.格式化文件系统10.启动验证11.第一个MapReduce程序:WordCount12.关闭Hadoop参考书：《Hadoop
Michael阿明·2021-03-11 23:23

“七大属性加持，三个全新升级组件”这个高性能利器有点厉害

它独立于Hadoop大数据体系，
·2021-03-11 19:56

“七大属性加持，三个全新升级组件”这个高性能利器有点厉害

它独立于Hadoop大数据体系，
·2021-03-11 19:50

Hadoop大数据入门到实战（第一节）- Linux环境配置

Hadoop的学习我们先从Linux系统的安装与配置开始。1.下载Linux系统我们可以从官网（https://www.linux.org/）下载，当然在国内还是找国内的资源比较好。本文使用阿里云的镜像：https://mirrors.aliyun.com/centos/进入网站下载centos7.4的版本。image.pngimage.png2.安装Linux系统下载好了Linux的安装文件之后
MasterXiao·2021-03-11 16:50

Hadoop大数据技术原理与应用-第四章MapReduce分布式计算框架

4.1MapReduce概述4.1.1MapReduce核心思想MapReduce的核心思想是“分而治之”。所谓“分而治之”就是把一个复杂的问题，按照一定的“分解"方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，把各部分的结果组成整个问题的结果，这种思想来源于日常生活与工作时的经验，同样也完全适合技术领域。MapReduce作为一种分布式计算模型，它主要用于解决海量数据的计算
weixin_44275584·2021-03-10 12:09
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他