Hadoop系统架构

Impala：基于内存的MPP查询引擎

Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop
对许·2024-01-22 17:26

Hadooop和Hbase是什么关系

HBase是一个基于Hadoop的NoSQL分布式列存储数据库，用于存储海量结构化和半结构化数据，并提供高可用、高性能和面向列的操作功能。
wwwyx12138·2024-01-22 17:50

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。
小枫@码·2024-01-22 17:18

hadoop-hdfs-API

处理hadoop配置文件及系统环境1.将hadoop所有jar包（除了..以外）添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。
有七段变化·2024-01-22 15:43

CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践

参考的安装文章地址：https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为：hadoop2.9.2，hive2.3.6；操作系统
流火星空·2024-01-22 14:58

java大数据hadoop2.9.2 Linux安装mariadb和hive

一、安装mariadb版本centos71、检查Linux服务器是否已安装mariadbyumlistinstalledmariadb*2、如果安装了，想要卸载yumremovemariadbrm-rf/etc/my.cnfrm-rf/var/lib/mysql才能完全删除3、安装mariadb在线网络安装yuminstall-ymariadb-server开启服务systemctlstartma
crud-boy·2024-01-22 14:26

IT十大高薪行业，现在转行还来得及吗

3、系统架构师相当于软件架构师的升级版，他需要对整个项目的功能技术进行可行性分析，并掌握每个环节设计的思路，并做好技术的攻坚克难。4、Java工程师主要参与项目的开发制作过程，及项目调试工
ancen_73bd·2024-01-22 12:16

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip
大数据ＳＱＬｂｏｙ·2024-01-22 11:41

Ranger概述及安装配置

二、Ranger2.1、什么是rangerApacheRanger是一个用来在Hadoop平台上进行监控，启动服务，以及全方位数据安全访问管理的安全框架。Ranger愿景是在Apa
小枫@码·2024-01-22 09:39

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改hadoop
汐ya~·2024-01-22 09:35

编程常用单词1500个

第一部分：application应用程式应用、应用程序applicationframework应用程式框架、应用框架应用程序框架architecture架构、系统架构体系结构argument引数(传给函式的值
_TURI·2024-01-22 09:58

redis-5.0.8集群环境搭建

单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生，请看完我以上两期教程，对完成此期教程很有帮助2.下载解压redis-5.0.8.tar.gz[xiaokang@hadoop01
小刘新鲜事儿·2024-01-22 08:15

大数据技术原理及应用课实验3 ：熟悉常用的HBase操作

目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下指定功能，并用Hadoop提供的HBaseShell命令完成相同任务：1.列出HBase
Blossom i·2024-01-22 08:08

架构师才需要知道的知识：如何做容量预估和调优

为了构建高并发、高可用的系统架构，压测、容量预估必不可少，在发现系统瓶颈后，需要有针对性地扩容、优化。结合楼主的经验和知识，本文做一个简单的总结，欢迎探讨。
Java爱好者·2024-01-22 08:09

Flink on YARN（下）：常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
Apache Flink·2024-01-22 08:33

一张图轻松掌握 Flink on YARN 基础架构与启动流程

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog·2024-01-22 08:02

10 Hadoop的安全模式及权限介绍

1、HDFS工作流程启动NameNode，NameNode加载fsimage到内存，对内存数据执行editslog日志中的事务操作。文件系统元数据内存镜像加载完毕，进行fsimage和editslog日志的合并，并创建新的fsimage文件和一个空的editslog日志文件。NameNode等待DataNode上传block列表信息，直到副本数满足最小副本条件,这个过程NameNode处于安全模式
水无痕simon·2024-01-22 08:02

[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署

一、集群部署集群规划节点服务器hadoop1hadoop2hadoop3hadoop4角色JobManagerTaskManagerTaskManagerTaskManagerTaskManager1、
胖胖学编程·2024-01-22 08:30

Hadoop基本概论

目录一、大数据概论1.大数据的概念2.大数据的特点3.大数据应用场景二、Hadoop概述1.Hadoop定义2.Hadoop发展历史3.Hadoop发行版本4.Hadoop优势5.Hadoop1.x/2
LzYuY·2024-01-22 08:25

史上最全深度解析Flink内存管理--大数据技术

目前，大数据计算引擎主要使用Java或基于JVM的编程语言实现的，例如ApacheHadoop，ApacheSpark，ApacheDrill，ApacheFlink等。
大数据学习僧·2024-01-22 08:50

Flink（十四）【Flink SQL（中）查询】

FlinkSQL查询环境准备：#1.先启动hadoopmyhadoopstart#2.不需要启动flink只启动yarn-session即可/opt/module/flink-1.17.0/bin/yarn-session.sh-d
让线程再跑一会·2024-01-22 08:14

Flink是如何管理内存的

在讲Flink管理内存之前要了解下Flink为什么要自己实现内存管理一、Flink为什么要自己实现内存管理在大数据领域，大多数数据相关的开源框架（Hadoop、Spark、Storm）都是基于JVM运行的
Relian哈哈·2024-01-22 08:13

hive sql转换成MR任务过程

)、WEBUI（浏览器访问hive）2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；3）Hadoop
上官沐雪·2024-01-22 08:08

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

MySQL_第09章_创建和管理表

从系统架构的层次上看，MySQL数据库系统从大到小依次是数据库服务器、数据库、数据表、数据表的行与列。
Yolo_nn·2024-01-22 07:36

MSE Nacos：解决敏感配置的安全隐患

Nacos的配置中心具有众多优势：动态实时更新配置、支持水平扩展的高可用系统架构、API简单易上手、开源免费、多语言支持、集成度高等。
阿里云云原生·2024-01-22 07:44

调研 7 个开源项目后，这家数据合规平台如何构建高性能网关

作者：张俊，杭州用九智汇科技有限公司系统架构师用九智汇介绍用九智汇是一家面向企业提供数据合规、隐私保护相关产品和解决方案的数据合规公司，致力于帮助客户在合法合规、充分保护用户隐私的基础上发挥数据的最大价值
阿里云云原生·2024-01-22 07:43

基于 Spring Boot+MySQL实现的在线考试系统源码+数据库，基于不同类型的客观题,进行自动组卷、批卷等功能的考试系统

1.部署相关1.1.介绍一个JAVA实现的在线考试系统,主要实现一套基于不同类型的客观题,进行自动组卷、批卷等功能的考试系统（没有主观题）1.2.系统架构后端技术栈基于SpringBoot数据库MySQLORMMyBatis
程序员柳·2024-01-22 06:30

美年旅游项目自记录Day03

一、ElementUI组件学习根据官方教程面向CtrlCV编程常用组件布局容器下拉菜单导航菜单表格分页消息提示Tabs标签页Form表单二、项目系统架构1.自由行模块新增自由行（增）前段页面：（主要做后端
辣条Capt枫毅新·2024-01-22 05:11

同城双活与异地多活架构分析

本文首发于vivo互联网技术微信公众号链接：https://mp.weixin.qq.com/s/OjfFcjnGWV5kutxXndtpMg作者：vivo官网商城开发团队采用高可用系统架构支持重要系统
vivo互联网技术·2024-01-22 03:14

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

25.集群异常故障分析——HOSTS

25.1问题情况Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制
大勇任卷舒·2024-01-22 02:51

千字胡说自动驾驶基础知识（共同学习进步）

自动驾驶测试自动驾驶仿真平台二次开发仿真场地测试：测试场地测试设备测试场景测试案例道路测试：闭环测试开发道路测试半封闭道路测试辅助泊车：系统功能系统架构感知认知路径规划政策法规：国外政策法规分析国内政策法规分析智慧交通
亿佛·2024-01-21 22:15

Hive SQL的编译过程（转）

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。
愤怒的谜团·2024-01-21 20:40

Hbase笔记

HBase-1.hbase介绍ApacheHBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机，实时读/写访问时，请使用ApacheHBase™。
MFRain·2024-01-21 20:24

docker efk(filebeat+logstash+es+kibana)

1.系统架构通常我们说的elasticstack，也就是elk，通过es收集日志数据，存到elasticsearch，最后通过kibana进行统计分析，但是elastic公司后续又推出了新的日志收集产品
zhangdapangzi·2024-01-21 19:56

工单管理系统建设方案

工单管理系统建设方案1.1系统概述1.1.1需求描述1.1.2需求分析1.1.3重难点分析1.1.4重难点解决措施1.2系统架构设计1.2.1系统架构图1.2.2关键技术1.3系统功能设计1.3.1工单创建
软件项目资料查询库·2024-01-21 18:38

软件需求规格说明书-word

软件需求规格说明书编写规范1.项目背景2.项目目标3.系统架构4.总体流程5.名称解释6.功能模块软件开发全文档获取：软件项目开发全套文档下载_软件项目文档-CSDN博客
软件项目资料查询库·2024-01-21 18:08

spark on yarn安装部署

所使用的安装包名称按自己的修改，安装包可去各大官网上下载一，解压tar-zxvf/opt/software/spark-3.1.1-bin-hadoop3.2.tgz-C/opt/module/修改名称
佛系爱学习·2024-01-21 17:11

黑猴子的家：API 操作 HDFS 文件下载

1、Code->GitHubhttps://github.com/liufengji/hadoop_hdfs.git2、Code@TestpublicvoidgetFileFromHDFS()throwsException
黑猴子的家·2024-01-21 16:19

django基于Hadoop平台的电影推荐系统(程序+开题报告)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网的普及和大数据技术的发展，人们对于个性化推荐的需求越来越高。电影作为一种重要的娱乐方式，其推荐系统的研究也受到了广泛关注。然而，传统的电影推荐系统往往基于用户的历史行为进行推荐，忽略了其他重要的信息，如电影的类型、导演、演员等。此外，由于电影数据的海量性和复杂性，传统的推荐
liu10662·2024-01-21 15:51

ubuntu22.04安装atlas2.0.0

在ubuntu裸机上安装，裸机未安装java，hadoop等环境。jdk和maven都使用apt方式安装。sudoaptinstallopenjdk-8-jdksudoa
playmakerlby·2024-01-21 15:37

【系统架构】消息中间件的架构和原理

消息中间件的作用就是用来异步化并发能力的一个载体，不仅如此，它仍然需要在架构上保证很多能力，高可用，高并发，可扩展，可靠性，完整性，保证顺序等，光是这些都已经让各种设计者比较头疼了；更有一些变态的需求，例如慢消费，不可重复等需要花的设计代价是相当高的，所以不要盲目的迷信开源大牛，对于很多机制，几乎都要重建；建立一个符合所有业务，好用，通用的私有云，没那么简单。如果说一个支付系统每天要处理亿级业务单
禅与计算机程序设计艺术·2024-01-21 14:32

《面试八股文》之Zookeeper11卷

4.Zookeeper的系统架构又是怎么样的？5.那
moon聊技术·2024-01-21 13:13

hadoop yarn 配置

转自：http://blog.csdn.net/guotong1988/article/details/47130701
晴天哥_王志·2024-01-21 09:03

02-黑马程序员大数据开发：分布式计算和分布式资源调度

分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop
S1406793·2024-01-21 08:52

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[atguigu@hadoop104zookeeper
Key-Key·2024-01-21 07:18

Hadoop入门概述

Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。
转身成为了码农·2024-01-21 07:41

大数据之Spark架构设计与工作流程

驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN
转身成为了码农·2024-01-21 07:41
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他