hadoop单机第36页

分布式存储

1存储基础1.1单机存储设备DAS（直接附加存储，是直接接到计算机打的主板总线上去的存储）UDE、SATA、SCSI、SAS、USB接口的磁盘所谓的接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储

王德发666·2024-01-23 16:16

Pg单机版安装配置

Pg的安装包括二进制(rpm)安装和源码(tar.gz)安装，其中二进制安装的版本不好选择，且要求服务器联网，不方便，不灵活。这里基于Pg源码进行安装，记录安装步骤：PostgreSQL官网：https://www.postgresql.org下载源码https://www.postgresql.org/ftp/source/v12.4/上传解压cd/data;tar-zxvfpostgresql

Pluto_CSND·2024-01-23 16:56

Spark RDD分区数和分区器

TextInputFormat.getInputSplits()方法决定,具体源码追踪及解析如下:valrdd1=sc.textFile("data/tbPerson.txt")①Ctrl+B进入textFiletextFile底层其实就是通过hadoopFile

maplea2012·2024-01-23 15:40

架构设计：消息队列之Kafka深度解析

即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输●支持KafkaServer间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输●同时支持离线数据处理和实时数据处理为什么要

弗语笑红尘·2024-01-23 15:47

clickhouse 入门 1

数据分区与线程级并行1.6性能对比2.clickhouse的安装准备工作2.1确定防火墙处于关闭状态2.2CentOS取消打开文件数限制2.3安装依赖2.4CentOS取消SELINUX3.clickhouse的单机安装

Walter_bigdata·2024-01-23 15:39

简单的快乐

身为一个男人，不抽烟，基本不喝酒，最讨厌打牌，不想出去应酬，游戏什么的偶尔玩下单机，电视什么的偶尔看下新闻。手机用的最多的软件是微信，因为工作需要。结婚之前，喜欢到处跑，和朋友们一起出去玩这玩那。

Zhihu_will_liu·2024-01-23 14:43

Zookeeper源码分析ZooKeeperServer

ZooKeeperServer实现了单机版zookeeper服务端功能，子类实现了更加丰富的分布式集群功能：ZooKeeperServer|--QuorumZooKeeperServer|--LeaderZooKeeperServer

softshow1026·2024-01-23 12:58

桌面级群控机器人CoCube探索-2022-

CoCube群机器人预览→资讯剧透←2022ROS暑期学校CoCube群控机器人探索活动海报活动内容CoCube群控机器人探索，包括单机基础功能实现，单机运动控制，视觉定位，集群算法实现等。

zhangrelay·2024-01-23 12:58

zookeeper源码(06)ZooKeeperServer及子类

ZooKeeperServer实现了单机版zookeeper服务端功能，子类实现了更加丰富的分布式集群功能：ZooKeeperServer|--QuorumZooKeeperServer|--LeaderZooKeeperServer

xuguofeng2016·2024-01-23 11:07

Hadoop集群配置及测试

Hadoop集群配置及测试NameNode与SecondaryNameNode最好不在同一服务器ResourceManager较为消耗资源，因而和NameNode与SecondaryNameNode最好不在同一服务器

YUuuuME_·2024-01-23 11:07

大数据分布式实时大数据处理框架Storm，入门到精通！

介绍：Storm是一个分布式实时大数据处理框架，被业界称为实时版的Hadoop。首先，Storm由Twitter开源，它解决了HadoopMapReduce在处理实时数据方面的高延迟问题。

知识分享小能手·2024-01-23 09:42

大数据开发之Spark（入门）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

Key-Key·2024-01-23 09:45

Sqoop与Kafka的集成：实时数据导入

Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而Kafka则用于数据流的传输和处理。

晓之以理的喵~~·2024-01-23 08:01

电商系统设计到开发02 单机性能压测

一、前言接着上篇文章：电商系统设计到开发（第一版）-CSDN博客已经开发的代码，今天我们对上面开发的代码进行压力测试，看看单机部署的情况下，性能表现如何。

风萧萧兮s·2024-01-23 08:00

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem

w蕾丝·2024-01-23 08:53

Sqoop数据导入到Hive表的最佳实践

Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地

晓之以理的喵~~·2024-01-23 07:35

网络安全全栈培训笔记（55-服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE）

第54天服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE知识点：1、服务攻防数据库类型安全2、Redis&Hadoop&Mysql安全3、Mysql-CVE-2012-2122

清歌secure·2024-01-23 07:24

数仓建设 - 维度建模 - DIM维度

2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[hadoop

m0_46218511·2024-01-23 05:14

【less】用koala编译

1、新建一个less文件（这里我用sublime编辑器）订阅号：Rabbit_svip2、打开koala，然后把less的父目录拉到koala里订阅号：Rabbit_svip3、选中右边的文件夹，单机右键

德育处主任·2024-01-23 03:18

Spring Cloud Eureka 自我保护机制

我们在单机测试的时候很容易满足心跳失败比例在15分钟之内低

匆匆岁月·2024-01-23 03:46

【Docker】contos7安装 Nacos容器部署单个&&部署集群

继续之前Docker的知识，今天我来继续分享【Docker】contos7安装Nacos容器部署单个&&部署集群目录一、Nacos单机模式1.1.创建mysql需要的挂载目录1.2.创建并运行my

平顶山大师·2024-01-23 02:15

Hadoop -- Hive

文章目录1.什么是hive？1.1基本思想1.2为什么使用hive？1.3hive创建表与查询原理2.hive安装2.1.mysql安装2.2.hive的元数据库配置3.hive使用方式3.1最基本使用方式3.2启动hive服务使用3.3脚本化运行4.建库建表与数据导入4.1建库4.2建表4.2.1基本建表语句4.2.2删除表4.2.3内部表与外部表4.2.4分区表4.2.5外部分区表4.3数据导

Cool_Pepsi·2024-01-23 02:12

Spark运行流程

Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处

Cool_Pepsi·2024-01-23 02:12

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台

Cool_Pepsi·2024-01-23 02:42

Hadoop -- ZooKeeper

ZooKeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)等的管理员。

Cool_Pepsi·2024-01-23 02:42

docker安装nacos

Docker(部署常见应用)：Docker安装AlibabaNacos教程（单机）SpringCloudAlibaba实战教程系列阿里巴巴Nacos官方文档docker命令大全docker：官网中文官网

流沙的牵挂·2024-01-23 02:31

hadoop搭建服务器

一、服务器配置说明1.四台服务器2.每台服务器内存4G3./boot空间3072M4.【可选择配置】/swap交互虚拟内存，40965./根目录空间57G二、服务器网络选择配置1.选择NAT链接网络/桥接2.编辑~/.bashrc文件vim~/.bashrcexportall_proxy=socks5://192.168.197.2:21881exporthttp_proxy=http://192

成_7b38·2024-01-22 20:47

Hadoop RPC解析

网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信（Inter-ProcessCommunication,IPC）逻辑，是所有分布式系统的基础。远程过程调用（RemoteProcedureCall,RPC）是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，使得用户无须额外地为这个交互作用编程。由于R

tracy_668·2024-01-22 19:51

hadoop之mapreduce教程+案例学习（一）

第1章MapReduce概述目录第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

菜瓜技术联盟·2024-01-22 19:04

Docker整合dockerfly实现UI界面管理(单机版)

https://my.oschina.net/wubiaowpBlogShare/blog/1822913

WALKMANWP·2024-01-22 18:42

Impala：基于内存的MPP查询引擎

Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop

对许·2024-01-22 17:26

Hadooop和Hbase是什么关系

HBase是一个基于Hadoop的NoSQL分布式列存储数据库，用于存储海量结构化和半结构化数据，并提供高可用、高性能和面向列的操作功能。

wwwyx12138·2024-01-22 17:50

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。

小枫@码·2024-01-22 17:18

hadoop-hdfs-API

处理hadoop配置文件及系统环境1.将hadoop所有jar包（除了..以外）添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。

有七段变化·2024-01-22 15:43

docker安装及达梦数据库docker版本单机部署

docker安装、达梦数据库docker版本安装安装前准备：docker版本镜像请通过达梦官网或通过达梦商务渠道申请试用宿主机Centos7.6dockerv20.10.6DMdm_v8.1.2.66_x86_rh7_64_ent.tar一、docker安装1.1、卸载旧版本docker[root@localhost~]#yumremovedockerdocker-clientdocker-cli

iiiiibingo·2024-01-22 14:09

CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践

参考的安装文章地址：https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为：hadoop2.9.2，hive2.3.6；操作系统

流火星空·2024-01-22 14:58

java大数据hadoop2.9.2 Linux安装mariadb和hive

一、安装mariadb版本centos71、检查Linux服务器是否已安装mariadbyumlistinstalledmariadb*2、如果安装了，想要卸载yumremovemariadbrm-rf/etc/my.cnfrm-rf/var/lib/mysql才能完全删除3、安装mariadb在线网络安装yuminstall-ymariadb-server开启服务systemctlstartma

crud-boy·2024-01-22 14:26

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip

大数据ＳＱＬｂｏｙ·2024-01-22 11:41

༺༽༾ཊ—Unity之-01-单例模式—ཏ༿༼༻

再比如UI管理器，网络管理器等等，比如说我们在制作单机游戏时，需要用到的人物管理器可以设置成单例模式，首先我们在unity中创建一个脚本人物管理器Pl

__water·2024-01-22 11:04

美团社区团购发单机器人认证怎么弄?

因此，美团社区团购平台引入了发单机器人认证机制，以确保商家和消费者的权益和信誉。那么，关于美团社区团购发单机器人的认证，我们该如何进行呢？首先，商家需要满足一些基本条件才能申请认证。

一起高省·2024-01-22 11:10

扫雷游戏(c++题解)

题目描述扫雷游戏是一款十分经典的单机小游戏。在n行m列的雷区中有一些格子含有地雷(称之为地雷格)，其他格子不含地雷(称之为非地雷格)。

hb_zhyu·2024-01-22 11:32

Ranger概述及安装配置

二、Ranger2.1、什么是rangerApacheRanger是一个用来在Hadoop平台上进行监控，启动服务，以及全方位数据安全访问管理的安全框架。Ranger愿景是在Apa

小枫@码·2024-01-22 09:39

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改hadoop

汐ya~·2024-01-22 09:35

datax与sqoop的优缺点？

datax：●缺点：○单进程多线程○单机压⼒⼤○不⽀持分布式○社区开源不久，不太活跃●优点：○能显示运⾏信息，包括运⾏时间，数据量，消耗资源，脏数据稽核等○⽀持流量控制sqoop：●优点：○运⾏模式是mr

不良人-程序星·2024-01-22 09:32

redis-5.0.8集群环境搭建

1.前置准备Linux版redis-3.2.8单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生，请看完我以上两期教程，对完成此期教程很有帮助2.下载解压redis

小刘新鲜事儿·2024-01-22 08:15

k8s搭建单机版redis

前段时间在集群上搭建了一个简易的单机版redis用于测试，注意redis是采用nodePort方式暴露的服务，因此需要在配置相应的端口安全组策略。

行走的小码农·2024-01-22 08:44

使用helm部署 redis 单机版

1、配置helmredisrepohelmrepoaddbitnamihttps://charts.bitnami.com/bitnami2安装下载helmredis下面是默认安装，不过前往别直接拿着下面安装命令就安装，官方默认安装的默认参数配置往往和我们实际场景不一样，需要配置一些参数helminstallmy-redisbitnami/redis--version18.7.02.1下载helm

leellun·2024-01-22 08:10

大数据技术原理及应用课实验3 ：熟悉常用的HBase操作

目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下指定功能，并用Hadoop提供的HBaseShell命令完成相同任务：1.列出HBase

Blossom i·2024-01-22 08:08

Flink on YARN（下）：常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。

Apache Flink·2024-01-22 08:33

一张图轻松掌握 Flink on YARN 基础架构与启动流程