研磨hadoop 第100页

大数据学习1.4-xShell配置Hadoop

1.创建hadoop目录mkdir/usr/local/hadoop2.切换到hadoop中cd/usr/local/hadoop/3.将hadoop直接拖到xShell中4.解压hadooptar-zxvfhadoop

汉卿HanQ·2023-09-19 09:09

黑猴子的家：zk.sh

在/usr/local/bin目录下[alex@hadoop102~]$cd/usr/local/bin/[alex@hadoop102bin]$sudotouchzk.sh[alex@hadoop102bin

黑猴子的家·2023-09-19 08:34

Apache 原生 Hadoop 运维命令

Hadoop1、检查原生hadoop和压缩库是否可用hadoopchecknative2、打印hadoop环境的配置路径hadoopclasspathHDFS1、查看hdfs文件系统的状态hdfsdfsadmin-report2

bigdata-rookie·2023-09-19 07:29

Hadoop+zookeeper+Flume+Spark+Kafka+Hbase大数据集群搭建

HadoopzookeeperFlumeSparkKafkaHbase大数据集群搭建教程集群搭建流程一、环境的准备和必要软件的下载下载并安装vmvare虚拟机软件下载centos7系统镜像文件，下载链接下载

jjjkkkhhhggg·2023-09-19 07:42

Hadoop sqoop

0目录1.安装sqoop2.补充sqoop流程1.安装sqoop解压、改名[root@kb129install]#tar-xvf./sqoop-1.4.7.tar.gz-C/opt/soft/[root@kb129soft]#mvsqoop-1.4.7/sqoop147拷贝配置文件[root@kb129conf]#pwd/opt/soft/sqoop147/conf[root@kb129conf]

请给我一串代码好吗·2023-09-19 07:00

Hadoop-sqoop

sqoop1.Sqoop简介及原理简介：Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysq1.postgresql..)间进行数据的传递，可以将一个关系型数据库（例如

不吃香菜lw·2023-09-19 07:59

大数据学习1.5-单机Hadoop

1.修改主机信息vi/etc/hosts2.修改信息如下(这里第三位一定是自己的IP每个人都不一样)192.168.216.140hadoop01192.168.216.141hadoop02192.168.216.142hadoop033

汉卿HanQ·2023-09-19 07:28

Hadoop NameNode执行命令工作流程

HadoopNameNode执行命令工作流程客户端API或者CLI与NameNode的交互命令数据的格式(1)预处理流程(2)创建NameNode与NameNodePrcServer流程(3)HDFSAPI

lastembryoXX·2023-09-19 07:27

Hive工作原理

工作原理详解-阿里云开发者社区Hive的服务端组件1.Driver组件：该组件包括：Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1

丢雷劳谋·2023-09-19 07:57

hadoop tar,gz下载

Hadoop的tar.gz文件可以在ApacheHadoop官方网站上下载：https://hadoop.apache.org/releases.html。

澾慟·2023-09-19 06:49

macOS Big Sur系统基于docker部署Hadoop集群

博主部署环境的时候，本地系统环境版本为：macOSBigSur11.3.11.集群环境要求类别版本OScentos7jdkjdk1.8hadoopHadoop2.9.22.集群规划集群服务器名称IP集群规划

回笼觉觉猪·2023-09-19 05:48

大数据之Hadoop

1Byte=8bit1K=1024Byte1MB=1024K1G=1024M1T=1024G1P=1024THadoopHadoop是一个能够对大量数据进行分布式处理的软件框架。

躺着听Jay·2023-09-19 04:40

HBase1.1.2编译

说明：1.HBase1.1.2社区版基于Hadoop2.6.0-cdh5.4.5编译、打包(不要问我为什么这么怪，一两句说不清,其他版修改为对应的version即可)操作步骤：一、源码下载http://

数大招疯·2023-09-19 04:16

HBase 1.1.2 Java 客户端 api(hbase 1.0 增删改查，建表、删表等)

说明：1.第一部分为代码2.第二部分为工程pom文件importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.

数大招疯·2023-09-19 04:46

HBase（hbase-0.96.2）安装

明天要讲HBase课程，由于以前使用的是0.92的版本，所以在此记录下新版本的安装步骤（基于hadoop-2.2.0安装，hadoop2.2安装有空补上）。

数大招疯·2023-09-19 04:16

从 Hadoop 到 Snowflake，2023年数据平台路在何方？

从Hadoop到Snowflake，数据平台的发展呈现出清晰的路径，在与云的结合上也探索了丰富的技术实践。那么，数据平台的下一次“潮涌”何时到来？中国版Snowflake何时出现？

大数据技术架构·2023-09-18 23:36

2019UBDC大数据峰会，数据智能与企业共赢未来！

在数据领域，从2005年大数据前身Hadoop项目的诞生到现在才不过短短14个年头。14年间，大数据正在不断改变商业规则。企业对数据的应用也从有数据、用数据，逐渐走向数据智能。

友盟+·2023-09-18 21:22

吃过这么多面条，大家是否都知道面条的历史呢

面条，一种用谷物或豆类通过研磨成粉状加水和成面团，之后或者压或擀制成片再切或压，或者使用揉、拉、捏、挤等手法，制成条状（或窄或宽，或扁或圆）或小片状，最后经蒸、煮、炒、烩、炸而成的一种食品。

名嘴汇·2023-09-18 21:44

hbase 集群搭建

下载/解压hbase1.3、修改配置文件1.3.1、hbase-env.sh1.3.2、hbase-site.xml1.3.3、regionservers1.3.4、backup-masters1.4、hadoop

.道不虚行·2023-09-18 18:10

Hive 三种连接方式（CLI、HiveServer2/beeline（常用）、Web UI）及基本命令使用入门

HiveServer2/beeline（常用）1.3、WebUI2、Hive基本使用（入门）3、学习内容1、Hive使用方式，即三种连接方式1.1、CLI配置hive环境变量后，直接输入命令hive：[hadoop

.道不虚行·2023-09-18 18:39

HDFS 集群的机架感知

HDFS集群的机架感知1、背景1.1、Hadoop的设计目的1.2、Hadoop的设计考虑1.3、副本存放策略2、配置机架感知2.1、修改配置文件core-site.xml2.2、验证机架感知3、补充3.1

.道不虚行·2023-09-18 18:39

HBase 数据库介绍

大数据的出现后，好多公司实现处理大数据并从中受益，并开始选择像Hadoop的解决方案。Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce分布式计算来处理。

.道不虚行·2023-09-18 18:09

Hadoop知识点之Hadoop发展历程

一、Hadoop名字的起源Hadoop这个名字不是一个缩写，它是一个虚构的名字。该项目的创建者，DougCutting如此解释Hadoop：这个名字是我孩子给一头吃饱了的棕黄色大象命名的。

猿界零零七·2023-09-18 18:24

第6章 MapReduce应用开发-管理配置

1、多环境配置切换开发时，如果需要经常在本地运行与集群运行间切换，可以编写多个hadoop配置文件，每个文件包含每个环境的连接设置，运行时指定使用哪一个配置文件，可以把这些文件集中放置在安装目录树之外。

主君_05c4·2023-09-18 16:48

分析hdfs文件变化及监控小文件

1、文档编写目的目前各个企业都在利用Hadoop大数据平台，每天都会通过ETL产生大量的文件到hdfs上，如何有效的去监测数据的有效性，防止数据的无限增长导致物理资源跟不上节奏，我们必须控制成本，让有限的资源发挥大数据的极致功能

jhonshonjs·2023-09-18 15:48

docker入门

环境配置是十分的麻烦，每一个及其都要部署环境(集群Redis、ES、Hadoop…)!费事费力。发布一个项目(jar+(RedisMySQLJDKES)),项目能不能

北城青·2023-09-18 13:53

Netty（二）NIO-入门

Netty入门1.概述1.1NettyNetty是一个异步的，基于事件驱动的网络应用框架，用于快速开发可维护，高性能的网络服务器和客户端Cassandra，Spark，Hadoop，RocketMQ，ElasticSearch

xy294636185·2023-09-18 11:43

Spark-Shell的启动与运行

Spark-Shell的启动与运行一、启动spark2.启动hadoop3.启动spark二、SparkRdd的简单操作1.从文件系统加载数据创建ADD（１）从Linux本地文件系统加载数据创建RDD—

LMY~~·2023-09-18 08:40

hive数据仓库

hivehive数据仓库1.启动hadoop2.开启mysql服务3.启动hive4.hive的操作（1）创建数据库（2）查找hive数据库（3）设置属性信息(4)修改属性(5)删除数据库5.内部表与外部表

LMY~~·2023-09-18 08:40

hdfs的JavaAPI操作

hdfs的JavaAPI操作一、在window下安装hadoop-（一）安装-（二）配置环境变量二、hdfs的JavaAPI操作1.常用类2.HDFSAPI开发的步骤（1）在HDFS上创建文件夹（2）在

LMY~~·2023-09-18 08:09

荐书 | 有关Hadoop、Kafka、RabbitMQ的三本大数据好书

《Kafka源码解析与实战》作者：王亮本书全面解析了Kafka的核心架构设计和源码；是国内少有的针对Kafka进行系统性讲解的书籍。本书着重分析Kafka内部的各模块实现细节。从诞生背景至架构组成，再到内部实现细节，由浅入深，循序渐进。本书不仅讲解Kafka内部的实现原理，而且还详细描述Kafka外部的维护工具，对外的客户端编程原理以及和第三方集成的方式。购书链接：https://item.jd.

编程小世界·2023-09-18 08:49

十年之约｜一月的总结

研磨提笔抒胸意，写尽人间祝福语，赠予这一生所爱所惜。在过去的一月份，整个人仿佛进入了冬眠状态，没有一点活力去完

花期·2023-09-18 08:11

【02】Hadoop简介及安装

文章目录Hadoop简介及安装一、认识Hadoop1.Hadoop简介（Hadoop是什么）？

忻辰i·2023-09-18 05:21

Windows系统Hadoop下载安装

Windows系统Hadoop下载安装Hadoop下载Hadoop安装Hadoop环境配置Hadoop服务启动Hadoop下载官网下载地址：https://mirrors.tuna.tsinghua.edu.cn

澎湖Java架构师·2023-09-18 05:17

hadoop HDFS分布式计算概述，MapReduce概述，YARN概述

1、分布式计算概述1.1、什么是（数据）计算我们一直在提及：分布式计算，分布式暂且不论，“计算”到底是指什么呢？大数据体系内的计算，举例：销售额统计、区域销售占比、季度销售占比利润率走势、客单价走势、成本走势品类分析、消费者分析、店铺分析等等一系列，基于数据得出的结论。这些就是我们所说的计算。1.2、分布式（数据）计算分布式计算：顾名思义，即以分布式的形式完成数据的统计，得到需要的结果。1.2.1

新征程，再出发·2023-09-18 03:30

MapReduce & YARN 的部署

1、部署说明HadoopHDFS分布式文件系统，我们会启动：NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助同理，HadoopYARN分布式资源调度

新征程，再出发·2023-09-18 03:30

大数据开发系列（一）----Hadoop详细配置

http://www.bubuko.com/infodetail-3137033.htmlcd1、/代表根目录2、.当前目录3、..上级目录4、~当前用户的默认工作目录/../.直接返回根目录安装Linux教程：参考：https://www.cnblogs.com/frankdeng/p/9027037.htmlVMnet1对应仅主机模式VMnet8对应NAT模式以VMnet8的IP作为基础进入r

我喜欢这个感觉·2023-09-18 01:16

IDEA Windows下SPARK连接Hive

SPARK连接Hive文章目录IDEAWindows下SPARK连接Hive一、本地Windows环境配置二、IDEA项目配置1.POM配置2.资源文件配置3.测试验证一、本地Windows环境配置本地构建HADOOP

NightFall丶·2023-09-17 23:44

HBase&Zookeeper安装及配置

PS：使用hbase前，请务必先安装好Hadoop,并且启动Hadoop的服务后才可以正常使用hbase！

NightFall丶·2023-09-17 23:13

Shell脚本一次性安装JDK&MySql&Hadoop&Hive&Zeepelin&Zookeeper&Hbase&Sqoop

目录前言一、安装前的准备二、shell安装MySQL三、shell安装&配置1.删除重复文件&配置2.解压安装包&重命名&授权3.配置环境变量4.Hadoop配置5.Hive配置6.Zeppelin配置

NightFall丶·2023-09-17 23:13

Hive建表语句

createtableifnotexistsstudent(idint,namestring)rowformatdelimitedfieldsterminatedby'\t'storedastextfilelocation'/home/hadoop

zhaozuoyou·2023-09-17 22:16

安装伪分布的Hadoop时SHUTDOWN_MSG: Shutting down NameNode at master及Hadoop namenode节点无法启动的问题解决

系统提示且namenode一直无法启动如果是这种情况就去看虚拟机的hostname的名称是否和虚拟机的vi/etc/hosts中的ip是否配的一致，如果没有的话，就修改下名称或者ip然后重启网络namenode的配置文件重新hdfsnamenode-format即可

zhaozuoyou·2023-09-17 22:46

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

二、Hive、SparkSQL、Impala比较Hive、SparkSQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。

xuzhichao1231·2023-09-17 19:33

编写web程序，基于echarts将Mysql表数据进行可视化展示及Hadoop学习心得

文章目录目录前言一、从MySQL数据库中获取需要展示的数据。1.引入库2.连接到MySQL数据库二、创建图表三、运行后结果展示四、学习心得总结前言将Mysql表数据可视化展示在Web程序中可以借助ECharts这样的图表库来实现。通过Web程序连接MySQL数据库，获取数据后，使用ECharts图表库将数据转换为可视化图表展示在Web页面上。这样用户可以通过浏览器访问Web程序，直观地看到MySQ

db_ljx_2069·2023-09-17 19:02

如何配置ssh免密登录其他机器

一、生成秘钥[hadoop@node01~]$ssh-keygen-trsa二、将公钥拷贝到需要ssh免密登录的服务器[hadoop@node01~]$ssh-copy-idhadoop@node02

邱晨100·2023-09-17 17:04

Hadoop源码阅读（二）：DataNode启动

说明：1.Hadoop版本：3.1.32.阅读工具：IDEA2023.1.23.源码获取：Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入：

THE WHY·2023-09-17 16:30

大数据技术实战---项目中遇到的问题及项目经验

项目中遇到过哪些问题7.1Hadoop宕机（1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。

000X000·2023-09-17 15:12

黑猴子的家：xkafka-topic-create.sh

/bin/bashkafka_home=/opt/module/kafka-3.2.1#${kafka_home}/bin/kafka-topics.sh--zookeeperhadoop102:2181

黑猴子的家·2023-09-17 13:14

Day69 Kafka 设计原理详解

可以实时处理大量数据，满足各种需求场景.Hadoop批处理系统。

小周爱吃瓜·2023-09-17 12:39

ZooKeeper安装部署

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

andycheng·2023-09-17 11:39

推荐频道

研磨hadoop