Hadoop系统运维第24页

Hive基础知识笔记（含MySQL metastore伪分布式安装配置流程）

该笔记涉及代码：https://github.com/hackeryang/Hadoop-Exercises/tree/master/src/main/java/Hive一、介绍1.Hive是一个构建在

书忆江南·2024-01-09 13:52

Hive基础知识

1）Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为一张数据库的数据表，并且提供类SQL查询功能。

巷子里的猫X·2024-01-09 13:52

大数据开发：Hive基础知识点介绍

Hadoop生态下的各个组件，Hive的出现是为了解决海量日志数据分析而诞生，最初出自Facebook，后来归到了Apache旗下进行开源，本质上来说，Hive是一个帮助提升数据处理的工具。

加米谷大数据张老师·2024-01-09 13:52

基于hadoop的hive数据仓库基础操作知识整理

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

大包丫·2024-01-09 13:51

hive在mysql中总是不创建元数据库的解决办法

按照既往掉坑的经验，怀疑框架搭得不对、怀疑服务没启动、怀疑mysql驱动版本不对、怀疑hadoop和hive的guavajar包版本不一致、怀疑mysql服务没启动、怀疑元数据

黄道婆·2024-01-09 13:21

Hadoop的数据仓库Hive的基础知识和安装部署

1、数据仓库和Hive 数据仓库是为了协助分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而节省时间和成本，提高质量。它与数据库系统的区别是，数据库系统可以很好地解决事务处理，实现对数据的“增、删、改、查”操作，而数据仓库则是用来做查询分析的数据库，通常不会用来做单条数据的插入、修改和删除。 Hive主要应用于传统的数据仓库任务ETL（Extract‐Transformat

姠惢荇者·2024-01-09 13:21

Hive基础知识（四）：Hive 元数据配置到 MySQL

1.拷贝驱动将MySQL的JDBC驱动拷贝到Hive的lib目录下[zzdq@hadoop100software]$cp/home/atguigu/mysql-connector-java-5.1.37

依晴无旧·2024-01-09 13:50

hadoop分布式集群搭建

虚拟机准备虚拟机单机配置：内存4G，硬盘50G安装好linux/boot200M/swap2g/剩余*安装VMTools关闭防火墙sudoserviceiptablesstopsudochkconfigiptablesoff设置静态IP，改主机名编辑vim/etc/sysconfig/network-scripts/ifcfg-eth0改成=============================

麦田里的稻草人19994·2024-01-09 08:24

hadoop集群主从时间同步

1.时间服务器配置（必须root用户）（1）检查ntp是否安装[root@hadoop102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem

麦田里的稻草人19994·2024-01-09 08:24

hadoop集群分发脚本

分发脚本xsync#!/bin/bash#1获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称#basename是去除目录后剩下的名字p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径#dirname命令可以取给定路径的目录部分（一般指最后一个

麦田里的稻草人19994·2024-01-09 08:23

配置ssh免密登录

配置ssh免密登录ssh-keygen-trsassh-copy-iduser@servereg:ssh-copy-idhadoop102

麦田里的稻草人19994·2024-01-09 08:53

Hive操作命令上手手册

内容来自于《大数据Hive离线计算开发实战》Hive原理Hive是一个基于Hadoop的数据仓库和分析系统，用于管理和查询大型数据集。

枫叶梨花·2024-01-09 08:50

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera

Sql强·2024-01-09 07:24

头歌：旅游网站之数据分析

关统计每个城市的宾馆平均价格packagecom.processdata;importjava.io.IOException;importjava.util.Scanner;importorg.apache.hadoop.conf.Configuration

爱吃肉的白熊·2024-01-09 07:32

hive的基本操作

最近新学了hive，想通过写文章的方式对所学知识进行巩固，同时希望可以帮助到大家Hive是基于Hadoop的一个数据仓库工具1.创建数据库（创建方法是和Mysql一样的）createdatabase数据库名字

暴打小赵·2024-01-09 06:49

实验6 熟悉Hive的基本操作

一、实验目的（1）理解Hive作为数据仓库在Hadoop体系结构中的角色。（2）熟练使用常用的HiveQL。

Z.Q.Feng·2024-01-09 06:47

1.2 Hadoop概述

小肥柴的Hadoop之旅1.2Hadoop概述目录1.2Hadoop概述1.2.1回归问题1.2.2Google的三篇论文1.2.3Hadoop的诞生过程1.2.4Hadoop特点简介参考文献和资料)目录

卷毛迷你猪·2024-01-09 06:47

hive基本操作与应用

1、通过hadoop上的hive完成WordCount启动hadoop2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计

weixin_34416649·2024-01-09 06:16

物理机搭建hive

一、修改Hadoop配置修改core-site.xml配置yarn-site.xml分发文件，然后重启集群二、Hive解压安装上传文件添加hive环境便量，source生效启动高可用集群，启动hive三

DIY……·2024-01-09 06:45

数仓分层结构

--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax:TSV--增量--Maxwell:JSON--汇总数据--希望用最少的资源存储最多的数据--压缩：--gzip：Hadoop

Young_IT·2024-01-09 06:40

大数据开发-某外包公司

varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下hadoop

劝学-大数据·2024-01-09 06:10

hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）

1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark

Lfx_come on·2024-01-09 06:02

『HDFS』伪分布式Hadoop集群

博客引流本文是『Hadoop』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程，所以这篇应该会有一定受众伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务

gunjianpan·2024-01-09 04:31

从运维菜鸟到大咖，你还有多远

数据中心设施运维指南接手运维人员与组织网络运维培训与演练运维安全巡检维护操作流程应急处理服务器上架高效运行获得第三方认证高低压配电操作及维护指南备用发电机系统操作及维护指南UPS维护指南蓄电池维护操作指南冷冻水型空调系统维护指南风冷型空调运维指南综合布线系统运维指南

SkTj·2024-01-08 22:37

Hadoop3.3.5云服务器安装教程-单机/伪分布式配置

系列文章目录华为云服务器试用领取领取的试用云服务器在哪Hadoop3.3.5云服务器安装教程-单机/伪分布式配置文章目录系列文章目录创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java

柔雾·2024-01-08 21:48

2021-11-22 Zookeeper Shell脚本

/bin/bashcase$1in"start"){foriinhadoop102hadoop103hadoop104doecho----------zookeeper$i启动------------ssh

不爱吃奶昔（zsl0）·2024-01-08 19:12

hadoop/etc/hadoop 下没有mapred-site.xml，只有mapred.xml.template

默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce

比特小怪兽·2024-01-08 19:34

hadoop命令汇总

启动和关闭hadoop服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者hadoop--daemonstop

你很棒滴·2024-01-08 19:17

HDFS常用命令（方便大家记忆版）

1.文件操作(1)列出HDFS下的文件/usr/local/hadoop$bin/hadoopdfs-ls(2)列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoopdfs-lsin

姚兴泉·2024-01-08 18:01

Hidataplus-3.3.2.0-005公测版本基于openEuler release 22.03 (LTS-SP2)的测试

测试角色如下：hadoop、yarn、zookeeper、hive、impala。

杨航的技术博客·2024-01-08 16:35

给Hadoop初学者的一些建议

零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。

丨程序之道丨·2024-01-08 15:29

大数据技术期末复习第七章——MapReduce练习

A、Map函数将输入的元素转换成形式的键值对B、Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写C、不同的Map任务之间不能互相通信D、MapReduce框架采用了Master

锦鲤儿·2024-01-08 12:01

Hadoop学习之路（四）HDFS 读写流程详解

1.HDFS写操作1.1图解HDFS读过程hdfs写操作流程图.pngimage.png1.2数据写入过程详解1、使用HDFS提供的客户端Client,向远程的NameNode发起RPC请求；2、NameNode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会让客户端抛出异常；3、当客户端开始写入文件的时候，客户端会将文件切分为多个packets，并在内

shine_rainbow·2024-01-08 12:21

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)一、本文思路【1】、配置java环境–JDK12（Hadoop的底层实现语言是java,hadoop

老妹儿的·2024-01-08 11:19

实战Flink Java api消费kafka实时数据落盘HDFS

flink版本1.13kafka版本0.8hadoop版本3.1.42实验过程2.1启动服务程序为了完成Flink从Kafka消费数据

大数据程序终结者·2024-01-08 11:13

JanusGraph简介

JanusGraph支持Hadoop框架，并能够利用Hadoop对图进行大批量的处理和分

娃娃学软件·2024-01-08 10:15

大数据 Yarn - 资源调度框架

Hadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn。

善守的大龙猫·2024-01-08 10:48

Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】 (转)

我爱大海V5·2024-01-08 08:15

《深入理解Hadoop（原书第2版）》——2.4 Hadoop 2.0

本节书摘来自华章计算机《深入理解Hadoop（原书第2版）》一书中的第2章，第2.4节，作者[美]萨米尔·瓦德卡（SameerWadkar），马杜·西德林埃（MadhuSiddalingaiah），杰森

weixin_34174322·2024-01-08 08:44

Flume基础知识（十）：Flume 聚合实战

1）案例需求：hadoop100上的Flume-1监控文件/opt/module/group.log，hadoop101上的Flume-2监控某一个端口的数据流，Flume-1与Flume-2将数据发送给

依晴无旧·2024-01-08 08:23

Hadoop精选18道面试题(附回答思路)

1.简述Hadoop1和Hadoop2的架构异同HDFSHA(HighAvailablity)一旦Active节点出现故障，就可以立即切换到Standby节点，避免了单点故障问题。

Byyyi耀·2024-01-08 06:00

Unrecognized option: -v Error: Could not create the Java Virtual Mac

yarn报错Unrecognizedoption:-vError:CouldnotcreatetheJavaVirtualMac这是因为jdk和hadoop或者是其他的在环境变量path中，因为yarn.cmd

꧁“杂货店”꧂·2024-01-08 04:39

F. linux：帮助命令help、man、info

[root@hadoop01udisk]#ls--help[root@hadoop01udisk]#manls[root@hadoop01udisk]#infols

小猪Harry·2024-01-08 00:40

25、Spark核心编程之RDD持久化详解

不使用RDD持久化的问题首先看一段代码JavaRDDlinesRDD=javaSparkContext.textFile("hdfs://hadoop-100:9000/testdate/1.txt")

ZFH__ZJ·2024-01-07 23:21

Hive元数据迁移及升级方案

Hive的架构和工作原理简介Hive是基于Hadoop之上的数仓，便于用户可以基于SQL（HiveQL）进行数据分析，其架构图如下:从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射

云原生大数据·2024-01-07 22:49

hadoop调优

hadoop调优1HDFS核心参数1.1NameNode内存生产配置1.1.1NameNode内存计算每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128(G)*1024(

健鑫.·2024-01-07 18:25

hadoop调优(二)

hadoop调优(二)1HDFS故障排除1.1NameNode故障处理NameNode进程挂了并且存储数据丢失了，如何恢复NameNode？