Linux安装Hadoop

Flume实时读取本地/目录文件到HDFS

准备工作二、实时读取本地文件到HDFS（一）案例需求（二）需求分析（三）实现步骤三、实时读取目录文件到HDFS（一）案例需求（二）需求分析（三）实现步骤一、准备工作Flume要想将数据输出到HDFS，必须持有Hadoop
Francek Chen·2024-01-09 18:38

[超超超超超超详细] Linux Centos7搭建Hadoop集群及运行MapReduce分布式集群

版本：Centos7Hadoop3.2.0JDK1.8虚拟机信息：内存3.2G处理器2*2内存50GISO：Centos-7-x86_64-DVD-2009一、在虚拟机上搭建LinuxCentos7略二
没事多学习_Qi·2024-01-09 17:38

Hadoop运行在Kubernetes平台实践

Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。
Java大生·2024-01-09 17:12

java 全栈高级工程师，架构师学习资源 交流

redis集群zookeeper集群搭建与调优dubbo/dubbox分布式服务jvm调优，内存分析java并发dockerlinuxjmeter性能测试netty/minamycathadoop管理级别技能
昵称不能为null·2024-01-09 15:03

linux安装go环境教程,Linux下一键安装Go语言最新版本环境的教程

有点Shell基础，而且经常安装Golang的环境，为了方便自己，就写了个一键安装golang的环境教程，之前写过一次，但是不够智能，现在添加了几个功能。1、可以自定义Golang版本号；2、自动判断系统的相关信息(如32位or64位系统)及下载对应的地址MY_DIY_GO_VERSION为自定义的golang版本号，如：1.6.2###第一种方式：直接通过我写好的脚本一键安装(一键安装)。截止发
weixin_39844267·2024-01-09 15:30

linux安装与go语言环境配置

linux环境安装VMware和ubuntuVMware用的VMwareWorkstationPro17，以及ubuntu-20.04.5-desktop-amd64（清华源下载）WMware和Ubuntu网上安装教程链接安装完VMware后，网络适配器有这两个代表网络可用ubuntu其他环境配置以及常用软件安装链接配置网络（NAT能用）NAT网络设置配置网络（NAT用不了）使用NAT模式有问题的
双子syl·2024-01-09 15:28

大数据学习6-Sqoop安装与使用

sqoop搭建还是挺简单的,前提是hadoop与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,提取码
asXt·2024-01-09 15:57

sqoop的安装与使用

Sqoop是一个用于在hadoop与mysql之间传输数据的工具Sqoop环境搭建(1)上传安装包:sqoop-1.4.6-cdh5.14.2.tar.gz到/opt/software(2)解压安装包:
xinxinyydss·2024-01-09 15:23

【读书笔记】《 Hadoop构建数据仓库实践》第1章

02-《Hadoop构建数据仓库实践》.jpg第1章数据仓库简介1.1什么是数据仓库Inmon将数据仓库描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。
笔名辉哥·2024-01-09 15:01

linux安装node.js

先去官网下载对应的版本官网：https://nodejs.org/en/download选择对应的版本，点这个，直接去虚拟机上面安装#apt的系统aptinstall-ywget#yum的系统yuminstall-ywget下载包wgethttps://nodejs.org/dist/v20.10.0/node-v20.10.0-linux-x64.tar.xz我是将包下载到了/opt目录下面ta
By Error·2024-01-09 14:53

Hive基础知识（三）：Linux系统下的MySQL安装

1）检查当前系统是否安装过MySQL[zzdq@hadoop100hive]$rpm-qa|grepmariadbmariadb-libs-5.5.68-1.el7.x86_64#如果存在，就用下面这条命令卸载
依晴无旧·2024-01-09 13:26

Hive基础知识（二）：Hive 安装部署教程

apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面[root@hadoop100
依晴无旧·2024-01-09 13:25

Hive基础知识（一）：Hive入门与Hive架构原理

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
依晴无旧·2024-01-09 13:25

hive基础知识大全

一、Hive基本概念1.1hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567
不爱吃鱼的馋猫·2024-01-09 13:23

Hive基础知识笔记（含MySQL metastore伪分布式安装配置流程）

该笔记涉及代码：https://github.com/hackeryang/Hadoop-Exercises/tree/master/src/main/java/Hive一、介绍1.Hive是一个构建在
书忆江南·2024-01-09 13:52

Hive基础知识

1）Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为一张数据库的数据表，并且提供类SQL查询功能。
巷子里的猫X·2024-01-09 13:52

大数据开发：Hive基础知识点介绍

Hadoop生态下的各个组件，Hive的出现是为了解决海量日志数据分析而诞生，最初出自Facebook，后来归到了Apache旗下进行开源，本质上来说，Hive是一个帮助提升数据处理的工具。
加米谷大数据张老师·2024-01-09 13:52

基于hadoop的hive数据仓库基础操作知识整理

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
大包丫·2024-01-09 13:51

hive在mysql中总是不创建元数据库的解决办法

按照既往掉坑的经验，怀疑框架搭得不对、怀疑服务没启动、怀疑mysql驱动版本不对、怀疑hadoop和hive的guavajar包版本不一致、怀疑mysql服务没启动、怀疑元数据
黄道婆·2024-01-09 13:21

Hadoop的数据仓库Hive的基础知识和安装部署

1、数据仓库和Hive  数据仓库是为了协助分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而节省时间和成本，提高质量。它与数据库系统的区别是，数据库系统可以很好地解决事务处理，实现对数据的“增、删、改、查”操作，而数据仓库则是用来做查询分析的数据库，通常不会用来做单条数据的插入、修改和删除。  Hive主要应用于传统的数据仓库任务ETL（Extract‐Transformat
姠惢荇者·2024-01-09 13:21

Hive基础知识（四）：Hive 元数据配置到 MySQL

1.拷贝驱动将MySQL的JDBC驱动拷贝到Hive的lib目录下[zzdq@hadoop100software]$cp/home/atguigu/mysql-connector-java-5.1.37
依晴无旧·2024-01-09 13:50

C++目录

一.环境搭建linux安装vscode&vscode使用&创建项目并运行https://blog.csdn.net/qq_42864343/article/details/133977133二.指针C+
computer_vision_chen·2024-01-09 10:35

IDEA无公网环境ssh远程访问本地Linux服务器进行开发

文章目录1.检查LinuxSSH服务2.本地连接测试3.Linux安装Cpolar4.创建远程连接公网地址5.公网远程连接测试6.固定连接公网地址7.固定地址连接测试本文主要介绍如何在IDEA中设置远程连接服务器开发环境
日刷百题·2024-01-09 10:18

自动化运维平台Spug本地部署结合内网穿透实现远程访问

文章目录前言1.Docker安装Spug2.本地访问测试3.Linux安装cpolar4.配置Spug公网访问地址5.公网远程访问Spug管理界面6.固定Spug公网地址前言Spug面向中小型企业设计的轻量级无
kaixin_啊啊·2024-01-09 09:32

Java项目部署文档

Linux安装jdk默认安装到usr/lib/jvm目录下yum安装yum-ylistjava*#查找全部jdk版本yuminstall-yjava-1.8.0-openjdk.x86_64#安装jdkapt
miss_you1213·2024-01-09 08:11

hadoop分布式集群搭建

虚拟机准备虚拟机单机配置：内存4G，硬盘50G安装好linux/boot200M/swap2g/剩余*安装VMTools关闭防火墙sudoserviceiptablesstopsudochkconfigiptablesoff设置静态IP，改主机名编辑vim/etc/sysconfig/network-scripts/ifcfg-eth0改成=============================
麦田里的稻草人19994·2024-01-09 08:24

hadoop集群主从时间同步

1.时间服务器配置（必须root用户）（1）检查ntp是否安装[root@hadoop102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem
麦田里的稻草人19994·2024-01-09 08:24

hadoop集群分发脚本

分发脚本xsync#!/bin/bash#1获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称#basename是去除目录后剩下的名字p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径#dirname命令可以取给定路径的目录部分（一般指最后一个
麦田里的稻草人19994·2024-01-09 08:23

配置ssh免密登录

配置ssh免密登录ssh-keygen-trsassh-copy-iduser@servereg:ssh-copy-idhadoop102
麦田里的稻草人19994·2024-01-09 08:53

Hive操作命令上手手册

内容来自于《大数据Hive离线计算开发实战》Hive原理Hive是一个基于Hadoop的数据仓库和分析系统，用于管理和查询大型数据集。
枫叶梨花·2024-01-09 08:50

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera
Sql强·2024-01-09 07:24

头歌：旅游网站之数据分析

关统计每个城市的宾馆平均价格packagecom.processdata;importjava.io.IOException;importjava.util.Scanner;importorg.apache.hadoop.conf.Configuration
爱吃肉的白熊·2024-01-09 07:32

hive的基本操作

最近新学了hive，想通过写文章的方式对所学知识进行巩固，同时希望可以帮助到大家Hive是基于Hadoop的一个数据仓库工具1.创建数据库（创建方法是和Mysql一样的）createdatabase数据库名字
暴打小赵·2024-01-09 06:49

实验6 熟悉Hive的基本操作

一、实验目的（1）理解Hive作为数据仓库在Hadoop体系结构中的角色。（2）熟练使用常用的HiveQL。
Z.Q.Feng·2024-01-09 06:47

1.2 Hadoop概述

小肥柴的Hadoop之旅1.2Hadoop概述目录1.2Hadoop概述1.2.1回归问题1.2.2Google的三篇论文1.2.3Hadoop的诞生过程1.2.4Hadoop特点简介参考文献和资料)目录
卷毛迷你猪·2024-01-09 06:47

hive基本操作与应用

1、通过hadoop上的hive完成WordCount启动hadoop2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计
weixin_34416649·2024-01-09 06:16

物理机搭建hive

一、修改Hadoop配置修改core-site.xml配置yarn-site.xml分发文件，然后重启集群二、Hive解压安装上传文件添加hive环境便量，source生效启动高可用集群，启动hive三
DIY……·2024-01-09 06:45

数仓分层结构

--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax:TSV--增量--Maxwell:JSON--汇总数据--希望用最少的资源存储最多的数据--压缩：--gzip：Hadoop
Young_IT·2024-01-09 06:40

大数据开发-某外包公司

varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下hadoop
劝学-大数据·2024-01-09 06:10

hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）

1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark
Lfx_come on·2024-01-09 06:02

『HDFS』伪分布式Hadoop集群

博客引流本文是『Hadoop』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程，所以这篇应该会有一定受众伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务
gunjianpan·2024-01-09 04:31

CentOS7安装Neo4j

Linux安装Neo4j环境：CentOS7一、预备1.JDK17安装安装wget，下载jdk17安装包yuminstallwgetcd/optwgethttps://download.oracle.com
awsless·2024-01-08 23:06

Hadoop3.3.5云服务器安装教程-单机/伪分布式配置

系列文章目录华为云服务器试用领取领取的试用云服务器在哪Hadoop3.3.5云服务器安装教程-单机/伪分布式配置文章目录系列文章目录创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java
柔雾·2024-01-08 21:48

Centos7 MongoDB安装

基础配置（Centos7.5镜像，2核2GB内存，50GB硬盘）主机名IPmongodb192.168.100.124（在MongoDB官网有linux安装MongoDB的步骤）（1）配置yum源[root
忘川_ydy·2024-01-08 20:28

2021-11-22 Zookeeper Shell脚本

/bin/bashcase$1in"start"){foriinhadoop102hadoop103hadoop104doecho----------zookeeper$i启动------------ssh
不爱吃奶昔（zsl0）·2024-01-08 19:12

hadoop/etc/hadoop 下没有mapred-site.xml，只有mapred.xml.template

默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce
比特小怪兽·2024-01-08 19:34

hadoop命令汇总

启动和关闭hadoop服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者hadoop--daemonstop
你很棒滴·2024-01-08 19:17

HDFS常用命令（方便大家记忆版）

1.文件操作(1)列出HDFS下的文件/usr/local/hadoop$bin/hadoopdfs-ls(2)列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoopdfs-lsin
姚兴泉·2024-01-08 18:01

Linux

1.Linux安装关于安装这里就不过多介绍了，安装版本是CentOS7，选择最小安装即可参考1.1.网卡配置由于启动服务器的时候未加载网卡，所以这里我们要手动修改一下配置文件进入到对应的目录cd/etc
Major_xx·2024-01-08 18:09

Linux 软件安装以及管理

约定：案例所用模板软件均为python案例所用模板命令均为dig一、RPMLinux安装软件，一般分为两种，一种是源码编译或者解压安装，另外的就是rpm包的安装了，yum/dnf/apk等命令，是在r
码农终结者·2024-01-08 17:18
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他