Linux安装Hadoop

Hive建表失败：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException

hive建表失败：解决办法：进入mysql修改hive数据库的编码：mysql>alterdatabasehivecharactersetlatin1;QueryOK,1rowaffected(0.00sec)之后重建表成功重新执行建表命令
匆匆岁月·2023-12-19 22:39

Hadoop基础情况回顾

大数据开源技术发展了这么多年，从Hadoop开源框架开始，陆陆续续出现了很多框架技术，把Hadoop框架中的模块部件取代了，但是Hadoop依然是值得回顾学习的，一个是Hadoop的三驾马车是经典技术思想
鬓戈·2023-12-19 22:30

Hadoop伪分布式集群安装

    平时我们学习Hadoop技术时，可不一直沉溺于理论学习，一定要理论和实践相结合，所以就必须有一个Hadoop环境，我们能在这个Hadoop环境里进行各种操作，来验证我们在书本上学到的知识。    
鬓戈·2023-12-19 22:28

Hive学习新天地一站式掌握Hive技能，让你成为大数据领域的佼佼者！

介绍：Hive是一个构建在Hadoop顶层的数据仓库工具，起源于Facebook为了解决海量数据的统计分析需求。
知识分享小能手·2023-12-19 22:56

从零开始学Hadoop，这些网站助你轻松掌握大数据技能！

介绍：Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。
知识分享小能手·2023-12-19 22:56

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5·2023-12-19 20:39

疑难杂症汇总

linux安装32位库sudoapt-getinstalllibc6-dev-i386sudoapt-getinstalllib32z1带gdb调试bochs安装相关依赖：sudoaptinstallbuild-essentiallibx11
XiaozaYa·2023-12-19 19:32

【网络安全】-Linux操作系统—CentOS安装、配置

文章目录准备工作下载CentOS创建启动盘确保硬件兼容安装CentOS启动安装程序分区硬盘网络和主机名设置开始安装完成安装初次登录和配置更新系统安装额外的软件仓库安装网络工具配置防火墙设置SELinux
移动安全星球·2023-12-19 19:59

Docker部署MinIO对象存储服务器结合内网穿透实现远程访问

文章目录前言1.Docker部署MinIO2.本地访问MinIO3.Linux安装Cpolar4.配置MinIO公网地址5.远程访问MinIO管理界面6.固定MinIO公网地址前言MinIO是一个开源的对象存储服务器
阿四啊·2023-12-19 19:56

HBase shell 基础实操

目录1查看HBase状态2查看帮助命令3查看版本号4命名空间操作5创建表6列出所有的表7获取表描述8删除列族9其他DDL操作1查看HBase状态进入HBase客户端命令行：(base)[root@hadoop01
Stars.Sky·2023-12-19 19:21

Linux本地搭建StackEdit Markdown编辑器结合内网穿透实现远程访问

文章目录1.docker部署Stackedit2.本地访问3.Linux安装cpolar4.配置Stackedit公网访问地址5.公网远程访问Stackedit6.固定Stackedit公网地址StackEdit
qiuqiushuibx·2023-12-19 18:44

Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整

目录前言一、问题重现1、查询Hadoop版本2、集群启动Hadoop二、问题分析三、Hadoop3.x的集群配置1、停止Hadoop服务2、配置workers3、从节点检测4、WebUI监控总结前言在大数据的世界里
夜郎king·2023-12-19 17:35

Hive底层如何和数据库进行交互

Hivehive是hadoop底层用于管理和查询结构化数据的系统。hive的功能实现是由HDFS+Mapreduce结合起来使用的。
旅僧·2023-12-19 17:31

熟悉HDFS

（一）熟悉HDFS操作常用的Shell命令（1）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录
ngc2244·2023-12-19 16:26

使用Docker运行Nacos并安装cpolar内网穿透工具实现远程访问

文章目录1.Docker运行Nacos2.本地访问Nacos3.Linux安装Cpolar4.配置NacosUI界面公网地址5.远程访问NacosUI界面6.固定NacosUI界面公网地址7.固定地址访问
日出等日落·2023-12-19 16:09

linux安装maven

下载maven包wgethttp://mirrors.cnnic.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz解压mvapache-maven-3.5.4-bin.tar.gz/opt/tar-zxvfapache-maven-3.5.4-bin.tar.gz配置maven：vim/etc/profile在
Bolgzhang·2023-12-19 14:25

linux安装mysql（没测过）

Linux上安装软件常见的几种方式：源码编译压缩包解压（一般为tar.gz）编译好的安装包（RPM、DPKG等）在线安装（YUM、APT等）使用yum进行安装1.查看是否已经安装了mysql[root@localhost~]#rpm-qa|grepmysql#无输出说明没有安装2.打开网址：https://dev.mysql.com/downloads/repo/yum/找到对应linux的版本进
Bolgzhang·2023-12-19 14:54

linux安装配置Syslog客户端以及服务端

一、安装syslogyuminstall-yrsyslog.x86_64二、配置linux的日志服务器，（服务端192.168.126.154，接收）：服务端主要做的是配置监听端口，决定采用TCP还是UDP方式。本例采用UDP修改配置文件中SYSLOGD_OPTIONS=“-c5”添加“-r选项”即可，目的可以让服务器能够接受客户端传来的数据-r表示允许接收外来的消息，-x表示不解析DNS,#-m
Bolgzhang·2023-12-19 14:54

从零开始了解大数据(二)：Hadoop篇

目录前言一、Hadoop集群整体概述1.HDFS集群（分布式存储）：(1)HDFS集群角色构成：(2)HDFS集群功能：2.YARN集群（资源管理、调度）：(1)YARN集群角色构成：(2)YARN集群功能
橘子-青衫·2023-12-19 13:23

Flume 安装与部署

apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下huwei@hadoop101
夏木夕·2023-12-19 12:06

Kafka 安装与部署

目录Kafka下载（1）将kafka_2.11-2.4.1.tgz上传至/opt/software/（2）解压安装包至/opt/module/[huwei@hadoop101~]$cd/opt/software
夏木夕·2023-12-19 12:05

Linux安装telnet服务、telnet 命令用法

前言环境：centos7.9Telnet命令经常被用于测试远程端口通不通，telnet命令既可以在Windows下使用，也可以在Linux下使用。Windows下使用telnet命令开启telnet客户端步骤：控制面板–程序和功能–启用或关闭Windows功能–Telnet客户端打钩win+r--输入cmd打开cmd命令窗口–输入：telnet192.168.43.17910050Linux下使用
MssGuo·2023-12-19 11:40

【Hadoop】HDFS的体系架构

整体上说HDFS框架结构一HDFS框架结构二（HDFSHighAvailability）整体上说HDFS采用Master/Slave架构。一个HDFS集群是由一个NameNode和一定数目的DataNodes组成。其中NameNode是一个中心服务器，负责文件系统的名字空间(namespace)管理以及客户端对文件的访问。集群中的DataNode一般是一个节点一个，负责管理它所在节点上的存储。从内
不怕娜·2023-12-19 11:29

Aloudata 余俊：数据虚拟化技术如何实现敏捷高效的逻辑数据集成与链路编排

当提到数据仓库时，许多从事数据工作的人可能会想到ETL（抽取、转换、加载）和一些技术工具，如Hive、Hadoop和Spark。
Aloudata·2023-12-19 11:43

【已解决】Atlas 导入 Hive 元数据，执行 import-hive.sh 报错

执行import-hive.sh报错[omc@hadoop102apache-atlas-2.2.0]$hook-bin/import-hive.shUsingHiveconfigurationdirectory
mba1398·2023-12-19 10:29

大数据学习笔记-MapReduce（一） 入门基础理论

1、HadoopMapReduce介绍mapreduce的思想：分而治之，先分再和，分而治之，把复杂的问题分解，然后逐个解决，分别计算出结果。
天码村·2023-12-19 10:36

Hadoop学习(3)-mapreduce快速入门加yarn的安装

mapreduce是一个运算框架，让多台机器进行并行进行运算，他把所有的计算都分为两个阶段，一个是map阶段，一个是reduce阶段map阶段：读取hdfs中的文件，分给多个机器上的maptask，分文件的时候是按照文件的大小分的比如每个maptask都会处理128M的文件大小，然后有个500M的文件，就会启动ceil（500/128）个maptask每读取文件的一行的处理，需要自己去写，注意每个
weixin_30323961·2023-12-19 10:05

大数据入门二（YARN部署）

1.入门HDFS存储MapReduce计算SparkFlinkYarn资源作业调度伪分布式部署要求环境配置文件参数文件ssh无密码启动jps命令[hadoop@hadoop002~]$jps28288NameNodeNN27120Jps28410DataNodeDN28575SecondaryNameNodeSNN1
倾白首·2023-12-19 10:04

3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce

文章目录HadoopMapReduce（计算）一、理解MapReduce思想二、HadoopMapReduce设计构思（1）如何对付大数据处理场景（2）构建抽象编程模型（3）统一架构、隐藏底层细节三、HadoopMapReduce
周纠纠·2023-12-19 10:04

MapReduce和Yarn部署+入门

mapred-env.shmapred-site.xmlyarn-env.shyarn-site.xml分发到另外两个节点启动YARN启动WEBUI页面3.提交自带MapReduce示例程序到YARN运行wordcount求圆周率1.入门知识点明天2.部署在node1以hadoop
Y蓝田大海·2023-12-19 10:30

Linux部署Nacos注册中心结合内网穿透实现远程访问UI管理界面

文章目录1.Docker运行Nacos2.本地访问Nacos3.Linux安装Cpolar4.配置NacosUI界面公网地址5.远程访问NacosUI界面6.固定NacosUI界面公网地址7.固定地址访问
春人.·2023-12-19 09:19

hadoop操作

文件操作注意当前所在的路径，创建一个mytest文件夹创建一个1.txt文件将1.txt文件移动到mytest中，通过mv改名字，然后查看mytest文件夹的txt文件变成了test.txt删除文件上传下载文件新建1.txt然后编辑它随便输入什么上传然后看看网站里是否有删了本地1.txt的，然后再从网站上通过get下载回来到本地查看网站上存的文件的内容将1.txt改成2.txt然后使用新命令上传通
kkoneone11·2023-12-19 09:12

伪集群配置

编辑core-site配置core-site配置hdfs-site将以下的文件配置进去启动一下hadoop产生tmp文件产生这个叫namenode的文件并格式化回到~目录再配置以下信息配置以下信息重启文件再重新格式化配置
kkoneone11·2023-12-19 09:42

Shell脚本实现MapReduce统计单词数程序

一、原理介绍概述HadoopStreaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper
鹅鹅鹅_·2023-12-19 08:32

linux安装miniconda3、多环境配置

1、下载安装包https://docs.conda.io/en/latest/miniconda.htmlwgethttps://repo.anaconda.com/miniconda/Miniconda3-py37_4.10.3-Linux-x86_64.sh2、执行安装bashMiniconda3-latest-Linux-x86_64.sh一直"enter，然后按照指引操作"image.pn
baidu_huihui·2023-12-19 08:05

第八章 常见Linux命令

了解磁盘分区类命令第一节文件目录类命令（1）pwd(printworkingdirectory)打印当前目录的绝对路径基本语法pwd（功能描述：显示当前工作目录的绝对路径）案例实操显示当前工作目录的绝对路径[root@hadoop1
丁总学Java·2023-12-19 06:11

Linux本地部署1Panel服务器运维管理面板并实现公网访问

文章目录前言1.Linux安装1Panel2.安装cpolar内网穿透3.配置1Panel公网访问地址4.公网远程访问1Panel管理界面5.固定1Panel公网地址前言1Panel是一个现代化、开源的
kaixin_啊啊·2023-12-19 06:19

ClickHouse初级 - 第六章 副本

clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/一、副本写入流程二、配置步骤1）启动zookeeper集群2）在在hadoop102
懒惰的小白521·2023-12-19 05:36

【大数据面试】YARN常见问题与答案

YARN的改进之处，Hadoop3.x相对于Hadoop2.x?
话数Science·2023-12-19 05:32

linux教程ubuntu,Ubuntu Linux基础教程

从基础的UbuntuLinux安装和各部分功能的使用，到较高层次的网络服务配置和编程调试等，进行了严谨细致的论述和深入浅出的介绍。
黄有·2023-12-19 04:45

ubuntu linux安装屏幕截屏软件shutter

经常需要ＰＣ截屏，然后做一些图片的编辑，就像ＱＱ的的截屏功能。网上找了一些文章，综合起来，推荐最多的还是shutter的，于是我安装并测试了一下可以。写个日志记录一下。系统是ubuntusudoapt-getupdatesudoapt-getinstallshutter安装成功后可以在，ubuntu的搜索里搜一下shutter，点击启动。第一次启动会一个设置，记得把【抓取后动作】，勾选用其他程序打
海风轻袭·2023-12-19 04:43

2018-10-25

Zookeeper是一个分布式的,开放源码的分布式应用程序的协调服务组件,是谷歌和Chubby一个开源的实现,是Hadoop和Hbase的重要组件,他是一个为分布式应用提供一致性服务的软件,提供的功能包括
极客123·2023-12-19 02:13

hadoop集群二之hadoop安装

上一篇我们已经准备好三台虚拟机，计划一主两从搭建hadoop集群。没安装的可以参考一下。
皮皮虾不皮呀·2023-12-19 00:29

hadoop安装

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录1.linux下新建文件夹2.安装jdk3.安装hadoop1.linux下新建文件夹1、在/opt目录下创建software文件夹
汤·橘子·2023-12-19 00:29

Hadoop相关安装包上传到目录并完成安装

1.指定一个安装的目录/usr/local/自己的名字(mkdircdhong、rm-rf*)[root@cdhong01~]#cd/usr/local/[root@cdhong01local]#rm-rf*[root@cdhong01local]#mkdircdhong[root@cdhong01local]#cdcdhong/[root@cdhong01cdhong]#pwd/usr/loca
余生跟他走·2023-12-19 00:59

linux下安装hadoop时解压hadoop没有etc文件夹

当你遇到这个问题时，在网上能搜到唯一的答案就是不是source而是binary，我第一次看到的时候也是很懵逼，其实是下载的时候下载错了安装包对没错，虽然我觉得可能只有我会犯这个错，但我还是写这里，毕竟我找哪里出错找了一个多小时。
阿嚏piu·2023-12-19 00:58

学习笔记Hadoop（七）—— Hadoop集群的安装与部署（4）—— 配置Hadoop集群

四、配置Hadoop集群Hadoop集群总体规划Hadoop集群安装采用下面步骤：在Master节点：上传并解压Hadoop安装包。
别呀·2023-12-19 00:58

怎么下载hadoop安装包，并在eclipse上引入hadoop外部依赖jar包

有时候在eclipse上运行项目，需要引用的Hadoop的jar包，这里总结了一个很有用的小技巧(如果已经有所需jar包，要看怎么使用，直接跳到博客最后面看)首先需要下载Hadoop的安装包这里我直接分享一个官网
我欲乘风归去...·2023-12-19 00:28

Windows下安装hadoop

文章目录1.第一步：下载安装包2.第二步：解压下载的压缩包3.第三步：为hadoop配置环境变量4.第四步：验证是否安装成功5.如果还不能成功，则看看用户名是否含有空格或特殊符号1.第一步：下载安装包到官网去下载安装包
ElegantCodingWH·2023-12-19 00:28

Hadoop学习（二）自己编译Hadoop安装包

CentOS-6.7编译hadoop-2.6.5（只需输入命令即可）目录1、阅读编译文档2、准备编译环境3、安装gcc4、安装gcc-c++5、安装make6、安装maven（必须）7、安装jdk（必须
匿名啊啊啊·2023-12-19 00:58
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他