Hadoop2

hive数据仓库

hivehive数据仓库1.启动hadoop2.开启mysql服务3.启动hive4.hive的操作（1）创建数据库（2）查找hive数据库（3）设置属性信息(4)修改属性(5)删除数据库5.内部表与外部表
LMY~~·2023-09-18 08:40

【02】Hadoop简介及安装

2.Hadoop特点3.Hadoop中5个重要的进程二、Hadoop的安装·伪分布式模式安装1.下载Hadoop2.安装Hadoop3.配置Hadoop4.格式化文件系统。5.启动Hadoop并验证。
忻辰i·2023-09-18 05:21

2018-09-12 spark提交任务

/app/software_n/spark-2.2.1-bin-hadoop2.6/bin/spark-submit--masterspark://xm-dsj-test01.ms.imxiaomai.com
basicGeek·2023-09-16 23:58

nutch爬取网站数据详细步骤

环境：hadoop2.7.7+hbase0.98+nutch2.3+solr4.9大致步骤思想：hadoop提供底层数据存储hbase在其之上建立非关系型数据库nutch将爬的数据存到hbase上并建立索引到
Echoooo_o·2023-09-15 13:21

Windows下使用Hadoop2.6.0-eclipse-plugin插件

>>>首先说一下本人的环境:Windows764位系统SpringToolSuiteVersion:3.4.0.RELEASEHadoop2.6.0一．简介Hadoop2.x之后没有Eclipse插件工具
热情的蘑菇·2023-09-13 03:01

%2x java_hadoop2x-eclipse插件编译与安装

首先说一下本人的环境:Windows764位系统SpringToolSuiteVersion:3.4.0.RELEASEHadoop2.6.0一．简介Hadoop2.x之后没有Eclipse插件工具，我们就不能在
六间仓库的仓老师·2023-09-13 03:01

实操Hadoop大数据高可用集群搭建（hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12）

Centos7.9、Rocky9.1可用集群配置iphostname系统CPU内存系统盘数据盘备注192.168.22.221hadoop1Centos7.9416250G192.168.22.222hadoop2Centos7.9416250G192
虫叽叽·2023-09-12 12:09

Hbase 笔记

一、简介1.1版本信息环境项内容版本hbase-1.4.9hadoop版本hadoop2.6.5安装目录/data/hbase-1.4.9zookeeper使用hbase自带的zk1.2访问在10.111.25.140
王林-wlin·2023-09-10 11:50

Hadoop No FileSystem for scheme “hdfs“ 客户端环境变量配置

我当前的/etc/profile文件配置的环境变量exportJAVA_HOME=/opt/java/jdk1.8.0_131exportSPARK_HOME=/opt/spark-2.4.4-bin-hadoop2.7exportHIVE_HOME
Cloud孙文波·2023-09-09 15:00

集群资源管理器——YARN

Contain三、YARN工作原理简述四、YARN工作原理详述五、提交作业到YARN上运行一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0
Yobhel·2023-09-08 19:42

hadoop(2.7.7) 完全分布式 + Hive2.3.4

组件版本组件版本下载地址Hadoop2.7.7https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gzJDK1.8https
@天道酬勤@·2023-09-08 17:33

Hadoop 2.7.7 完全分布式部署

组件版本**组件版本下载地址Hadoop2.7.7https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gzJDK1.8https
@天道酬勤@·2023-09-08 17:33

HDFS 的元数据辅助管理-SecondaryNameNode

Eidts文件当中,这两个文件就记录了所有的数据的元数据信息,元数据信息的保存目录配置在了hdfs-site.xml当中dfs.namenode.name.dirfile:///export/servers/hadoop2.7.5
你值得拥有更好的12138·2023-09-08 14:29

hdfs滚动升级（rollingUpgrade ）

最近对hdfs的升级过程很感兴趣，所以准备研究下其升级的过程，本篇文章是依据官网文档进行的升级过程（地址：ApacheHadoop2.10.2–HDFSRollingUpgrade），该文章中还有关于降低的介绍
Interest1_wyt·2023-09-08 05:09

Hadoop 集中式的缓存管理demo

www.infoq.com/cn/articles/hdfs-centralized-cachehttps://blog.csdn.net/javastart/article/details/50586743从Hadoop2.3.0
orisonchan·2023-09-07 09:52

hadoop2.6.x插件在 Eclipse上 如何配置

1.在eclipse上安装hadoop插件下载hadoop-eclipse-plugin-2.6.0.jar：官方下载：下载地址实际下载地址：下载地址官方的下载链接太慢，如果有下载会更好，将下载好的插件移动到eclipse安装目录下的plugins文件夹下。然后重新启动eclispe如下图所示：
躺平的赶海人·2023-09-06 15:28

且看windows环境下Hadoop2.6.x-eclipse-plugin插件包如何下载？

这儿有一个Hadoop2.X版本对应的Hadoop插件，前往下载，下载hadoop2x-eclipse-plugin.zip。
躺平的赶海人·2023-09-06 15:58

zookeeper中上传文件的内容 作为路径的值

/solrwgethttp://archive.apache.org/dist/lucene/solr/8.1.1/solr-8.1.1.tgztar-zxvfsolr-8.1.1.tgz[root@hadoop2cloud-scripts
言之。·2023-09-05 08:20

Spark 环境安装与案例演示

Spark环境安装一、准备工作1、hadoop成功安装2、防火墙关闭二、解压安装1、上传spark安装包到/tools目录，进入tools下，执行如下命令：tar-zxvfspark-2.1.0-bin-hadoop2.7
Agatha方艺璇·2023-09-02 15:46

hadoop2.2.0伪分布式搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.1.0子网掩码：255.255.255.0->apply->ok回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP：192.16
小小哭包·2023-09-01 09:01

Springboot整合HBase

com.spring4allspring-boot-starter-hbaseorg.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASEorg.springframework.dataspring-data-hadoop2.5.0
天道酬勤的博客·2023-08-31 16:46

Hadoop优化以及新特性

文章目录HDFS-多目录HDFS-集群扩容以及缩容HDFS故障排查NameNode数据丢失集群安全模式&磁盘修复Hadoop企业优化常用的调优参数Hadoop小文件优化方法Hadoop新特性hadoop2
GambleLife·2023-08-31 07:02

Hadoop学习——其它（集群，MR调优，数据倾斜等）

1、Hadoop2.0的高可用有两个NameNode节点，一个active，一个standby（时刻同步active的数据），从而实现高可用。
licjd·2023-08-31 07:58

[ hadoop ] 集群性能调优全面总结

计算,故障排除等多个方面的具体调优内容,先后解决HDFS,MapReduce,Yarn的常见问题,最终结合小文件问题给出了Hadoop综合调优.1HDFS调优1.1核心参数1.1.1NameNode内存Hadoop2
javastart·2023-08-31 07:27

ZooKeeper的典型应用场景及实现

、一种通用的分布式系统机器间通信方式1.5、集群管理1.6、Master选举1.7、分布式锁1.7.1、排他锁1.7.2、共享锁1.8、分布式队列2、ZooKeeper在大型分布式系统中的应用2.1、Hadoop2.2
元维时代·2023-08-30 16:31

k8s集群搭建

安装2.2设置docker加速镜像器2.4设置yum镜像源2.5安装kubeadm、kubelet和kubectl三、集群搭建3.1安装k8s所需镜像3.2在hadoop1上部署master节点3.3在hadoop2
落叶的悲哀·2023-08-30 13:58

Hive3第一章：环境安装

系列文章目录Hive3第一章：环境准备文章目录系列文章目录前言一、hive3安装1.上传文件2.配置环境变量3.修复日志错误（可忽略）4.初始化元数据库二、启动hive1.启动Hadoop2.启动hive
超哥--·2023-08-30 08:34

流数据湖平台Apache Paimon（二）集成 Flink 引擎

文章目录第2章集成Flink引擎2.1环境准备2.1.1安装Flink2.1.2上传jar包2.1.3启动Hadoop2.1.4启动sql-client2.2Catalog2.2.1文件系统2.2.2HiveCatalog2.2.3sql
Maynor996·2023-08-30 03:14

Windows环境下hadoop安装和配置详细步骤（图文）

blog.csdn.net/qq_35535690/article/details/81976032https://blog.csdn.net/wangaz521/article/details/797171771.首先下载hadoop2.7.1
yujkss·2023-08-29 10:30

Spark 下载安装配置详解文档 (spark-2.4.8-bin-hadoop2.7.tgz)

下载安装配置spark:官网地址：https://archive.apache.org/dist/spark/上传spark-2.4.8-bin-hadoop2.7.tgz解压tar-zxvfspark
BigData_001_Lz·2023-08-29 09:19

windows下hadoop的部署和使用

2、Hadoop2.8.3，下载地址：http://archive.apache.org/dist/hadoop/core/Hadoop2.8.3windows环境下的第三方包：winutils，https
落叶1210·2023-08-28 12:22

Hadoop2.4.1伪分布式搭建

一、准备Linux环境我这边是用腾讯云服务器，进行远程登录，也可以用VMwareWorkstationPro虚拟机，安装Linux系统进行操作！二、安装JDK，设置环境变量2.1下载linux-JDK,传到Linux系统中，我存在/home/ubuntu路径下2.2进行解压操作，我是放在app文件里，方便管理tar-zxvfjdk-8u511-linux-x64.tar.gz-Capp/2.3设置
有一束阳光叫温暖·2023-08-26 13:31

janusgraph 默认server使用手记

启动server（withCassandra/ES）janusgraph-0.3.0-hadoop2bin/janusgraph.shstartForkingCassandra...Running`nodetoolstatusthrift
水他·2023-08-26 12:13

hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细

spark3.0.0配置hiveonspark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6
薛定谔的猫不吃猫粮·2023-08-26 09:49

【PySpark】RDD的map操作小例子

#################test.py#######################cat/Users/mparsian/spark-1.6.1-bin-hadoop2.6/test.py#!
chongjiapi1753·2023-08-26 08:54

yarn 资源调度

1.什么是yarnyarn是hadoop集群当中的资源管理系统模块,从hadoop2.0开始引入yarn模块,yarn可为各类计算框架(mrsparkflink)提供资源的管理和调度,主要用于管理集群当中的资源
我是玄离大人·2023-08-26 08:08

‘protoc --version‘ did not return a version or Hadoop2.x maven编译MojoExecutionException异常

解决下载https://repo1.maven.org/maven2/com/google/protobuf/protoc/2.5.0/放到path目录重命名为protoc.exe原因缺少protoc工具
别摸我的键盘·2023-08-25 11:16

大数据项目实战之国内大数据职位分析准备工作

bin.zipapache-tomcat-8.5.73-windows-x64.zipeclipse-jee-2021-06-R-win32-x86_64.ziphadoop.dll-and-winutils.exe-for-hadoop2.7.3
一个猪肘·2023-08-25 09:14

Hadoop 3.2.2 安装记录

环境准备：dockerrun-itd--privileged=true--network=bridge-host--ip=192.168.0.221--dns=114.114.114.114--namehadoop221
嘟嘟Listing·2023-08-24 21:39

线上问诊：业务数据采集

系列文章目录线上问诊：业务数据采集文章目录系列文章目录前言一、环境准备1.Hadoop2.Zookeeper3.Kafka4.Flume5.Mysql6.Maxwell二、业务数据采集1.数据模拟2.采集通道总结前言暑假躺了两个月
超哥--·2023-08-24 11:53

Ubuntu下Hadoop的单机安装

·注：我的操作系统环境是Ubuntu-20.04.3，安装的JDK版本为jdk1.8.0_301，安装的Hadoop版本为hadoop2.7.1。
C_Chu·2023-08-24 06:38

【hadoop系列】-windows运行hadoop报没有找到winutils.exe

CouldnotlocateHadoopexecutable:D:\tools\hadoop-3.3.3\bin\winutils.exe通过查询https://cwiki.apache.org/confluence/display/HADOOP2
科学熊·2023-08-23 18:00

“数仓”-MPP与 MR的区别

mpp计算引擎--simd(单指令多源数)--ssvm(动态编译)--smp(算子并行)--llmp()一、大数据处理框架主流的大数据处理框架包括以下三类五种：1、仅批处理框架：ApacheHadoop2
西山创罪梦不觉·2023-08-23 11:05

PySpark安装及WordCount实现（基于Ubuntu）

先盘点一下要安装哪些东西：VMwareubuntu14.04（64位）Java环境（JDK1.8）Hadoop2.7.1Spark2.4.0（Local模式）Pycharm（一）UbuntuVMware
如何原谅奋力过但无声·2023-08-22 13:37

实验三 HBase1.2.6安装及配置

系列文章目录文章目录系列文章目录前言一、HBase1.2.6的安装二、HBase1.2.6的配置2.1单机模式配置2.2伪分布式模式配置总结参考前言在安装HBase1.2.6之前，需要安装好hadoop2.7.6
r i c k·2023-08-22 07:25

hadoop2.7.5分布式集群安装

三台虚拟机192.168.79.132master192.168.79.133slave1192.168.79.134slave21.修改主机名hostnamectlset-hostname(name)2.配置主机的映射(每台都要设置)vi/etc/hosts3.设置免密码登陆ssh-keygen输入上面的命令后，按三次回车即可将密钥复制到其他机器（包括本机）ssh-copy-idmasterss
小宇0926·2023-08-22 04:51

文件管理平台

技术选型：前端：vue、element-UI后端：Java8、SpringBoot、JPA、Mybatis、Redis、MySql、Hadoop2.9（HDFS）、Elasticsearch7.8相关链接
魑魅魍魉_5a55·2023-08-21 09:45

java大数据之hadoop_ha

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕
这一刻_776b·2023-08-21 08:02

hadoop2的集群数据将副本存储在hadoop3

因此，如果您的HDFS所在路径是在Hadoop2集群中，您可以在Hadoop3集群上添加新的节点，并向Hadoop3集群中添加这些新节点上的数据副本。
荣晓·2023-08-19 10:48

搭建Spark的伪分布模式环境

搭建Spark的伪分布模式环境1、解压：tar-zxvfspark-2.1.0-bin-hadoop2.4.tgz-C~/training/2、配置参数文件:conf/spark-env.shexportJAVA_HOME
小赖同学啊·2023-08-19 05:48
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他