hadoo

Python大数据：深入探索Hadoop库的使用

Python在数据科学中的流行，加上Hadoo
t0_54coder·2024-09-07 17:22

Mac Hadoop Yarn日志聚合出错

CannotcloseTFileinthemiddleofkey-valueinsertion.atorg.apache.hadoop.io.file.tfile.TFile$Writer.close(TFile.java:310)atorg.apache.hadoo
HHoao·2024-08-26 10:15

Hadoop | 集群配置（一）使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令

编写分发脚本四、总结参考资料视频链接Linuxscp命令一、前言在Hadoop完全分布式集群环境下，里面的各个节点都是通过SSH免密登陆连接的，比如现有三台集群节点，分别是hadoop101、hadoop102、hadoo103
「已注销」·2024-02-07 21:20

Hadoop 3.1.1 HDFS 集群部署

hadoop-env.sh配置$HADOOP_HOME/etc/hadoop/core-site.xml创建DataNode黑名单文件配置$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置$HADOO
JP.Hu·2024-01-26 19:37

Apache Zeppelin学习记录1

它支持多种编程语言（如Scala、Python、R、SQL等）和数据处理工具（如ApacheSpark、Hadoo
旻璿gg·2024-01-17 15:01

Kafka入门基本概念（详细）

Kafka的目的是通过Hadoo
学会用脚编程·2024-01-16 10:17

Java大数据hadoop2.9.2搭建伪分布式yarn资源管理器

mapred-site.xmlvimapred-site.xmlmapreduce.framework.nameyarnviyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle2、重新启动hadoo
crud-boy·2024-01-15 06:29

Sqoop入门指南：安装和配置

可以按照它们的官方文档进行安装，或者使用Hadoop分发版本，其中通常已包含了必要的Java和Hadoo
晓之以理的喵~~·2024-01-13 07:13

大数据技术原理与应用笔记

1.5大数据,物联网和云计算1.5.1云计算1.5.2物联网检测题二、大数据处理架构Hadoop2.1hello，Hadoop2.1.1Hadoop简介2.1.2ApacheHadoop版本演变2.2Hadoo
Moliay·2024-01-09 22:16

Spark与PySpark(1.概述、框架、模块)

4.1SparkCore4.2SparkSQL4.3SparkStreaming4.4MLlib4.5GraphX5.Spark的运行模式5.1本地模式(单机)Local运行模式5.2Standalone模式（集群）5.3Hadoo
还是那个同伟伟·2023-12-27 18:06

大数据开发都要学习什么？什么是大数据平台？

大数据平台知识：是大数据开发的基础，在学习期间，往往以搭建Hadoop、Spark平台为主，一方面Hadoop对机器的硬件要求不高，另一方面Hadoo
金光闪闪耶·2023-12-24 14:49

Linux环境安装Hadoop

root@hadoop100 ~]$cd/opt/software[root@hadoop100software]$tar-zxvfhadoop-3.1.3.tar.gz-C/opt/module/（3）将Hadoo
程序员储物箱·2023-12-21 21:55

Hadoop/Spark 太重，esProc SPL 很轻

Hadoo
码农翻身·2023-12-21 10:07

大数据入门二（YARN部署）

jps28288NameNodeNN27120Jps28410DataNodeDN28575SecondaryNameNodeSNN1.MapReducejobonYarn[hadoop@hadoop002hadoo
倾白首·2023-12-19 10:04

Shell脚本实现MapReduce统计单词数程序

脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）$HADOOP_HOME/bin/hadoopjar$HADOOP_HOME/contrib/streaming/hadoo
鹅鹅鹅_·2023-12-19 08:32

基于Hadoop的智慧社区大数仓库系统设计与开发

目录目录2摘要3关键词4第一章绪论41.1研究背景41.2研究目的与意义51.3国内外研究现状61.4主要研究内容81.5研究方法与技术路线9第二章Hadoop技术基础112.1Hadoop概述112.2Hadoo
wusp1994·2023-12-17 18:45

大数据篇|Hadoop发展史及介绍

ApacheHadoop2.3.2、ClouderaHadoop2.3.3、HortonworksHadoop三、Hadoop组成3.1、Hadoop组成3.2、模块3.3、Hadoop特性优点一、Hadoop介绍1.1、Hadoo
五月天的尾巴·2023-12-15 03:56

Hbase JAVA API 增删改查操作

点进去复制依赖代码org.apache.hbasehbase-client2.2.4创建表格importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoo
会java的怪蜀黍·2023-12-06 12:09

hadoop之yarn

三、yarn在hadoo
测试开发知识积累·2023-12-05 06:33

Hadoop之YARN详解

YARN的作用在Hadoop1.0中，MapReduce是Hadoo
蓝胖子的宝贝·2023-12-05 06:33

Hadoop之mapreduce数据去重和求平均分（案例）

数据去重使相同的数据在最终的输出结果中只保留一份，使用idea创建Maven项目在pom.xml文件添加Hadoop的依赖库，内容如下：org.apache.hadoophadoop-client3.2.1//集群对应Hadoo
忌颓废·2023-11-24 05:13

7条小建议，助你更好使用大数据！

技术的发展将会缓和Hadoo
大圣众包平台·2023-11-21 19:32

Hadoop学习总结（MapRdeuce的词频统计）

WordcountMapper.javapackagecom.itcast.mrdemo;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoo
Qinqin.J·2023-11-19 16:12

The specified database user/password combination is rejected: [ 08S01] Could not open client transpo

CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://hadoop102:10000:Failedtoopennewsession:java.lang.RuntimeException:org.apache.hadoo
挽风821·2023-11-17 13:33

大数据基础设施搭建 - Linux环境

免密登陆远程机器普通用户）2.4文件分发工具2.5命令同步执行工具一、阿里云服务器购买默认安全组除linux/windows远程连接端口开放外，其他端口不开放硬件配置：cpu：2核内存：8g硬盘：40g主机名称：hadoo
m0_46218511·2023-11-17 03:55

Centos Linux 单机安装 HBase 、使用 HBase

HBase的名字的来源是Hadoo
寒水馨·2023-11-09 08:40

Hadoop从入门到入土（第五天）

cd/opt/module/hadoop文件名>ll>cdetc/hadoop/>复制(fs.defaultFShdfs://hadoop102:8020hadoo
南城守护·2023-11-07 22:56

hadoop ubantu环境搭建_Ubuntu16.04+hadoop2.7.3环境搭建

1.JDK的安装hadoop是使用Java开发的一个大数据平台，自然少不了Java运行环境的安装了，当然使用hadoop不一定需要java语言，hadoo
lvero王·2023-11-05 20:51

mysql数据首次导入hive_sqoop1.4.7环境搭建及mysql数据导入导出到hive

创建表和导入数据时必须添加分隔符,否则数据导出时会报错1.下载安装[root@node1~]#wgethttp://mirrors.shu.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoo
学术女流氓·2023-11-05 04:59

Hadoop3.2.4+Hive3.1.2+sqoop1.4.7安装部署

.Zookeeper配置3.创建myid文件4.设置环境变量并添加映射5.分发ZooKeeper相关文件至Node_02、Node_03四、Hadoop部署1.Hadoop解压2.设置环境变量3.查看hadoo
alicely07·2023-11-05 04:54

千万级PV规模高性能高并发网站架构

Apache/nginx静态服务器提供html页面内容php/java服务器：PHP/JAVA动态内容数据库缓存服务器：数据库缓存memcache/redis数据库服务器：MYSQL数据库数据存储：NFS/HADOO
weixin_34072637·2023-10-31 17:20

Window10安装Hadoop3.1.0

tar.gz(耐心下载,很慢的,1个小时起步)(2)Windows环境安装所需的bin：https://github.com/s911415/apache-hadoop-3.1.0-winutils(hadoo
ldj2020·2023-10-28 20:53

hadoop伪分布式安装部署

的安装包我的下载地址如下：WeTransferGratuit.Envoisécurisédegrosfichiers.将hadoop包上传到随便一个目录，但是解压缩到/opt/目录下tar-zvxf/home/hadoo
wmy102125·2023-10-25 06:46

-大数据入门-2-Hadoo-MapReduce详解

mapreduce是hadoop的计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。计算模型的运行规则。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每个阶段都是用键值对（key/value）作为输
吾..二..二·2023-10-22 00:55

多次重新初始化hadoop namenode -format后，DataNode或NameNode没有启动

当我们不小心多次初始化，会导致启动hadoop集群时，主节点DataNode或NameNode无法启动[root@node01hadoo
Oraer_·2023-10-19 04:47

Hadoop集群_HDFS初探之旅

Hadoo
weixin_30466421·2023-10-17 15:51

Hadoop集群（第8期）_HDFS初探之旅

Hadoo
浮生(FS)·2023-10-17 15:49

大数据-hadoop-初探03

PC1PC2PC3HDFSNamenodeSecondaryNamenodeDatanodeDatanodeDatanodeYarnRecourceManagerNodemanagerNodemanagerNodemanagerHistroryHistroryServer2、基本环境准备2.1系统和软件【3台】CentOS6.5hadoo
taco詹詹·2023-10-17 15:49

hadoop namenode -format报错显示：命令未找到

这个第一时间也是想到了环境配置问题打开环境配置文件编辑sudovim~/.bashrc添加以下代码（这里只针对hadoop）exportHADOOP_HOME=/apps/hadoopexportPATH=$HADOOP_HOME/bin:$HADOO
Keep Doing this·2023-10-14 18:44

Python+大数据-Hadoop生态-hadoop(二)--Apache Hadoop

集群分布式安装部署掌握JobHistoryServer功能理解HDFS垃圾桶机制今日课程内容大纲#ApacheHadoop入门介绍概念狭义上hadoop指什么指软件广义上hadoop指什么指生态圈hadoop起源hadoo
呆猛的呆呆小哥·2023-10-10 02:10

三主机安装Hadoop

配置各台虚拟机之间免秘钥登录参考：配置各台虚拟机之间免秘钥登录-2.把hadoop安装包上传到服务器并解压tar-xzvfhadoop-2.7.7.tar.gz3.修改hadoop-env.sh/app/hadoo
soane1983·2023-09-29 11:43

大数据学习----Hadoop分布式环境搭建

HBase的安装和基础命令参考文章：一、ssh免密码登录配置方法二、Hadoop完全分布式的搭建文章目录大数据学习----Hadoop完全分布式环境搭建前言一、所需要的资源二、Hadoop概要及原理介绍Hadoo
cadenye·2023-09-28 02:20

中间件 - 分布式协调服务Zookeeper

.集群三个角色及状态七.选举算法八.Watcher九.设计目的十.典型使用场景一.前言Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoo
流华追梦1·2023-09-27 10:00

记一次hive开发过程出现的错误及解决方法

Hadoo
梦痕长情·2023-09-27 00:30

CentOS7 下 HBase-1.3.1 安装

bigdata/hadoop/zookeeper-3.4.10/bin/zkServer.shstartZooKeeperJMXenabledbydefaultUsingconfig:/opt/bigdata/hadoo
V1cttor·2023-09-24 13:06

Hdoop伪分布式集群搭建

SSH免密钥登录配置①master虚拟机上②slave01虚拟机上③slave02虚拟机上④验证免密登录（3）安装JDK（4）安装部署Hadoop集群（chenqi用户）1.解压缩包2.配置文件3.创建Hadoo
陈七.·2023-09-20 22:27

Spark基本概念以及环境搭建

从功能上来说：HadoopHadoop是由java语言编写的，在分布式集群当中存储海量数据，并运行分布式应用的开源框架作为Hadoo
努力生活的黄先生·2023-09-17 10:39

HDFS常用命令操作

本篇主要介绍HDFS的命令基本操作：HDFS常用命令操作有：hadoopfs-ls/(查询目录)hadoo
lizb·2023-09-12 09:13

大数据入门之基础知识

其实并不是这样；即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储（结构化数据依然会保存在传统的关系型数据库——如MySql，日志等非结构数据会保存在分布式文件系统——如Hadoo
qq_44682761·2023-09-09 21:15

hive mysql 外部表_hive外部表

)，删除外部表的同时并不会删除location指定目录下的文件.1.查看hdfs系统目录/user/hadoop1/myfile下文件[hadoop1@node1]$hadoopfs-ls/user/hadoo
Rosie Lau·2023-09-06 19:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他