Hadoop学习篇第49页

大数据处理实验（三）HDFS基本操作实验

HDFS基本操作实验1、Hadoop配置环境变量2、列出当前目录下的文件3、级联创建一个文件夹，类似这样一个目录：/mybook/input4、上传文件至HDFS5、从HDFS上下载文件6、查看HDFS

吱唔朱_·2023-11-28 16:43

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例

一、实验目的本实验考察学生Hadoop平台下的环境配置、分布式文件存储操作和管理以及基于Hadoop的分布式编程的设计与实现。

MrNeoJeep·2023-11-28 16:43

HDFS-实验指导书 -更新

Hadoop02核心介绍1.HDFSHDFS（HadoopDistributedFileSystem）是一个ApacheSoftwareFoundation项目,是ApacheHadoop项目的一个子项目

撒娇的猫·2023-11-28 16:42

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1

jialun0116·2023-11-28 16:41

hadoop的HDFS的shell命令大全（一篇文章就够了）

文章目录HDFS的shell命令1、安全模式1.查看安全模式状态2.手工开启安全模式状态3.手工关闭安全模式状态2、文件操作指令1.查看文件目录2.查看文件夹情况3.文件操作4.上传文件5、获取文件6.查看文件内容7.创建目录8.修改副本数量9.创建空白文件（不推荐使用）10.显示文件统计信息11、修改权限12、查看指令的帮助信息1、安全模式1.查看安全模式状态2.手工开启安全模式状态3.手工关闭

绝域时空·2023-11-28 16:39

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称部署全分布模式Hadoop集群实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.16-2023.10.20实验仪器设备以及实验软硬件要求专业实验室

jakeonil·2023-11-28 16:30

环境准备（06）YARN环境搭建 & 提交作业到YARN

1.配置文件目录/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop2.mapred-site.xml[hadoop@hadoop001hadoop]$cpmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn3

乌鲁木齐001号程序员·2023-11-28 15:13

利用kibana 快照备份es数据库

环境主机名ip地址组件ambari-hadoop1192.168.10.101ambari-hadoop2192.168.10.102kibanaambari-hadoop3192.168.10.103es

dogplays·2023-11-28 14:33

Java到底能做什么事情呢？

1、大数据技术 Hadoop以及其他大数据处理技术都是用Java或者其他，例如Apache的基于Java 的HBase和Accumul

小宇java·2023-11-28 14:13

java使用idea操作HDFS

一、前言关于在IDEA中使用JavaAPI对Hadoop进行操作。

梦痕长情·2023-11-28 14:14

linux正则表达式测试器,Shell学习篇：正则表达式和文本处理工具

原标题：Shell学习篇：正则表达式和文本处理工具一什么是正则正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。

张近微·2023-11-28 13:32

hadoop单机搭建无法免密码登录的问题

最近在学习hadoop，在单机搭建伪分布模式的时候设置免密码登录总是失败，对照书上和网上的教程研究了好久也没解决。最终在某dn网站上发现的一位大神留下的经验解决了我的问题。

bye_guaiyt·2023-11-28 13:18

大数据之-hive

1hive环境搭建2hive安装2.1hive交互命令1）“-e”不进入hive的交互窗口执行sql语句[root@hadoop102hive]#bin/hive-e“select*fromtest”2

白鹤青洲依旧·2023-11-28 10:13

Apache POI初识

关于ApachePOI的学习篇目录关于ApachePOI的学习篇简介作用应用场景举例简单使用案例导入POI的Maven坐标具体代码测试依赖项目开发开发基本流程简介ApachePOl是一个处理MiscrosoftOfice

it-Mrxie-天·2023-11-28 10:25

利用ambari搭建Hbase高可用

初始环境：节点名称服务名ambari-hadoop1ambari-hadoop2regionserverambari-hadoop3hmater、regionserver计划为ambari-hadoop1

dogplays·2023-11-28 09:19

数据算法 Hadoop/Spark大数据处理---第十章

_Kantin·2023-11-28 08:05

Apach Ozone部署

我自己对hadoop这套体系不是很熟悉，所以过程磕磕碰碰，好不容易勉强搭起来，所以记录一下部署方式准备三台主机，主机均已安装jdk、hdfs，相关的安装配置就不另外写了，网上很多教程。

sadoshi·2023-11-27 23:02

Hbase集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d

大猪大猪·2023-11-27 22:53

大数据开发学习笔记linux java hadoop环境变量配置

linux下配置环境变量javahadoopvim/etc/profile在文件最下方加入以下代码exportJAVA_HOME=java目录exportHADOOP_HOME=hadoop目录exportPATH

我还不够强·2023-11-27 20:39

【大数据优质案例】基于大数据可视化的数字化区集成大脑平台

天码编程·2023-11-27 20:24

【大数据优质案例】基于大数据可视化的智能芯片可视化平台

天码编程·2023-11-27 20:54

【大数据分析案例】基于大数据可视化的智慧城市运营平台

天码编程·2023-11-27 20:53

Hbase环境搭建

目录一、Hadoop伪分布式Hbase环境搭建二、Hadoop完全分布式Hbase环境搭建本文伪分布式节点名：master完全分布式一主、两从节点名：master、slave1、slave2一、Hadoop

遇安.YuAn·2023-11-27 20:33

Flink入门（一）——Apache Flink介绍

随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎ApacheSpark,基本上已经取代了MapReduce成为当前大数据处理的标准。

大数据流动·2023-11-27 20:03

flink on yarn集群环境(生产环境使用)

因此Flink也支持在Yarn上面运行；flinkonyarn的前提是：****hadoop、hdfs、yarn****均启动配置要求jdk1.8及以上【配置JAVA_HOME环境变量】ssh免密码登录

huahailing1024·2023-11-27 20:30

Hive数据倾斜的原因以及常用解决方案

在Hadoop平台的hive数据库进行开发的时候，数据倾斜也是比较容易遇到的问题，这边文章对数据倾斜的定义以及产生的原因、对应的解决方案进行学习。

晓之以理的喵~~·2023-11-27 19:44

eclipse中编写MapReduce报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop

log4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j

CC小耳朵·2023-11-27 19:59

Flink实时流计算入门系列（一）

image这几年大数据的飞速发展，出现了很多热门大数据计算框架，著名的Hadoop、Storm、Spark，他们都专注于各自的应用场景。

晨冉1688·2023-11-27 17:17

花生壳+JuiceSSH实现手机端远程连接linux虚拟机

环境虚拟机Hadoop102,网络模式为net移动端安装JuiceSSH(移动端ssh工

Knowledge Porter·2023-11-27 14:31

Spark的部署与使用

1.1与Hadoop区别Spark与Hadoop中的MapReduce相似，都是用于进行并行计算的框架，二者根本差异是多个作业之间的数据通信问题:Spark的多个作业之间数据通信是基于内存，而Hadoop

Vic·Tory·2023-11-27 12:01

spark体验

前言spark作为大数据计算引擎，为大数据的计算提供了一套新的底层模型；从存储角度，它借助内存作为首选方式，比hadoop快百倍。记录下一些重点感悟。

scofielong·2023-11-27 12:00

Mongodb中Aggregation特性

Mongodb是目前最受欢迎的大数据存储平台之一，它可以作为云计算技术的底层存储层，比如为spark、hadoop、pig、hive、drill等计算框架提供源数据。

shift_alt_ctrl·2023-11-27 12:45

2 MapReduce计算的流程-Hadoop

多余的则进行分，少的则不变），分块之后存储相应的datanode计算机的磁盘上面；把File划分成Block，这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml

汀沿河·2023-11-27 12:07

2021-12-08

六、学习篇。学习能力是一个人逆袭的最佳武器，在这里，我分享了学习的方法。

安好人生·2023-11-27 11:55

Kafka基本原理详解

Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop

昙花逐月·2023-11-27 10:46

python flask restful入门_用Python 的Flask实现 RESTful API(学习篇)

最近自己刚入职，由于项目的需要，要了解一些FLASK的知识，所以就写下了这篇文章。由于自己也是转行的数据挖掘，知道转行人的痛苦，每天学习数据方面知识，但不知道真正的工作场景是如何的。所以自己会尽量多写些工作中确实用的到知识，一是给大家一些启发，二是自己的学习总结。下面的文章也即是自己的学习总结（还在学习数据方面的朋友暂时可以忽略这篇文章），阅读路线如下：理解API理解RestfulAPI理解装饰器

weixin_40004081·2023-11-27 10:26

学习Java多线程看这篇就够了（建议收藏）

学习Java多线程看这篇就够了多线程学习篇1、多线程_概念2、多线程_继承Thread3、多线程_图片下载4、多线程_实现Runnable5、多线程_抢票_龟兔赛跑1）模拟购票2）模拟龟兔赛跑6、多线程

小研说技术·2023-11-27 09:17

spark篇（一）——Spark核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS

许志辉Albert·2023-11-27 08:53

Flume学习笔记：01-Flume的安装与简单入门示例

文章目录概述Flume的基础架构AgentSourceSinkChannelEventFlume的安装与配置环境准备下载flume的安装包解压安装包删除guava-11.0.2.jar，以兼容hadoop3.1.3

wangzhongyudie·2023-11-27 06:30

大数据安装之hadoop-3.3.4

参考：hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客1.环境准备：3台centos7服务器masterstave1stave2配置：1.1修改hostvim/etc/hosts192.168.240.128

x_y_z423·2023-11-27 06:24

大数据处理框架Spark：核心原理

RDD可以从HadoopHDFS、HBase等数据源创建，也可以通过转换操作和持久化操作进行处理和存储。下面是一

雨中徜徉的思绪漫溢·2023-11-27 04:17

Spark入门之五：SparkSQL的原理以及架构

SparkSQL的发展历程1.1HiveandSharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop

铁猴·2023-11-27 03:03

基于Hadoop技术的智慧图书馆海量数据储存系统研究

点我完整下载：基于Hadoop技术的智慧图书馆海量数据储存系统研究.docx基于Hadoop技术的智慧图书馆海量数据储存系统研究Astudyontheintelligentlibrary'smassivedatastoragesystembasedonHadooptechnology

桃宝护卫队·2023-11-27 01:57

基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法

点我完整下载：基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法.docx基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法"AShort-termLoadForecastingMethodbasedonMulti-distributedBPNeuralNetworkArchitecturewithHadoopFramework

桃宝护卫队·2023-11-27 01:25

HBase权威指南

yeedom·2023-11-27 00:52

[Hbase]Hbase2.2.6的分布式集群搭建(使用自带的zookeeper)

1.Hbase2.2.6分布式集群搭建1.1.前提本次示例默认你已经完成了了如下操作：JDK的配置节点间的免密登录hadoop集群的搭建集群的时间同步1.2.Hbase分布式集群的架构图首先，本次示例需要三个节点

_balabala_·2023-11-26 19:53

项目十八-Hadoop+Hbase分布式集群架构“完全篇”

本文收录在Linux运维企业架构实战系列前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop

weixin_33724059·2023-11-26 19:52

Hadoop+Hbase 分布式集群架构“完全篇”

1.认识Hadoop和Hbase1.1Hadoop简单介绍Hadoop是一个使用Java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。

架构文摘·2023-11-26 19:22

Hadoop2.4.0-Hbase-098.9-完全分布式安装部署

1准备环境1.1所需软件包a、CentOS-6.5-i386-LiveDVD.iso32位centos系统b、jdk-7u71-linux-i586.rpm32位jdk-Linuxrpm文件c、hadoop

skynumone·2023-11-26 19:19

大数据集群高可用组建搭建部署

大数据集群高可用安装部署包有：redis-3.2.10.tar.gzspark-2.2.0-bin-hadoop2.7.tgzhbase-1.2.1-bin.tar.gzhadoop-2.8.1.tar.gzapache-hive

Big-Hadoop·2023-11-26 19:18

推荐频道

Hadoop学习篇