hadoop深入浅出

CentOS 7.6搭建Hadoop2.9.2完全分布式集群，狠详细！

一、概述本文基于宿主机Win10笔记本（8G+256固态，连接无线wifi）+三台虚拟机进行搭建。以下为搭建的详细过程，接近于现场直播Live。二、软件环境准备使用到具体软件及版本如下：虚拟机VMwareVMware-workstation-full-12.5.7-5813279.exe下载地址https://my.vmware.com/web/vmware/details?productId=5
cichu1740·2023-12-30 07:26

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群（二）

这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例，已成功搭建完全分布式集群，并测试跑实例。6.安装JDK以下操作现在master上操作，然后远程复制到slave01、slave02即可。6.1将压缩包发送到master节点机器上，并解压利用WinSCP，将JDK压缩包从windows系统传至master主节点机器上，并将其放于/opt/software目录注意
666-LBJ-666·2023-12-30 07:54

Hadoop架构概述

HDFS架构概述HDFS（HadoopDistributedFileSystem）的架构概述NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的
青涩的芒果汁·2023-12-30 06:31

Ambari入门及安装

Ambari简述什么是AmbariApacheAmbari项目旨在通过开发用于配置，管理和监控ApacheHadoop集群的软件来简化Hadoop管理。
青涩的芒果汁·2023-12-30 06:30

Spark Streaming

批量计算和实时计算（三）流计算概念（四）流计算框架（五）流计算处理流程二、SparkStreaming（一）SparkStreaming设计（二）SparkStreaming与Storm的对比（三）从“Hadoop
Francek Chen·2023-12-30 06:54

配置log4j和slf4j爬过的坑

现在将错误记录一下[WARNING]failedorg.mortbay.jetty.plugin.Jetty6PluginWebAppContext@3fd05b3e{/adgame_ms,/home/hadoop
zerone-f·2023-12-30 06:18

测试：如何查看节点进程？

对于Hadoop集群在Hadoop集群中，您可以使用`jps`命令来查看正在运行的Java进程。
AnyaPapa·2023-12-30 05:58

2017-12-9 第一次于水莲老师的家排课有感

下午老师讲解了许多的心理学知识，关于亲子/子亲、两性、情绪/心情、抉择……现场演绎家排，深入浅出入情入理，通过个体的体感还原事件的真相，可
Zole瑜·2023-12-30 03:41

虚拟机上进行Hadoop伪分布式部署并进行大数据处理

本文章基于的大数据文件：https://download.csdn.net/download/qq_60567426/87940872?spm=1001.2014.3001.5503引言：虚拟机经常卡死，卡死就按这个重新启动VMware虚拟机下载：1：首先安装VMware，官网链接：VMware-DeliveringaDigitalFoundationForBusinesses2：点击Produc
软件开发技术局·2023-12-30 03:38

Hadoop和大数据：60款顶级开源工具

说到处理大数据的工具，普通的开源解决方案（尤其是ApacheHadoop）堪称中流砥柱。
weixin_33905756·2023-12-30 01:25

教练式父母

红老师用了三个小故事深入浅出的说明什么是教练式父母。第一则故事是20分钟教会从未打过网球并且身体肥胖的茉莉，学会打网球的故事。教练在整个过程中采用的循序渐进教学方式让人惊叹。
潘明俊MatthewPan·2023-12-30 01:35

【新教育·教师随笔】

前三辑以书信问答的方式呈现众多一线教师提出的在工作实践中遇到难题、在教师成长中遇到的各种困惑，朱老师都一一予以解答，不仅针对具体问题提出分析，更看出问题背后的本质，对每个问题都作出了详尽细致、深入浅出的剖析
梁雪团·2023-12-30 01:24

大数据框架介绍

大数据学习必备三个框架Hadoop，Spark，Storm大数据的主要特点为数据量大(Volume)，数据类别复杂(Variety)，数据处理速度快(Velocity)和数据真实性高(Veracity)
mikecg·2023-12-29 23:06

《深入浅出Spring》Spring AOP 详解

什么是AOP？先看一下传统程序的流程，比如银行系统会有一个取款流程我们可以把方框里的流程合为一个，另外系统还会有一个查询余额流程，我们先把这两个流程放到一起：有没有发现，这个两者有一个相同的验证流程，我们先把它们圈起来再说下一步：上面只是2个操作，如果有更多的操作，验证用户的功能是不是需要写很多次？有没有想过可以把这个验证用户的代码是提取出来，不放到主流程里去呢，这就是AOP的作用了，有了AOP，
猿一一·2023-12-29 23:47

SpringBoot-AOP深入浅出通俗易懂—看不懂你捶鹅

目录前言AOP总体思想AOP图解AOP-Aspect-代码举例1、定义Service2.定义LoginController3.定义UserLoginAspect切面AOP-Handler拦截器-代码举例1、定义拦截器2、注册拦截器总结前言Spring最重要的两个思想就是IOC、AOP，之前的文章SpringBoot自动装配分析了IOC思想并进行了源码详解。这次看一下AOP思想。网上有很多AOP思想
派大星的无情铁锤·2023-12-29 23:17

执行hadoop jar 或者是yarn jar 报Exception in thread “main“ java.lang.NoClassDefFoundError：XXX

找到上传的目录，执行yarnjar或者hadoopjar报一下的错。报错的原因可能是：在idea打包的过程中没有相关的类，那你在打包的时候，没有把相关依赖都打进去。
爱吃肉的白熊·2023-12-29 22:36

给linux(centos)操作系统设置主机名的几种方式

镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、前言就是我们需要集群部署hadoop,Flink时，写ip地址太长了，然后大家想的就是能不能用比如：node1,node2,node3去代替IP地址
萌褚·2023-12-29 21:13

HDFS常用命令

1.hdfsdfs与hadoopfs命令的形式：hdfsdfs-linux命令这与linux中命令操作是一样的。
langzitianya·2023-12-29 21:15

增量式旋转编码器在STM32平台上的应用

背景旋钮是仪器仪表上一种常见的输入设备，它的内部是一个旋转编码器，知乎上的这篇科普文章对其工作原理做了深入浅出的介绍。
六个九十度·2023-12-29 20:50

深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第三节 栈与堆，值类型与引用类型

栈与堆，值类型与引用类型导航深入浅出图解C#堆与栈C#Heap(ing)VSStack(ing)第一节理解堆与栈深入浅出图解C#堆与栈C#Heap(ing)VSStack(ing)第二节栈基本工作原理深入浅出图解
DePaul·2023-12-29 18:18

深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第三节 栈与堆，值类型与引用类型

深入浅出图解C#堆与栈C#HeapingVSStacking第三节栈与堆，值类型与引用类型[深入浅出图解C#堆与栈C#Heap(ing)VSStack(ing)第一节理解堆与栈](https://mp.csdn.net
类人_猿·2023-12-29 18:16

学java就两个问题

国外书籍用的是think，国内的书籍都是深入理解/学习/深入浅出/30天掌握/教程XXXX字眼的书籍。脑袋没毛病吧，随便一本书平均下来都有500页，各种深入理解，掌握过后。你的年龄也到该入土的时候了。
现在_未来·2023-12-29 17:26

HBASE的应用场景

2018/08/31HBase是如何与Hadoop嵌入在一起的，那么他的作用又是什么。这显然跟我原来理解的那些个数据库不太一样，就比如mango这种。现在比较关注的就是他的数据导入，是怎么样的。
VChao·2023-12-29 16:49

Kafka 初识

kafka是由LinkedIn公司开发的，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大特点就是可以实时的处理大量数据以满足各种需求场景：比如基于Hadoop的批处理系统
Advancer-lbh·2023-12-29 14:56

Spark集群- 连接hadoop、hive集群

目的使spark代码提交到集群运行时，能够操作hdfs、hive等保证所有spark机器都能解析hadoop集群的机器名称如果spark和hadoop部署在同样的集群，则可以省略这一步如果spark和hadoop
heichong·2023-12-29 13:59

蚂蚁京东新浪10位架构师424页佳作深入分布式缓存从原理到实践

而本文深入浅出地讨论了Ehcache、Memcach
java技术媛·2023-12-29 12:50

2020-03-27

最近读到一本书——《时间管理7课堂》，武汉工程大学副教授著，深入浅出的讲出了时间管理的真谛。
正面阳光2008·2023-12-29 12:23

简单的 MapReduce 程序的示例代码，用于统计 HBase 中的成绩表中的单科排名和总分排名，并将结果上传到 HDFS 中。...

MapReduce程序的示例代码，用于统计HBase中的成绩表中的单科排名和总分排名，并将结果上传到HDFS中：```importjava.io.IOException;importorg.apache.hadoop.conf.Configuration
weixin_42601702·2023-12-29 10:19

利用hbase来两张表的联立，求出一个班学生的总分并把结果写到hbase（java 代码实现）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor
CC072615·2023-12-29 10:14

MR实战：分科汇总求月考平均分

Maven项目2、添加相关依赖3、创建日志属性文件4、创建学生实体类5、创建科目平均分映射器类6、创建科目平均分归并器类7、创建科目平均分驱动器类8、启动应用，查看结果一、实战概述在本次实战中，我们将利用HadoopMapReduce
howard2005·2023-12-29 10:42

Spark相关

3、Yarn：采用Hadoop的资源调度器。国内大量使用。
大数据点滴·2023-12-29 09:29

Hadoop用户权限管理及hdfs权限管理

1.创建用户student1，所属分组为studentschown-Rstudent1:students/home/hadoop/hadoop-2.7.6root用户将hadoop的相关操作权限授予student12
临界爵迹·2023-12-29 09:35

2021-08-25继续热爱生活

我想起来易中天教授在《百家讲坛》节目上讲《品三国》，真的令我佩服，因为讲的内容深入浅出，并且充满趣味。
清秋里晨·2023-12-29 08:17

【2023】通过docker安装hadoop以及常见报错

目录1、准备2、安装镜像2.1、创建centos-ssh的镜像2.2、创建hadoop的镜像3、配置ssh网络3.1、搭建同一网段的网络3.2、配置host实现互相之间可以免密登陆3.3、查看是否成功4
方渐鸿·2023-12-29 07:08

中原焦点团队网络初级29期华雪莲持续分享第2天2021.7.29

我是一个心理学纯小白，但是刘老师的讲课内容深入浅出，我觉得知识点还是很容易理解的，我理解到最关键的是通过种种设计训练我们做到真正内化于心、形成思维方式，从而在实践中能够潜移默化地应用。
坐看云起xl·2023-12-29 07:46

elasticsearch-hadoop.jar 6.8版本编译异常

##背景重新编译elasticsearch-hadoop包；GitHub-elastic/elasticsearch-hadoopat6.8编译7.17版本时很正常，注意设置下环境变量就好，JAVA8_
zmc@·2023-12-29 07:31

Hadoop YARN CGroup 实践

文章目录HadoopYARNCgroups实践什么是cgroupscgroups概念YARN使用cgroups背景cgroups在YARN中的工作原理cgroups在YARN中的实践步骤参考HadoopYARNCgroups
Shyllin·2023-12-29 06:26

Hadoop之MapReduce 详细教程

MapReduce仅作了解，生产上很少使用该计算程序1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。1、Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆
白鸽呀·2023-12-29 06:50

On writing写作这回事

我原来是要把它当成一本工具书来看的，但是真本书的有趣程度、引述的内容、深入浅出的描写完全超出了我对它的预期。前面近1/3的内容是斯蒂芬•金的回忆录，你可
胡红梅River·2023-12-29 04:39

Zookeeper-Zookeeper特性与节点数据类型详解

1.Zookeeper介绍ZooKeeper是一个开源的分布式协调框架，是ApacheHadoop的一个子项目，主要用来解决分布式集群中应用系统的一致性问题。
长情知热爱·2023-12-29 03:57

Hadoop安装笔记2单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

紧接着上一篇博客：Hadoop安装笔记1：Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理-CSDN
Stitch .·2023-12-29 02:00

Spark 集群搭建

yarn-site.xmlspark-env.sh官网求π(PI)案例启动spark-shell通过浏览器查看显示查看Spark的网页信息展示搭建前准备下载地址：Indexof/dist/spark(apache.org)配置好hadoop
撕得失败的标签·2023-12-29 00:42

[BUG] Hadoop-3.3.4集群yarn管理页面子队列不显示任务

1.问题描述使用yarn调度任务时，在CapacityScheduler页面上单击叶队列（或子队列）时，不会显示应用程序任务信息，root队列可以显示任务。此外，FairScheduler页面是正常的。Nomatchingrecordsfound2.原因分析CapacitySchedulerPage中使用的$（‘#apps’）.dataTable（）.fnFilter基于索引值为4的列进行筛选（索
tuoluzhe8521·2023-12-29 00:00

最全Hadoop实际生产集群高可用搭建

1.环境准备1.1集群规划序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005IPxxxxxxxxxxxxxxx组件hadoop1hadoop2hadoop3hadoop4hadoop5
tuoluzhe8521·2023-12-29 00:30

大数据技术之Hadoop入门一

1.从Hadoop框架讨论大数据生态名字起源该项目的创建者，DougCutting解释Hadoop的得名：“这个名字是我孩子给一个棕黄色的大象玩具命名的项目起源Hadoop由ApacheSoftwareFoundation
在远方的你等我·2023-12-28 19:54

数据分析入门自学计划制定--20180520

首先说一下数据分析入门：根据某公司数据分析岗位的招聘信息以及自身情况制定以下学习计划：1、深入浅出数据分析：重点了解数据分析的流程、应用场景、以及书中提到的若干数据分析工具，无需纠结分析模型的实现。
先生买多花吧·2023-12-28 19:30

How to solve gzip: stdin: not in gzip format error

目录一.问题说明二.问题解决三.命令复习一.问题说明当执行tar-xzf/tmp/hadoop-3.3.5.tar.gz-C/home/taiyi/yarn命令时出现：gzip:stdin:notingzipformattar
roman_日积跬步-终至千里·2023-12-28 19:11

ClickHouse基础知识（二）：ClickHouse 安装教程

1.准备工作1.1确定防火墙处于关闭状态1.2CentOS取消打开文件数限制（1）在hadoop101的/etc/security/limits.conf文件的末尾加入以下内容sudovim/etc/security
依晴无旧·2023-12-28 18:30

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群（一）

1.安装CentOS7.6虚拟机1.1安装完虚拟机发现没有sudo命令和hadoop用户执行命令失败我在安装CentOS7.6虚拟机后，我发现不能执行sudo命令，同时hadoop用户执行命令失败。
666-LBJ-666·2023-12-28 18:55

数据仓库架构以及数据模型的设计

分别是：数据仓库技术、Hadoop。当数据为
添柴少年yyds·2023-12-28 18:24
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他