Hadoop相关

大数据从业者应该知道的开源工具（全）

前言想要成为大数据工程师这些开源工具你要有所了解一、Hadoop相关工具1.HadoopApache的Hadoop项目已几乎与大数据划上了等号。
fenghuo9527·2022-12-05 11:30

VMware网络环境配置-桥接模式

近期在学习Hadoop相关知识，之前并未接触Linux系统，因此一并从头开始学习，在这个过程中，遇到不少问题，因此想要把学习过程整理一下，记录下来，以便以后回顾，也希望我的记录对其他人有帮助。
我的天空不变·2022-11-29 16:22

Hadoop、Hbase安装教程保姆级教程

Hadoop、Hbase安装教程准备Centos系统设置网络安装java环境配置SSH免密登录安装hadoop修改Hadoop相关命令执行环境修改Hadoop配置运行和测试Web界面进行验证测试案例配置
向前ing·2022-11-20 20:11

大数据技术栈

ETL职位现状和未来发展技术栈Hadoop相关基本原理和操作：hdfs，yarn，mrOLTP：mysql，oracle，pg，etc…OLAP：Kylin，clickhouse，presto，impala
辉常努腻·2022-11-20 04:32

Hadoop完全分布式部署

目录Hadoop完全分布式部署准备jdk配置ssh实现主从节点之间的免密登陆Hadoop环境变量配置Hadoop相关文件hadoop-env.shcore-site.xmlhdfssite.xmlmapred-site.xmlyarn-site.xml
week@eight·2022-09-27 16:33

大数据面试题：介绍下Flume

2009年被捐赠了apache软件基金会，为hadoop相关组件之一。
蓦然_·2022-07-02 09:50

存储系统如何适配 Hadoop？

近年来，Hadoop相关的大数据框架非常成熟，应用广泛。与此同时，Hadoop默认的存储组件HDFS开始逐渐暴露出自己的短板：存算一体带来的资源不匹配，NameNode的扩展瓶颈等等。
·2022-05-24 11:42

hadoop学习笔记之一：hadoop生态系统

这里收集整理了跟Hadoop相关的Apache下的开源项目，以供后续分析研究。ApacheHadoopHadoop是一个大数据处理框架，它可用于从单台到数以千计的服务器集群的存储和计算服务。
雪飞静·2022-02-27 09:09

Hadoop相关文章索引（3）

环境部署hadoop-2.7.0.tar.gzhadoop2.6.0单节点-伪分布式模式安装hadoop2.x配置jobHistoryserver（转）Hadoop2.7.2集群搭建详解（三台）基本常识Hadoop1.x和2.X的HDFSfsimage和edits文件运行机制对比Hadoop的jobhistoryserver配置算法架构【hadoop】2002-数据同步流程DebugHadoop在
司小幽·2022-02-21 07:43

#SQL on Hadoop技术分析

SQLonHadoop技术分析（一）-大数据和云计算技术（欢迎关注同名微信公众号）-ITeye技术网站http://jiezhu2007.iteye.com/blog/2314063自打Hive出现之后，SQLonHadoop
葡萄喃喃呓语·2022-02-14 03:18

Scala 通过读取HDFS上的文件创建SparkRDD出现的问题

一、Couldnotlocateexecutablenull\bin\winutils.exeintheHadoopbinaries.如果本机操作系统是Windows，如果在程序中使用了Hadoop相关的东西
我在燕京有把刀·2021-11-19 15:57

Flume 日志文件/实时数据流采集框架 概念及原理介绍

技术背景由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。
章云邰·2021-11-13 16:38

Centos7虚拟机部署安装Hadoop集群

CentOS7安装Hadoop相关软件下载系统镜像/软件下载地址CentOS-7-x86_64-DVD-2009.iso下载链接jdk-8u202-linux-x64.tar.gz下载链接hadoop-
時計の針·2021-11-11 16:12

Apache Oozie怎么安装？

1.修改hadoop相关配置1.1配置httpfs服务修改hadoop的配置文件core-site.xmlhadoop.proxyuser.root.hosts*hadoop.proxyuser.root.groups
·2021-10-21 19:04

Hadoop相关笔记

HDFShadoopNameNode负责客户端请求的相应负责维护元数据文件的名称、副本数、Block存放的DataNode，接受DN的心跳包一个典型的架构是一个NN加上n个DN。当然一个机器上可以运行多个DN，但生产环境上不建议这样使用-NN决定副本的复制DataDode存储用户的文件的数据块Block定期向NameNode发送心跳信息，汇报本身及其所有的Block信息、健康状况不支持并发写HDF
我叫了了·2021-05-21 06:07

什么是Hadoop？你真的了解吗？

2011年的时候我们在百度搜索Hadoop相关的问题每天只有零星几个，2015年再去百度搜索Hadoop已经有800多万个问题，而如今已然已经过亿了，Hadoop已成为大数据必备的基础设施了。
·2021-03-22 14:53

什么是Hadoop？你真的了解吗？

2011年的时候我们在百度搜索Hadoop相关的问题每天只有零星几个，2015年再去百度搜索Hadoop已经有800多万个问题，而如今已然已经过亿了，Hadoop已成为大数据必备的基础设施了。
·2021-03-19 17:32

在飞腾+麒麟上安装hbase

bin.tar.gz二、安装安装前提：Java安装，hadoop安装，zk可以选择安装（本次安装教程自己安装了zookeeper）1)配置hbase-env.sh如下图：设置HBASE_CLASSPATH为hadoop
中国信创服务社区·2021-01-15 08:08

Hadoop02基础操作

Hadoop下几个重要的目录hadoop安装在/opt/module/文件夹下1、sbin目录：存放启动或停止hadoop相关服务的脚本2、bin目录：存放对hadoop相关服务（HDFS,YARN）进行操作的脚本
zyi·2020-11-23 14:13

Hadoop框架：单服务下伪分布式集群搭建

目录结构bin目录：存放对Hadoop的HDFS,YARN服务进行操作的脚本etc目录：Hadoop的相关配置文件目录lib目录：存放Hadoop的本地库，提供数据压缩解压缩能力sbin目录：存放启动或停止Hadoop
知了一笑·2020-10-09 13:43

IBM developerWorks上hadoop相关文章

1.使用Linux和Hadoop进行分布式计算(简介)http://www.ibm.com/developerworks/cn/linux/l-hadoop/2.用Hadoop进行分布式并行编程,第1部分http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/index.html用Hadoop进行分布式并行编程,第2部分http:
xuhaipeng·2020-09-17 09:07

Hadoop3.0基础平台搭建(三节点),以及案例运行并使用python生成词云

软件包二、主机名映射三、生成密钥四、将密钥发送到各个节点五、注意事项及验证六、关闭防火墙和SeLinux安全模块(所有主机均需操作七、解压JDK、hadoop包，设置Java和hadoop环境八、配置Hadoop
指剑·2020-09-17 08:43

Hadoop框架：单服务下伪分布式集群搭建

目录结构bin目录：存放对Hadoop的HDFS,YARN服务进行操作的脚本etc目录：Hadoop的相关配置文件目录lib目录：存放Hadoop的本地库，提供数据压缩解压缩能力sbin目录：存放启动或停止Hadoop
知了一笑·2020-09-16 17:44

Hadoop框架：单服务下伪分布式集群搭建

目录结构bin目录：存放对Hadoop的HDFS,YARN服务进行操作的脚本etc目录：Hadoop的相关配置文件目录lib目录：存放Hadoop的本地库，提供数据压缩解压缩能力sbin目录：存放启动或停止Hadoop
知了一笑·2020-09-16 17:00

大数据面试题及答案

Hadoop相关试题Hive相关试题1、hive表关联查询，如何解决数据倾斜的问题?
欧阳子卿·2020-09-16 07:35

Hadoop web页面的授权设定--转载

blog1一、相关概念在默认情况下，Hadoop相关的WEB页面（JobTracker,NameNode,TaskTrackersandDataNodes）是不需要什么权限验证就可以直接进入的，谁都可以查看到当前集群上有哪些作业在运行
zuoseve01·2020-09-16 04:25

【转】Hadoop web页面的授权设定

（http://www.iteblog.com/）本文链接地址:《Hadoopweb页面的授权设定》（http://www.iteblog.com/archives/988）一、相关概念在默认情况下，Hadoop
aoluochou3553·2020-09-16 01:08

ubuntu 12.04 安装 Cloudera Manager 4.8.2

Cloudera可以简化Hadoop的安装配置过程，自动在集群节点上安装hadoop相关组件，创建用户。
aliushuo·2020-09-15 16:13

Spark WordCount 两种运行方式

用Scala编写WordCount程序，在IDEA中可以通过（1）新建maven项目，在pom文件中引入Spark，Scala，Hadoop相关的依赖包来开发；（2）新建普通的Scala项目，然后将相关的
潇洒哥WH3·2020-09-14 21:49

HDFS新增节点与删除节点

准备工作:创建一台全新的虚拟机关闭防火墙修改主机名给IP起别名关闭selinuxssh免密登录将主节点的文件远程发送到本虚拟机：jdk，Hadoop相关文件，jdk和Hadoop配置文件等文章目录1.新增节点
潘书鹏的BigData·2020-09-14 16:16

大数据高频面试题-Hadoop相关总结

4.2Hadoop相关总结4.2.1Hadoop常用端口号4.2.2Hadoop配置文件以及简单的Hadoop集群搭建4.2.3HDFS读流程和写流程4.2.4MapReduce的Shuffle过程及Hadoop
Mr.WiG·2020-09-14 16:03

阿里云1G服务器玩转Spark——Swap与Memory

博主前一段时间买了1G的阿里云服务器，然后各种折腾下，Hadoop相关生态圈基本给搭建完毕，但用到Spark时候却遇到了重大问题，进程启动一切正常，但进入sparkshell客户端时候一直报OOM，到这怎么办
抽烟无火·2020-09-14 15:59

报错： fs.defaultFS is not set when running "mkdir" command.

执行hadoop相关命令的时候都会报错fs.defaultFSisnotsetwhenrunning“mkdir”command.错误原因：输入命令haddopfs-ls/发现该目录下的文件并不是hdfs
古城的风cll·2020-09-14 11:32

4、记录1----获取hdfs上FileSystem的方法 记录2：正则匹配路径：linux、hdfs

/***获取hadoop相关配置信息*@paramhadoopConfPath目前用户需要提供hadoop的配置文件路径*@return*/publicstaticConfigurationgetHadoopConfig
weixin_30466421·2020-09-14 01:55

查看hadoop相关版本的方法

1.查看Hadoop的版本：hadoop-version2.查看hive版本没有好办法，可以去hive目录下的lib文件夹下查看jar包的版本3.查看hbase版本方法：3.1直接用hbaseshell命令进入shell的时候就会显示版本号进入shell后#hbaseshellHBaseShell;enter'help'forlistofsupportedcommands.Type"exit"to
程序员成长史·2020-09-14 00:23

Hadoop安装包目录下几个比较重要的目录及其作用

1、sbin目录：存放启动或停止hadoop相关服务的脚本2、bin目录：存放对hadoop相关服务（HDFS,YARN）进行操作的脚本3、etc目录：hadoop的配置文件目录，存放hadoop的配置文件
nana-li·2020-09-13 22:06

linux 中hadoop相关命令学习

最近需要在hadoop上跑一些数据，顺便学习下hadoop相关的东西。
zhang_wenlue·2020-09-12 21:43

linux、Hadoop相关的常用东西总结

总结一下最近的工作，如下，且会不断更新：1、window远程登录linux、windows与linux共享文件资源1）下载软件SecureCRT或者putty（orpietty），可用来在windows远程登录（ssh1、ssh2）到linux服务器。SecureCRT和pietty各有优缺点，两个都用过，体会后的总结如下：pietty安装使用直接方便，不怎么需要配置，直接拿来用即可，且默认设置挺
玉心sober·2020-09-12 18:54

hadoop使用分布式操作出现报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform.

你需要重新修改native文件（不要嫌麻烦这个是最好的办法）1：进入网址：http://dl.bintray.com/sequenceiq/sequenceiq-bin/这里面有hadoop相关的版本信息
地球是我捏圆的丶·2020-09-12 11:07

hadoop相关认证

前言：关于Hadoop课程及认证证书的事，想着整理一下，可能觉得有用的。首先我所知道的在做Hadoop认证的有两家，Hortonworks跟Cloudera。因为工作的原因接触Cloudera比较多，所以就只能讲讲Cloudera的认证了。主要认证我只知道7门课：1、CCAH（ClouderaApacheHadoop管理员），2、CCDH（ClouderaApacheHadoop开发者），3、Cl
wandy0211·2020-09-12 08:41

Kettle构建Hadoop ETL实践（三）：Kettle对Hadoop的支持

目录一、Hadoop相关的步骤与作业项二、连接Hadoop1.连接Hadoop集群（1）开始前准备（2）配置步骤2.连接Hive3.连接Impala4.建立MySQL数据库连接三、导入导出Hadoop集群数据
wzy0623·2020-09-11 06:37

hadoop高可用集群环境搭建(ntp的时间同步配置+有zookeeper安装包，完整的高可用配置文件步骤)

hadoop高可用集群环境搭建1、ntp时间同步设置2、zokeeper安装配置3、hadoop相关文件配置4、
Mr_Bright·2020-09-09 20:06

大数据（MapReduce编程，maven部署，及其ResourceManager的高可用HA）

####大数据课程第四天Hadoop相关的配置信息core#基础通用配置内容1.namenode总入口2.临时目录hdfs#hdfs相关内容的配置1.权限2.副本3.HA高可用mapred#mapreduce
di917348·2020-08-25 16:51

回顾——MapReduce计算模型

与Hadoop相关的框架如Hive，Hbase，sqoop等其内部计算都是
黑箭·2020-08-24 20:06

Hadoop相关知识整理系列之一：HBase基本架构及原理

1.HBase框架简单介绍HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列，一个或多个列组成一个ColumnFamily，一个Fmaily下的列位于一个HFile中，
weixin_30950237·2020-08-24 17:04

普通用户实现ssh无密码登录

否则AgentadmittedfailuretosignusingthekeyPS:hadoop安装配置要在普通用户下进行，root启动不了hadoop相关进程
zzhqun·2020-08-23 22:32

本地+分布式Hadoop完整搭建过程

被誉为是改变世界的7个Java项目之一（剩下6个是Junit、Eclipse、Spring、Solr、HudsonAndJenkins、Android），本篇文章以Hadoop3.3.0官方文档为基础，首先会介绍Hadoop
氷泠·2020-08-23 11:20

hadoop

useradd-u1000hadoop[root@server1~]#passwdhadoophadoop的安装配置##切换到hadoop用户解压安装包Hadoop是Java开发的，因此需要在服务器上安装相对应的jdk将hadoop
啾咪嘻啾咪·2020-08-23 09:10

本地+分布式Hadoop完整搭建过程

被誉为是改变世界的7个Java项目之一（剩下6个是Junit、Eclipse、Spring、Solr、HudsonAndJenkins、Android），本篇文章以Hadoop3.3.0官方文档为基础，首先会介绍Hadoop
氷泠·2020-08-23 09:46

hadoop相关疑点问题

块大小的设置问题https://blog.csdn.net/jzero_2008/article/details/80574101HDFSdatanode心跳机制https://www.cnblogs.com/huaxiaoyao/p/6396273.htmlHDFS的写，读，检查点https://www.sohu.com/a/300240640_315839https://www.jianshu
高级大数据工程师·2020-08-23 03:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他