Hadoop-自学日记

【Hadoop】HBase组件配置

HBase实验步骤：需要在Hadoop-全分布式配置的基础上进行配置1、配置时间同步（所有节点）[root@master~]#yum-yinstallchrony[root@master~]#vi/etc
王智刚·2022-04-16 14:00

Hadoop-Hive组件部署

1、Hadoop-全分布式配置（全部配置）2、Hadoop-集群运行（部分配置）#查看之前部署的环境[root@master~]#su-hadoop[
王智刚·2022-04-09 11:00

Hadoop-集群运行

目录步骤一、NameNode格式化步骤二、启动NameNode步骤三、启动SecondaryNameNode步骤四、slave启动DataNode步骤五、查看HDFS的报告步骤六、浏览器查看节点状态步骤七、配置免密登录步骤八、启动dfs和yarn步骤九、运行WordCount测试步骤十、停止Hadoop前提：需要在上节Hadoop文件参数配置的基础上完成步骤一、NameNode格式化第一次启动HD
王智刚·2022-04-04 16:00

Hadoop-全分布式配置

目录一、配置基础环境1、配置网络信息2、配置主机名3、主机名与IP的映射关系4、测试互通性二、关闭防火墙和SELinux1、关闭防火墙2、关闭SELinux三、安装Hadoop1、解压hadoop和jdk安装包2、重命名为hadoop和jdk3、配置Hadoop环境变量4、使环境变量生效5、修改hadoop-env.sh配置文件四、配置hdfs-site.xml文件hdfs-site.xml配置文
王智刚·2022-03-26 11:00

hadoop-初识六（YARN）

参考博客（理解HadoopYARN架构-CSDN博客）1、YARN介绍YARN（YetAnotherResourceNegotiator）是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。其核心出发点是为了分离资源管理与作业调度/监控，实现分离的做法是拥有一个全局的资源管理器（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMast
刘子栋·2022-02-19 08:29

Python自学日记（一）：Easygui安装配置与图形用户界面（10.09）

一、Easygui下载安装1、easygui的下载easygui下载地址：https://sourceforge.net/projects/easygui/files/选择最新的版本下载。2、easygui的安装首先把Python添加到系统路径中，添加方法为：鼠标右键我的电脑->属性->高级系统设置->环境变量在系统变量中找到Path，点击“编辑”选择“新建”找到安装Python的文件夹，我的电脑
catchcatpath·2022-02-05 14:03

Hadoop实战篇-集群版（2）

Hadoop实战篇（2）作者|WenasWei前言在上一篇的Hadoop实战篇介绍过了Hadoop-离线批处理技术的本地模式和伪集群模式安装，接下来继续学习Hadoop集群模式安装;将从以下几点介绍:Linux
·2021-11-18 18:15

Hadoop生产调优手册

在hadoop-
song_quan_·2021-10-27 11:15

Hadoop-群起脚本

[server@hadoop102bin]$pwd/home/server/bin#!/bin/bashif[$#-lt1]thenechoNoArgumentInput!exit;ficase$1in"start")echo"=================启动Hadoop集群========================"echo"------------------启动hdfs-----
ssttIsme·2021-08-03 16:46

Hadoop系列

HadoopHadoop-集群安装Hadoop-集群安装（高可用）HDFSHDFS-文件越来越多怎么办HDFS-HDFS的四个角色HDFS-NameNode的高可用HDFS-安全模式是什么HDFS-NameNode
·2021-07-27 19:09

HDFS - NameNode的高可用

Hadoop的高可用是通过zookeeper来实现的，Hadoop-集群安装（高可用），这篇文章也提到了zookeeper的作用，实际上对于大数据的各个组件来说，很多高可用都是通过zookeeper来做的
·2021-07-27 19:38

【hadoop-部署】Hadoop2.x HA集群搭建

一、安装环境准备操作系统：centos7三台主机hdc-data4：192.168.163.54hdc-data5：192.168.163.55hdc-data6：192.168.163.56【安装环境准备每台集群机器一样的操作，或者使用scp远程拷贝】0、创建新的虚拟机【可选】根据安装向导创建一台虚拟机主机(其他主机使用克隆)。然后配置静态ip和主机名。重启网络服务。step1:配置IPvi/e
粮忆雨·2021-06-24 20:19

HDFS - NameNode的高可用

Hadoop的高可用是通过zookeeper来实现的，Hadoop-集群安装（高可用），这篇文章也提到了zookeeper的作用，实际上对于大数据的各个组件来说，很多高可用都是通过zookeeper来做的
·2021-06-18 22:15

Hadoop实战篇（1）

Hadoop实战篇（1）作者|WenasWei前言在前面介绍过了Hadoop-离线批处理技术的整体架构，接下来便开始学习安装配置并使用Hadoop;将从以下几点介绍:Linux环境的配置与安装HadoopHadoop
·2021-06-18 22:24

Hadoop-入门篇环境搭建（二）

转载请注明原文出处YUM配置+安装ntp+java安装阿牛的资料下载Hadoop-入门篇环境搭建（一）Hadoop-入门篇环境搭建（二）Hadoop-入门篇环境搭建（三）Hadoop-入门篇环境搭建（四
铁拳阿牛·2021-05-13 04:20

Python 自学日记 第一课，简介与安装

随着人工智能的发展，Python这个语言也越来越火，好多同学，朋友都在问我如何自学Python，思虑再三，决定将自己自学Python的经验分享出来，本教程完全以一个小白的角度开始写，力求做到用最简单的语言，让所有人都能看懂，学会。第一篇，肯定是先教大家如何安装，配置好Python的环境，。Python的官网在https://www.python.org/可能需要翻墙才能快一点image.png直接
喵帕斯_大萝卜鸡·2021-03-23 10:38

hadoop配置文件详解系列（一）-core-site.xml篇

hadoop.tmp.dir/tmp/hadoop-${user.na
码说AI·2021-03-09 09:36

自学日记

20.7.7Linuxcentos开机执行JARShell脚本docker启动centos镜像20.7.8docker容器无法联网：systemctlrestartdocker.service吐槽：配置五小时，业务三分钟docker容器ssh连接*注意文章创建容器的方法不行，正解：dockerrun-d-namecentos7--privileged=truecentos:7/usr/sbin/i
奥李guy·2020-11-25 10:46

本文将大数据学习门槛降到了地平线

Hadoop介绍Hadoop-大数据开源世界的亚当夏娃。核心是HDFS数据存储系统，和MapReduce分布式计算框架。
从删库到跑路·2020-11-14 22:46

本文将大数据学习门槛降到了地平线

Hadoop介绍Hadoop-大数据开源世界的亚当夏娃。核心是HDFS数据存储系统，和MapReduce分布式计算框架。
从删库到跑路·2020-11-13 11:10

hadoop环境搭建

tinygao2SlaveDataNodeNodeManager/data/program/hadoop-2.8.0/tinygao3SlaveDataNodeNodeManager/data/program/hadoop
hello高world·2020-10-11 16:48

Hadoop-文件put的过程

主要通过日志分析文件put的过程。操作命令：hadoopfs-puttest/NameNode日志：2018-12-2422:20:52,051INFOorg.apache.hadoop.hdfs.StateChange:BLOCK*allocateblk_1073741828_1004,replicas=192.168.228.130:9866for/test._COPYING_2018-12-
Let_Just_Do_it·2020-09-19 21:45

org.apache.hadoop.security.AccessControlException 解决办法

org.apache.hadoop.security.AccessControlException:Permissiondenied:user=dbs,access=WRITE,inode="/opt/hadoop
oO寒枫Oo·2020-09-16 15:52

hadoop修改默认的文件存储路径

在自建用户下创建文件夹tmp例如：/home/dragon/tmp修改core-site.xml文件【存放在hadoop的安装路径/etc/hadoop】hadoop.tmp.dir/home/dragon/tmp/hadoop
Geek白先生·2020-09-16 00:10

Hadoop2.7.7 API: core-site.xml 解析

/tmp/hadoop-${user.name}io.native.lib.available是否使用本地库进行bz2和zlib的文件压缩及编解码。TRUEhadoop.http.filte
张伯毅·2020-09-15 18:48

【Android自学日记】搭建Android开发环境

搭建Android应用开发环境所需工具1_>JDK(JAVADevelopment)推荐使用6.0以后版本配置环境变量（以下是环境变量的具体内容及介绍）======================================================1.下载AndroidStudio：点此进入Android中文社区下载AS第一次建议下载包含SDK版本，省去再去下载SDK的麻烦，若电脑中已
weixin_30572613·2020-09-14 16:42

Hadoop--HDFS数据存放路径

{hadoop.tmp.dir}:/tmp/hadoop-${user.name}修改路径到当前用户目录下：【/home/hyxy/tmp/hadoop】注意：理解格式化的含义{创建/home/hyxy
赵小雨呀~·2020-09-14 01:35

hadoop-朴素贝叶斯算法的简单实现

文章转自：https://blog.csdn.net/Angelababy_huan/article/details/53046151贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。以下为一个简单的例子：数据:天气情况和每天是否踢足球的记录表日期踢足球天气温度湿度风速1号否(0)晴天(0)热(0)高
唐家威少·2020-09-13 14:41

hadoop客户端远程调用yarnwindow和Linux版本安装

2.2、在系统环境变量里面的系统设置，添加HADOOP_HOME，路径是你解压hadoop-
ly8951677·2020-09-10 15:55

windows 7安装Hadoop 2.9.2

downloadhttp://apache.mirrors.hoobly.com/hadoop/common下选择想要下载的hadoop版本下载hadoop-****.tar.gz，不要下载源码版然后解压到任意目录替换源包任意目录
oneslide·2020-08-26 23:10

Hadoop-解决NameNode启动后秒挂的问题（多次格式化造成元数据不统一）

直奔主题：hadoop集群启动后，namenode一开始有，但是过一会就没了，大概率是因为元数据不统一的问题。这里只是一种可能性，不排除有其他配置原因为什么会造成元数据不统一，最常见的是你NameNode多次格式化了。举个例子：如果你的Hadoop集群只格式化了一次，即正常情况下，看下NameNode和DataNode的元数据Id值：如果你多次格式化了，那么就会造成元数据的不统一，如查看下日志解决
Zong_0915·2020-08-24 07:06

Hadoop-提高性能（调优）方法

1.通过combiner来减少网络的流量Combiner可以减少在map和reduce阶段之间的数据量，较低的数据传输量可以较好的较少运行时间。2减少输入数据量这个有点牵强，但是对于有某些分布特征的数据来说可以通过采样的方式进行输入数据缩减。对于某些分析应用而言，这是一个可行的选择，抽样降低到的是精度，而不是准确性。3使用压缩即使在map和reduce之间使用了Combiner,在map阶段的输出
hyy_blue·2020-08-24 00:57

hadoop-集群安装&配置

hadoop集群安装&配置修改配置文件配置文件都在hadoop-2.6.5/etc/下实际上所有的配置都可以写在任一文件中,分文件只是为了区分模块.hadoop-env.sh加入JAVA_HOME,这是远程启动集群用的.core-site.xmlfs.defaultFShdfs://ubuntu:9000hadoop.tmp.dir/home/zb/hadop/tmphdfs-site.xml这个
持而盈·2020-08-23 20:33

Centos6.9离线安装CDH5.13.1

、软件准备centos6.9jdk1.8mysql5.6cm-5.13.1cdh-5.13.1spark2.2二、网络配置（所有节点）修改/etc/sysconfig/network文件，设置主机名为hadoop
Just小布·2020-08-22 22:51

Hbase启动命令以及错误处理

三个节点，Master，Slave1和Slave2节点，用的是自己安装的zookeeper-3.4.6，hbase版本为：hbase-0.98.6-hadoop2，hadoop-2.6.0.1.启动顺序Hadoop
一只小飞狐·2020-08-22 16:06

Spark系统与开发--2019-- zzti---期末考试

一、选择题（30分，每题1分）1)从发展先后顺序上讲，以下次序不正确的是（）A)Hadoop->H
风逍遥-·2020-08-21 22:38

HADOOP-运维命令

hdfsdfsadmin-report//打印info与工作状态hdfsdfsadmin-safemodeleave//退出安全模式hdfsdfs-putfile///从宿主传文件至hdfshdfsdfs-ls///listhdfs/目录hadoopdistcp-ihftp://192.168.40.181:50070/data/hbase/tmp/hbase/data/default/t1hdf
发热安啃·2020-08-20 17:48

HADOOP-运维命令

hdfsdfsadmin-report//打印info与工作状态hdfsdfsadmin-safemodeleave//退出安全模式hdfsdfs-putfile///从宿主传文件至hdfshdfsdfs-ls///listhdfs/目录hadoopdistcp-ihftp://192.168.40.181:50070/data/hbase/tmp/hbase/data/default/t1hdf
发热安啃·2020-08-20 17:48

Hadoop-利用java API操作HDFS文件

这段时间学习了python和hadoop，主要用于数据处理方面，因此打算写几篇这方面的博客。不过不是我的原创，我也是利用前辈的工作展示给大家。把自己学到的东西，也是比较初级的东西展示给需要的同学。首先说一说hadoop的安装和配置。这里我不打算把怎么配置怎么安装一步一步的说，我这里给出一些资料和视频，大家可以下载下来，视频里面详细讲述了如何安装和配置hadoop。链接:http://pan.bai
龙吟在天·2020-08-20 14:40

学习Hadoop时遇到的问题以及解决方法

原因：namenode的存储路径是在/tmp/hadoop-**,所以系统在关闭之后都会清除掉这里面的数据。解决：修改namenode的默认存储路
蜗牛爱上星星·2020-08-19 10:48

CentOS6.4下伪分布式安装Hadoop-1.2.1

hadoop-env.shexportJAVA_HOME=/usr/java/jdk1.7.0_452.core-site.xmlhadoop.tmp.dir/home/luffy/Development/hadoop
weixin_34384557·2020-08-19 05:52

hadoop面试题整理(一)

3)配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4)设置ssh免密码登录5)解压缩hadoop安装包，并配置环境变量6)修改配置文件（$HADOOP_HOME/conf）hadoop
zdp072·2020-08-16 17:17

Hadoop Eclipse插件编译

.添加工程在Eclipse中Import导入已有的工程目录：hadoop-0.20.2-cdh3u6\src\contrib\eclipse-plugin\2.添加build-contrib.xml把hadoop
yanebupt·2020-08-14 22:57

Hive 内嵌模式安装指导

安装环境介绍1.1相关组件版本组件版本说明组件名称版本号备注Ubuntu16.0664-bitHadoophadoop-2.5.2包括HDFS、YARNHivehive-1.2.1N/A1.2安装顺序Hadoop
汀桦坞·2020-08-14 21:23

Hadoop-将python代码运行在hadoop上

copylocalexampledatatohdfsbin/hadoopdfs-copyFromLocal/opt/tmp/user/hduser/gutenberg3.开始运行bin/hadoopjarcontrib/streaming/hadoop
qingwuh·2020-08-14 13:03

kylin使用出现的坑(二)——FileNotFoundException:../capacity-scheduler/*.jar(没有文件或目录)

，如下图：想起来kylin是依靠Tomcat运行的，于是在Tomcat的logs文件夹下找到日志，发现是下面这个错：java.io.FileNotFoundException:/usr/hadoop/hadoop
夏天小厨·2020-08-14 01:55

hbase的export与import工具

mapreduce来完成这件事，需要在hbase的conf中添加mapred-site.xml：mapred.job.tracker192.168.0.1:9001hadoop.tmp.dir/tmp/hadoop
koven2049·2020-08-13 15:53

IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: 权限不够

Yarn阿报错错误日志如下：解决方案：logintherelatednodeserver,checkthepermissionandownershipofthosedirectories/var/lib/hadoop
阿文awen·2020-08-11 22:45

HADOOP编译WordCount.java文件报错

[root@node4hadoop]#javac-classpath${HADOOP_HOME}/hadoop-${HADOOP_VERSION}-core.jar-dwordcount_classesWordCount.javaWordCount.java
hanwenshan123·2020-08-11 21:25

CentOS6安装Hadoop-3.3.0

/将tar包上传到虚拟机tar-zxvfhadoop-3.3.0.tar.gz-C/new/software/cd/new/software/hadoop-3.3.0/cd/new/software/hadoop
丿灬单眼皮·2020-08-09 04:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他