haddop

基于Rsyslog+Kafka+Flink+Clickhouse的高性能日志采集、分析、汇聚存储方法

用户端精确埋点和基于Haddop的大数据采
IT 行者·2023-12-30 05:02

第一步：hadoop安装基础环境

2.安装linux安装了5台linux服务器centos准备搭建haddop环境唯一需要配置的就是网络。用nat宿主这种方式。
微生命·2023-12-17 05:37

Haddop,HDFS和MapDeduce简单理论

HadoopHadoop1Hadoop2HDFS3.MapDeduceHadoop1Hadoop开源的分布式存储+分布式计算平台核心组件：HDFS：分布式文件系统，存储海量数据。MapReduce：并行处理框架，实现任务分解和调度。搭建大型数据仓库，PB级数据的存储，处理，分析，统计等业务。优势：高扩展，低成本，成熟的生态圈。hive：将sql语句转成hadoop任务去执行，降低hadoop的门槛
杰KaMi·2023-11-07 06:25

hadoop操作出现：9000 failed on connection exception java.net.ConnectException拒绝访问（已解决）

准备查看haddop上的文件，输入：hadoopfs-ls/出现了：ls:CallFromyx/127.0.1.1to0.0.0.0:9000failedonconnectionexception:java.net.ConnectException
begefefsef·2023-11-05 23:02

Ubuntu18安装Hadoop，zookeeper，hbase--记录

安装的版本如上:三台电脑都需要统一安装首先安装hadoop下载：Indexof/dist/hadoop/common/hadoop-2.7.7上传文件，并解压cd到haddop目标，创建目录Haddop
嘟嘟Listing·2023-11-04 09:33

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）

Hadoop3.0快速入门学习步骤：三大组件的基本理论和实际操作Hadoop3的使用，实际开发流程结合具体问题，提供排查思路开发技术栈：Linux基础操作、Sehll脚本基础JavaSE、Idea操作MySQLHadoop简介Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、MapReduce、BigTable实现的。分布式存储介绍分布式计算介绍移动数据：数据-
Huathy-雨落江南，浮生若梦·2023-10-26 07:02

Antlr4 快速入门 - 编写语法解析器

Antlr全称(ANotherToolforLanguageRecognition)，Antlr4是一款强大的语法分析器生成工具，推特，Haddop，Oracle等各大知名公司在用到了Antlr来构建自己的语言处理类项目
JAVA序码·2023-10-15 05:52

自学Hadoop的血泪史

系统：centos7环境：jdk1.8.0_144hadoop-2.6.4位置：/root/hjlBigData/haddop/hadoop-2.6.4/映射ip:192.168.0.7主机名：Master
coderFamer·2023-08-07 01:43

[最新安全稳定，自带haddop生态]Hadoop伪分布式ubuntu虚拟镜像

前言：Hadoop免配置最新ubuntu22.04稳定镜像，自带hadoop应用与破解pycharm版本查看：ubuntu22.04hadoop2.7.6hive2.3.6spark3.0.0pycharm20.3.41.介绍相信很多人在初入大数据框架学习的时候都被其复杂的环境配置所困扰，网上配置教程千奇百怪，很多人直接倒在了数据分析师的第一步了。网上现有的教学用的大数据开发环境镜像主要有林子雨老
yasuo626·2023-08-05 01:34

Haddop入门架构图解

Hadoop项目的四个模块hadoopcommon(为其他hadoop模块提供基础设施)hdfs（一个高可靠，高吞吐量的分布式文件系统）mapreduce（一个分布式离线的并行计算框架）yarn（任务调度和资源管理）HDFS系统架构图服务功能介绍Namenode：主节点，存储文件的元数据（文件名，目录结构，属性，块列表，块所在的datanode）Datanode：本地文件系统中存储文件块数据，以及
小东西的东西·2023-07-17 01:13

centos7搭建hadoop

前言hadoop是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此学习和掌握hadoop对学习大数据很有必要haddop常用的3种运行模式包括：本地模式，单机运行，只是用来演示一下官方案例
小码农叔叔·2023-03-28 20:32

Haddop：Mapreduce

Hadoop的核心思想之一是mapreduce（分布式计算框架）Compute：计算层（处理层）HDFS：分治一、What?什么是MR1、过滤性别为0的循环处理每行记录，切割性别列，进行过滤2、转换码值为字典值readline，切割性别列，进行转换3、展开字段为复合值readline，切割性别列，进行转换简单概括：MAP：以一条记录为单位做映射。REDUCE：以一组记录为单位做计算。什么叫一组？分
惊不意外·2023-01-26 05:22

字节面经（已成功了）

A：我研一准备走大数据方向，就是haddop，sp
70pice·2023-01-22 23:33

HDFS集成Kerberos并使用Python调用

搭建HDFS、kerberos环境目录1.安装Hadoop环境2.安装kerberos3.HDFS集成kerberos4.启动集群一、安装Haddop环境1.集群机器列表192.168.2.2192.168.0.2
陈仙女歪歪技术分享·2023-01-14 20:11

hadoop操作出现：9000 failed on connection exception: java.net.ConnectException:拒绝访问（已解决）

准备查看haddop上的文件，输入：hadoopfs-ls/出现了：ls:CallFromyx/127.0.1.1to0.0.0.0:9000failedonconnectionexception:java.net.ConnectException
风吹我亦散·2022-11-21 11:10

CentOS7搭建Hadoop集群的详细操作流程

CentOS7搭建Hadoop集群的详细操作流程一、准备工作若还没安装虚拟机可参考：VMVMware14虚拟机安装程没安装CentOS的可参考：LinuxCentOS安装教程Haddop的下载可以到https
小嗯子·2022-05-27 08:16

haddop安装以及配置环境

第一次将笔记部署在上,因为这次的部署心得体会比较深刻.仅作为自己的参考一.基本配置:1.jdk安装安装依赖yum-yinstallgccopenssl-develpcre-develzlib-develtar-zxvfjdk-8u60-linux-x64.tar.gzvimetc/profile一定要加在文件的末尾exportJAVA_HOME="/opt/jdk1.7.0_80"exportPA
岚亦水·2021-06-25 09:11

列式存储格式之parquet读写

网上许多写入parquet需要在本地安装haddop环境，下面介绍一种不需要安装haddop即可写入parquet文件的方式，以及通过两种方式来读取parquet文件。
每天搬砖小伙子·2021-01-01 18:11

列式存储格式之parquet读写

网上许多写入parquet需要在本地安装haddop环境，下面介绍一种不需要安装haddop即可写入parquet文件的方式，以及通过两种方式来读取parquet文件。
每天搬砖小伙子·2021-01-01 18:57

haddop从单机改为集群

Host配置vim/etc/hosts如果没有足够的权限，可以切换用户为root。三台机器的内容统一增加以下host配置：可以通过hostname来修改服务器名称为master、slave1、slave2192.168.71.242master192.168.71.212slave1192.168.71.213slave2配置SSH无密码登录设置ssh免密码登录ssh-keygen-tdsa-P'
yypiao·2020-09-14 12:40

告诉你Hadoop是什么

实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop
zzhays·2020-09-11 20:30

haddop shuffle最详细的解释

最近一直在做mapreduce相关的产品，对mr的过程，也是通过一些帖子获知的，感觉，这篇帖子，讲述了shuffle的流程，简单易懂，又详细，值得推荐。感谢腾讯共享出了如此通俗易懂的关于shuffle的资料。腾讯加油。摘要：本文对Shuffle过程进行解析，并对两个计算引擎的Shuffle过程进行比较。TDW计算引擎包括两部分：一个是偏离线的MapReduce，一个是偏实时的Spark，两者内部都
薄荷微光少年梦·2020-09-11 00:53

alluxio简单使用

2、功能简介灵活的API兼容Haddop的HDFS文件
爪哇者·2020-08-15 07:02

Kerberos

Database（zhangsan/supergrouphdfs/haddop1）AS:Authen
爪哇者·2020-08-15 06:57

ubantu上安装hadoop（详细版）

步骤2–为Haddop创建用户我们建议为Hadoop工作创建一个普通（或根）帐户。使用以下命令创建帐户。
北朽暖栀24·2020-08-13 22:26

Ubuntu搭建Hadoop集群的详细操作流程

Ubuntu搭建Hadoop集群的详细操作流程一、准备工作若还没安装虚拟机可参考：VMVMware14虚拟机安装程没安装Ubuntu的可参考：Ubuntu的安装教程Haddop的下载可以到https:/
小嗯子·2020-08-07 21:52

Execution Error,return code 2 from org.apache.haddop.hive.ql.exec.mr.MapRedTask解决办法

insertoverwritetableXX1.建表后修改过表结构（增删字段等）后，重新加载数据时报returncode2错，元数据和数据文件不匹配导致解决办法：重建一张新表；2.解决办法：修改表结构时加cascade3.若排查定位是内存不足，则到资源充足的库新建表4.分区错误，比如insertoverwritetableapp.app_ea_fad_midsmall_tc_all_costbas
chongjiapi1753·2020-07-30 19:37

Hive配置+haddop为底层存储系统+远程mysql+简单的hive数据操作（详细哦）

Hive配置+haddop为底层存储系统+远程mysql+简单的hive数据操作说明：关于hadoop集群、habse集群配置可参考我的前三篇博客。
洲洲的第二人生·2020-07-15 00:19

hadoop3.2.1完全分布式集群安装

版本：Centos7Haddop3.2.1JDK1.8装备工作：在安装前先要确保三台服务器之间能够ping通，已经安装了jdk，主机名的设置以及hosts文件的修改（ip和主机名映射关系），还有各主机的免密登录以及关闭防火墙
zzqit·2020-07-12 21:57

MAC上配置haddop+Hbase开发环境

写在前面：这里需要知道的是，我们想要使用Hbase，那么就一定要先安装hadoop，同时我们需要保证我们的电脑上存在JDK，一般情况下建议大家安装jdk1.7或jdk1.81.安装jdk1.7或jdk1.8因为本机已经安装了jdk1.8，所以这里不再赘述。这里建议：修改主机名为localhost：>sudoscutil--setHostNamelocalhost2.配置ssh连接配置ssh连接主要
程序媛Monica·2020-07-11 07:09

Hadoop1.X 与 Hadoop2.X区别及改进

一：Haddop版本介绍0.20.x版本最后演化成了现在的1.0.x版本0.23.x版本最后演化成了现在的2.x版本hadoop1.0指的是1.x(0.20.x),0.21,0.22hadoop2.0指的是
weixin_30776545·2020-07-08 14:41

同步es数据到hive,处理es中嵌套结构

对应hive使用string类型,将es中的嵌套结构看作一个jsonstring当es的mapping动态的变化时,尤其嵌套结构也动态变化时,使用第二种方式,将无须关心嵌套结构的变化技术方案:使用es-haddop
登徒梦·2020-07-08 11:30

内存小于16GG搭建Hadoop集群的一些个人观点

个人有如下一些想法，分享给大家：1、使用apache原生的hadoop来搭建集群，除了配置繁琐之外，还可能会有很多版本兼容性的问题(这很是头疼的问题)，当然在一些组件的官网有明确的版本依赖性说明，搭建haddop
紧到长卜帅·2020-06-27 00:43

认识Hadoop

简单介绍Hadoop的来历的，名字由来Hadoop不是缩写，这个词是造出来的，Haddop之父DougCutting孩子给毛绒象玩具取的名字Hadoop是一个分布式系统基础架构，在用户不了解底层细节的情况下
Chenchen-·2020-06-26 21:12

Missing artifact jdk.tools:jdk.tools:jar:1.8的解决方法

使用ScalaIDEbuildofEclipseSDK创建了一个Hadoop的MVEN开发工程之后，引入了相关的依赖包org.apache.hadoophadoop-common${haddop.version
see_you_see_me·2020-06-26 08:08

02_在window环境开发hadoop_HDFS

）1.1.导入jar包i.解压hadoop安装包ii.导入/share/hadoop/common/Hadoop-common-2.8.5.jar以及依赖包lib下全部jariii.导入/share/haddop
会摄影的程序员·2020-06-25 15:35

HDFS文件在线编辑的实现思路

允许携带一些参数完成特殊的需求：上传文件hdfsdfs-put在文件中追加hdfsdfs-appendToFile强制更新hdfsdfs-put-f首先上传了一个文件到HDFS上：hdfsdfs-puttest1File/haddop
kill -9·2020-04-29 11:30

ubuntu搭建hadoop环境

oracleopenjdkppasourcesudoadd-apt-repositoryppa:openjdk-r/ppasudoapt-getupdatesudoapt-getinstallopenjdk-8-jdk安装jdk.png2.创建haddop
Jlan·2020-04-08 16:26

haddop3.2.1完全分布式安装

目录集群规划hdfs结构分析配置hosts文件普通用户ssh免密管理生成公私密钥对对自己实现无密登录，添加公钥到认证库修改authorized_keys权限为755登录测试使用ssh-copy-id复制当前用户的公钥到远程主机指定用户的认证库中root用户ssh免密管理生成公私密钥对对自己实现无密登录，添加公钥到认证库修改authorized_keys权限为755登录测试使用ssh-copy-id
anyux·2019-12-09 20:00

Haddop完全分布式集群搭建

hadoop完全分布式搭建建议（遇到的坑）：如果自己用的操作系统就是linux，我本身是deepin系统，装了两台虚拟机，结果，用户名没有配置，导致启动不了，因为hadoop的master节点启动的时候，默认slave的用户名为master机器的用户名。所以，要保证三台机器，用户名是一致的！！windows下的调试MapReduce程序会有点不方面，需要装winutils。建议在一台上搭建完整（包
mussessein·2019-09-27 17:00

hadoop是什么语言

实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop
·2019-09-22 23:38

Hadoop于VMware下配置----Ubuntu18.04（多主机Hadoop集群）

一、环境准备请看上一篇Hadoop于VMware下配置----------Ubuntu18.04（单主机Hadoop环境），该篇将在上一篇的基础上介绍如何安装多台机器的Haddop集群，以及Hadoop
没有刺的仙人掌·2019-01-16 15:09

Missing artifact jdk.tools:jdk.tools:jar:1.8的解决方法

使用ScalaIDEbuildofEclipseSDK创建了一个Hadoop的MVEN开发工程之后，引入了相关的依赖包org.apache.hadoophadoop-common${haddop.version
锐湃·2018-08-10 00:07

同步es数据到hive,处理es中嵌套结构

对应hive使用string类型,将es中的嵌套结构看作一个jsonstring当es的mapping动态的变化时,尤其嵌套结构也动态变化时,使用第二种方式,将无须关心嵌套结构的变化技术方案:使用es-haddop
登徒梦·2018-07-16 19:35

MAC上配置haddop+Hbase开发环境

写在前面：这里需要知道的是，我们想要使用Hbase，那么就一定要先安装hadoop，同时我们需要保证我们的电脑上存在JDK，一般情况下建议大家安装jdk1.7或jdk1.81.安装jdk1.7或jdk1.8因为本机已经安装了jdk1.8，所以这里不再赘述。这里建议：修改主机名为localhost：>sudoscutil--setHostNamelocalhost2.配置ssh连接配置ssh连接主要
晶心·2018-03-21 17:37

haddop从单机改为集群

阅读更多Host配置vim/etc/hosts如果没有足够的权限，可以切换用户为root。三台机器的内容统一增加以下host配置：可以通过hostname来修改服务器名称为master、slave1、slave2192.168.71.242master192.168.71.212slave1192.168.71.213slave2配置SSH无密码登录设置ssh免密码登录ssh-keygen-tds
yypiao·2017-11-10 16:00

Hadoop日记——Hadoop2.x介绍

Haddop2.x在1.x基础上做了很多的改进，主要增加和改进了4个部分：HA，Federation，YARN，MapReduceOnYARN1.HAHadoop中的NameNode好比是人的心脏，绝对不可以停止工作
饥渴计科极客杰铿·2017-06-25 15:13

Hadoop日记——Hadoop2.x介绍

Haddop2.x在1.x基础上做了很多的改进，主要增加和改进了4个部分：HA，Federation，YARN，MapReduceOnYARN1.HAHadoop中的NameNode好比是人的心脏，绝对不可以停止工作
饥渴计科极客杰铿·2017-06-25 15:13

Hadoop1.X 与 Hadoop2.X区别及改进

一：Haddop版本介绍0.20.x版本最后演化成了现在的1.0.x版本0.23.x版本最后演化成了现在的2.x版本hadoop1.0指的是1.x(0.20.x),0.21,0.22hadoop2.0指的是
c929833623lvcha·2017-06-13 09:00

Hadop_HDF分布式布置

版本haddop2.8.0ubuntu16server64jdk1.8网络配置测试网络中有三台虚拟机。一台为NameNode，另两台为DataNode。
dreamcs·2017-05-02 10:36
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他