hadoop；hdfs

Hadoop集群部署

目录1模板虚拟机环境准备1.1修改网卡配置文件扩展1.2修改主机名1.3在虚拟机中需要的基础文件包1.4关闭防火墙1.5创建Hadoop的账户及文件2模板虚拟机安装JDK3模板虚拟机安装Hadoop4克隆虚拟机
程序员储物箱·2023-12-26 12:23

Windows搭建HDFS 2.6.0(附加搭建Hadoop)

1.环境操作系统:Windows7JDK版本:1.8.0_221Hadoop版本:2.6.02.下载Hadoop官网下载image.pngimage.png3.前期准备3.1.配置JAVA环境变量image.pngimage.png4
夹胡碰·2023-12-26 11:20

Hadoop基础操作（学习笔记二）

本笔记按照以下四步进行：1、查看hadoop集群的基本信息http://master:50070/HDFS监控服务http://master:8088/cluster/nodes集群的计算资源信息http
Mecury_·2023-12-26 10:32

六：Spark集群安装和部署

我的系统配置:(1)安装一个虚拟机：三个ubuntu16.04系统；(2)Master节点：内存分配2g；Slave1节点：内存分配512MB；Slave2节点：内存分配512MB；2.安装路径：(1)Hadoop2.6.5
玉成226·2023-12-26 10:21

大数据Spark实战高手之路职业学习路线图

从零起步，分阶段无任何障碍逐步掌握大数据统一计算平台Spark，从Spark框架编写和开发语言Scala开始，到Spark企业级开发，再到Spark框架源码解析、Spark与Hadoop的融合、商业案例和企业面试
smileyboy2009·2023-12-26 10:56

hadoop3.0x 后要比spark快10倍！

Apachehadoop项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce基于内存+io+磁盘，共同处理数据其实最大改变的是hdfs,hdfs通过最近black块计算，根据最近计算原则
smileyboy2009·2023-12-26 10:56

Iceberg1.4.2 java 表管理（DDL和DML）操作

既然是一种开放的表管理格式，那就不应该依赖hadoop，hive，spark，flink
smileyboy2009·2023-12-26 10:26

Hive02_基本使用，常用命令

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
程序喵猴·2023-12-26 08:39

Hive04_DDL操作

HiveDDL操作1DDL数据定义1.1创建数据库CREATEDATABASE[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path
程序喵猴·2023-12-26 08:39

Hive05_DML 操作

overwrite]intotablestudent[partition(partcol1=val1,…)];（1）loaddata:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS
程序喵猴·2023-12-26 08:02

pycharm连接虚拟机

要在PyCharm中远程连接到Linux上的Spark和Hadoop集群，您可以
俺会hello我的·2023-12-26 07:22

SpringBoot 2 集成Spark 3

前提条件:运行环境：Hadoop3.
在奋斗的大道·2023-12-26 06:12

iceberg1.4.2 +minio通过spark创建表，插入数据

下层支持hadoop，s3,对象存储，上层支持hive，spark，flink等应用。实现在中间把两部分隔离开来，实现一种对接和数据管理的标准。有这个标准，不管是谁建的表，都可以操作和访问。
smileyboy2009·2023-12-26 06:39

HBase基础知识（五）：HBase 对接 Hadoop 的 MapReduce

通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件系统导入到HBase的表中，比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。1官方HBase-MapReduce1．查看HBase的MapReduce任务的执行./bin/hbasemapredcpSLF4J:Classpathcontai
依晴无旧·2023-12-26 06:01

Hadoop——分布式计算

一、分布式计算概述1.什么是计算、分布式计算？计算：对数据进行处理，使用统计分析等手段得到需要的结果分布式计算：多台服务器协同工作，共同完成一个计算任务2.分布式计算常见的2种工作模式分散->汇总（MapReduce就是这种模式）将数据分片，多台服务器各自负责一部分数据处理然后将各自的结果，进行汇总处理最终得到想要的计算结果中心调度->步骤执行（大数据体系的Spark、Flink等是这种模式）1.
weixin_50458070·2023-12-26 06:38

HBase深度历险 | 京东物流技术团队

简介HBase的全称是HadoopDatabase，是一个分布式的，可扩展，面向列簇的数据库，是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。
京东云技术团队·2023-12-26 06:57

Linux下配置伪分布式的Hadoop

伪分布式的意思就是集群只有一台服务器1安装jdk1.8，注意，jdk版本太高会导致hadoop无法正常启动和运行2下载hadoop3.1.3，并上传至服务器解压3编辑etc/hadoop/core-site.xmlfs.defaultFShdfs
qq_34324703·2023-12-26 05:49

Linux下安装Flume

1下载FlumeWelcometoApacheFlume—ApacheFlume下载1.9.0版本2上传服务器并解压安装3删除lib目录下的guava-11.0.2.jar（如同服务器安装了hadoop
qq_34324703·2023-12-26 05:49

Flume采集日志存储到HDFS

1日志服务器上配置Flume,采集本地日志文件，发送到172.19.115.96的flume上进行聚合，如日志服务器有多组，则在多台服务器上配置相同的配置#Namethecomponentsonthisagenta1.sources=r1a1.sinks=k1a1.channels=c1#Describe/configurethesourcea1.sources.r1.type=TAILDIRa1
qq_34324703·2023-12-26 05:46

09-为Java开疆拓土的ZGC深度剖析

文章目录引言ZGC出现背景STW带来的问题手机系统(Android)显示卡顿证券交易系统实时性要求大数据平台(Hadoop集群性能)垃圾回收器的发展ZGC介绍ZGC中JVM内存布局和设计为什么这么设计？
月球程序猿·2023-12-26 04:15

软件体系结构

名词解释Zookeeper：是一个分布式的，开放源码的分布式应用程序协调服务，是Google的一个开源的实现，是Hadoop和Hbase的重要组件。
城堡修炼者·2023-12-26 04:42

大数据——技术生态体系

Hive构建在Hadoop之上，并提供了一种类似SQL的查询语言，被称为HiveQL（HiveQueryLanguage），用于处理和分析大规模数据。
Imrea·2023-12-26 01:56

大数据技术——处理架构Hadoop

•2.1概述•2.1.1Hadoop简介•Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构•Hadoop是基于Java语言开发的，具有很好的跨平台特性
Imrea·2023-12-26 01:55

大数据——手把手教你HDFS搭建

第一步：在虚拟机上安装hadoop环境使用XFTP工具，将hadoop的linux版本压缩包导进linux系统的/opt文件夹下。
安安DE爸爸·2023-12-25 23:31

黑猴子的家：Spark RDD 之 Hadoop 输入输出（数据读取与保存的主要方式之一）

1、hadoopRDD和newHadoopRDDSpark的整个生态系统与Hadoop是完全兼容的,所以对于Hadoop所支持的文件类型或者数据库类型,Spark也同样支持.另外,由于Hadoop的API
黑猴子的家·2023-12-25 23:05

04_hadoop_读取hdfs在本地统计单词并将结果放回hdfs

1文件目录image.png2wordConfig.properties配置文件CLASS_BUSINESS=com.looc.D04HDFS单词计数.WordCountRealizeHDFS_URL=
会摄影的程序员·2023-12-25 22:10

学习笔记Hadoop（十四）—— MapReduce开发入门（2）—— MapReduce API介绍、MapReduce实例

四、MapReduceAPI介绍一般MapReduce都是由Mapper，Reducer及main函数组成。Mapper程序一般完成键值对映射操作;Reducer程序一般完成键值对聚合操作;Main函数则负责组装Mapper，Reducer及必要的配置;高阶编程还涉及到设置输入输出文件格式、设置Combiner、Partitioner优化程序等;4.1、MapReduce程序模块:Main函数4.
别呀·2023-12-25 19:09

学习笔记Hadoop（十一）—— Hadoop基础操作（3）—— MapReduce常用Shell操作、MapReduce任务管理

四、MapReduce常用Shell操作4.1、MapReduce常用ShellMapReduceShell此处指的是可以使用类似shell的命令来直接和MapReduce任务进行交互（这里不严格区分MapReduceshell及Yarnshell）。提交任务命令：yarnjar[mainClass]args...查看及修改任务命令：yarnapplication[options]Usage:ya
别呀·2023-12-25 19:09

Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程

Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程  前面的文章已经对MR和Yarn做了基本介绍，本文主要介绍MR和Yarn的安装部署流程1、角色划分  NodeManager和DataNode
kinglinch·2023-12-25 19:09

HBase 集群搭建

文章目录安装前准备兼容性官方网址集群搭建搭建Hadoop集群搭建Zookeeper集群解压缩安装配置文件高可用配置分发HBase文件服务的启停启动顺序停止顺序验证进程查看Web端页面安装前准备兼容性1）
撕得失败的标签·2023-12-25 19:05

HBase 搭建过程中常见问题

文章目录进程问题HQuorumPeer和QuorumPeerMain区别HRegionServerHMaster自动关闭启动顺序停止顺序无法关闭一直等待运行报错日志中报错问题无法调用方法启动HBase无法找到Hadoop
撕得失败的标签·2023-12-25 19:05

大数据----MapReduce实现统计单词

目录一、简介二、实现单词统计数据准备编程MapReduceJob三、运行四、结果一、简介HadoopMapReduce是一个编程框架，它可以轻松地编写应用程序，以可靠的、容错的方式处理大量的数据(数千个节点
韭菜盖饭·2023-12-25 17:34

大数据----基于sogou.500w.utf8数据的MapReduce编程

及搜索关键字记录3.2、统计rank2的所有UID及数量3.3、上午7-9点之间，搜索过“赶集网”的用户UID3.4、通过Rank：点击排名对数据进行排序四、参考一、前言最近学习大数据的知识，需要做一些有关HadoopMapReduce
韭菜盖饭·2023-12-25 17:01

Hive-数据模型详解（超详细）

.数据库和表(1)创建数据库(2)使用数据库(3)创建表格(4)查看表结构3.分区与桶(1)分区(2)桶4.数据加载与查询(1)数据导入(2)查询语句5.总结一、Hive数据模型1.概述Hive是基于Hadoop
大数据魔法师·2023-12-25 16:17

Kylin的工作原理

Kylin的详细工作原理如下：数据导入：Kylin将数据导入到Hadoop集群中，通过HBase作为存储引擎，将数据预处理后存储在HBase中。
程序大虾·2023-12-25 16:15

flume 中sink用hdfs sink报拒绝连接错误hdfs-io

项目场景：提示：这里简述项目相关背景：使用flume，用hdfssink问题描述提示：这里描述项目中遇到的问题：报错：WARN-org.apache.flume.sink.hdfs.HDFSEventSink.process
m0_58310854·2023-12-25 16:38

Hadoop2.x安全：hadoop集群之kerberos认证（三、常用命令、有效期）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议，请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读概述：开启了Kerberos认证集群之后，集群不再像以前一样随意操作，需要证书进行登录，这里就讲一下我们日常用的的一些kerberos相关的一些操作，包括票据的创建、删除、有效期更改等。常用操作：1
大数据开发运维架构·2023-12-25 15:34

云计算与大数据之间的羁绊（期末不挂科版）：云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark

文章目录前言：一、云计算1.1云计算的基本思想1.2云计算概述——什么是云计算？1.3云计算的基本特征1.4云计算的部署模式1.5云服务1.6云计算的关键技术——虚拟化技术1.6.1虚拟化的好处1.6.2虚拟化技术的应用——12306使用阿里云避免了高峰期的崩溃1.6.3虚拟化的关键特征1.6.4虚拟化的HA指的是什么？1.6.5服务器虚拟化1.6.6虚拟机迁移1.6.6.1虚拟机实时迁移对云计算
春人.·2023-12-25 14:59

hive 配置metastore hiveserver2服务开启

安装mysqlcreatedatabasemetastore;配置hivehive-site.xml:javax.jdo.option.ConnectionURLjdbc:mysql://hadoop102
赤土 炙焱·2023-12-25 12:50

用户没有权限操作hadoop User: wu is not allowed to impersonate wu (state=08S01,code=0)

CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://ubuntu:10000:Failedtoopennewsession:java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteException
赤土 炙焱·2023-12-25 12:50

hive日常报错 | 处理步骤

java.net.ConnectException:Yourendpointconfigurationiswrong;Formoredetailssee:http://wiki.apache.org/hadoop
赤土 炙焱·2023-12-25 12:50

Hadoop(2)：常见的MapReduce[在Ubuntu中运行！]

1以词频统计为例子介绍mapreduce怎么写出来的弄清楚MapReduce的各个过程：将文件输入后，返回的代表的含义是：k1表示偏移量，即v1的第一个字母在文件中的索引（从0开始数的）；v1表示对应的一整行的值map阶段：将每一行的内容按照空格进行分割后作为k2，将v2的值写为1后输出reduce阶段：将相同的k2合并后，输出1.1创建Mapper、Reducer、Driver类创建这三种类用的
Oasis of the World·2023-12-25 12:05

spark log4j日志配置

1.spark启动参数先把log4j配置文件放到hdfs：hdfs://R2/projects/log4j-debug.properties--confspark.yarn.dist.files=hdfs
Mint6·2023-12-25 12:33

[HADOOP]数据倾斜的避免和处理

预处理数据：在数据加载到Hadoop之前进行预处理，以减少倾斜。使用抽样或统计方法来了解数据分布特征，并据此调整。
wātɔ:h·2023-12-25 12:02

hadoop 3.3大数据集群搭建系列2-安装zookeeper

一.下载并解压cd/home/softwarewgethttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz--no-check-certificatetar-xvfapache-zookeeper-3.6.3-bin.tar.gz-C/home二
只是甲·2023-12-25 11:04

【美团大数据面试】大数据面试题附答案

目录1.hdfs读写流程解析2.hdfs副本机制，三副本原因，副本存放策略3.hdfs容错机制原理4.MapReduce执行流程详解5.spark和mr的区别6.TopN求法，大数据量无法完全写入内存解决方案
话数Science·2023-12-25 11:19

Spark 学习笔记——001【spark-mysql+spark-hive】

/spark-sql--masterlocal[4]--jars/home/hadoop/software/mysql-connector-java-5.1.27-bin.jar\--driver-class-path
冰冷热带鱼·2023-12-25 11:01

数据处理演进：EtLT崛起，ELT正在告别历史舞台

虽然Hadoop时代主要依赖ELT（Extract、Load、Transform）方法，但实时数据仓库和数据湖的兴起使得ELT变得过时。EtLT已成为将数据实时加载到数据湖和实时数据仓库的标准架构。
涤生大数据·2023-12-25 10:00

Hadoop开发环境搭建

0、修改hostname1)修改/etc/hosts:192.168.184.130luozheng.bigdata2)修改/etc/hostnameluozheng.bigdata3)添加或是修改/etc/sysconfig/network#CreatedbyanacondaNETWORKING=yesHOSTNAME=luozheng.bigdata重启查看是否修改OKimage.png4)修
紫苓·2023-12-25 08:36

Kafka下沉到HDFS报错

错误信息24十二月202312:38:25,127INFO[SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure
Stephen6Yang·2023-12-25 07:12
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他