Hadoop学习篇

Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Prot

1报错hadoop中namenode报错Causedby:java.lang.IllegalStateException:com.google.protobuf.InvalidProtocolBufferException
不吃饭的猪·2023-12-17 05:34

Hive学习笔记

只在主节点上安装）（1）下载安装包到/usr/app/目录下（2）解压（3）修改配置文件/etc/profile（添加exportHIVE_HOME=/usr/local/hive-0.9.0-binexportHADOOP_HOME
weixin_30470857·2023-12-17 05:32

hive 增加表字段语录_HIVE常用SQL语句及语法

addressstring)rowformatdelimitedfieldsterminatedby'\t';创建字段中含有数组类型，对象类型的表，并查询特殊字段外部表默认存在HDFS下的‘/user/hadoop
weixin_39811386·2023-12-17 05:32

Hive笔记五：入门教程

摘要：Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Mojoooo·2023-12-17 05:00

hadoop面试题 5 ---有用

1.0简要描述如何安装配置apache的一个开源hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。
okbin1991·2023-12-17 05:00

hadoop学习笔记--1３.hive 属性配置、交互式命令行和文件系统交互

一、hive配置文件常见属性1.在cli命令行上显示当前的数据库名以及查询的行头信息在hive-site.xml中添加以下配置hive.cli.print.headertrueWhethertoprintthenamesofthecolumnsinqueryoutput.hive.cli.print.current.dbtrueWhethertoincludethecurrentdatabasei
liuzebin9·2023-12-17 05:58

【Hive】【Hadoop】工作中常操作的笔记-随时添加

文章目录1、Hive复制一个表:2、字段级操作3、hdfs文件统计1、Hive复制一个表:直接Copy文件createtablenew_tableliketable_name;hdfsdfs-get/apps/hive/warehouse/ods.db/table_nameloaddatalocalinpath'/路径'intotablenew_table;修复表：msckrepairtablet
cbigchaos·2023-12-17 05:57

第一步：hadoop安装基础环境

1.安装vm虚拟机【一路默认】**解决x64的问题需要lenove里面的安全模块启用。2.安装linux安装了5台linux服务器centos准备搭建haddop环境唯一需要配置的就是网络。用nat宿主这种方式。IP192.168.253.12子网掩码255.255.255.0网关192.168.253.2192.168.253.11192.168.253.12192.168.253.13192.
微生命·2023-12-17 05:37

《PySpark大数据分析实战》-11.Spark on YARN模式安装Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:16

《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:10

ubuntu下hbase的搭建和依赖环境搭建以及相关操作

ubuntu从0安装HBase和HBase所依赖的环境的安装配置简单说三步走java环境的安装和配置hadoop安装和配置hbase安装和配置我的搭建环境ubuntu:18软件源阿里云java:openjdkversion
不走小道·2023-12-17 05:53

windows环境运行datax缺少本地hadoop环境报错：Could not locate executable null\bin\winutils.exe

目录一、完整报错二、解决三、临时解决方案四、其他一、完整报错十二月07,202310:01:05上午org.apache.hadoop.util.ShellgetWinUtilsPath严重:Failedtolocatethewinutilsbinaryinthehadoopbinarypathjava.io.IOException
zkkkkkkkkkkkkk·2023-12-17 04:08

java操作cdh得hadoop出现java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProt...

这个问题是，java得操作Hadoop得api得版本跟haodoop得不一致导致得在hadoop中运行/bin/hadoopversion查看hadoop得版本之后将java得api中得jar包版本对应更换
PunkP·2023-12-17 03:21

hadoop学习大纲

Hadoop集群环境搭建Hadoop集群环境搭建HDFS图说HDFS基本原理hadoop的shell命令操作javaapi操作HDFSHDFS之namenode管理元数据机制MapReduce初识MapReduceintelij
piziyang12138·2023-12-17 00:12

MapReduce

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
编织幻境的妖·2023-12-17 00:53

Spark(一): 基本架构及原理

Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升
hedgehog1112·2023-12-16 22:33

查看hive表储存在hdfs的哪个目录下

查看一个HDFS目录占用了多少磁盘空间可以使用hadoopfs-d
言之。·2023-12-16 22:58

【Scala】Scala中的一些基本数据类型的特性 列表、元组、构造器、单例对象、伴生类、伴生对象、抽象类与特质

列表使用List(“”,“”,“”)去声明sliding和groued表示迭代器valiter=List("Hadoop","Spark","Scala")sliding2//sliding和groued
冲鸭嘟嘟可·2023-12-16 20:17

【Apache Pinot】Data upload jobtype 粗略分析

离线数据需要通过脚本去生成对应的数据上传到数据库里面，但是其中config中有个jobtype让人有点迷惑，本文简单的做一个概念的整理用处先说一下流程，目前我以hdfs举例，我们的脚本会先把数据通过hdfs的client上传到hadoop
彭笳鑫·2023-12-16 20:05

【LDAP】LDAP 未授权访问漏洞修复方案

例如：ldapsearch-x-b"dc=hadoop,dc=com"-Hldap://10.4.3.3:
kiraraLou·2023-12-16 20:28

Flink 本地单机/Standalone集群/YARN模式集群搭建

下载地址：下载Flink的二进制包点进去后，选择如下链接：解压flink-1.10.1-bin-scala_2.12.tgz，我这里解压到soft目录[root@hadoop1softpackage]#
程序猿进阶·2023-12-16 20:26

hbase

这种数据库是Hadoop生态下的核心技术之一。HBase的基本架构主要包括四种类型的服务器，这些服务器以主从模式进行协作：RegionServer：这是负责处理数据读写服务的组件。
编织幻境的妖·2023-12-16 20:51

数据仓库工具Hive

Hive是一个基于Hadoop的数据仓库工具，主要用于处理和分析大规模结构化数据。
编织幻境的妖·2023-12-16 20:51

Spark

在核心上，Spark是基于内存计算的，这使得它比基于磁盘计算的HadoopMapReduce更快。
编织幻境的妖·2023-12-16 20:16

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki4·2023-12-16 19:41

黑猴子的家：hive-start.sh

[alex@hadoop102~]$cd/usr/local/bin/[alex@hadoop102bin]$sudotouchhive-start.sh[alex@hadoop102bin]$sudochownalex
黑猴子的家·2023-12-16 19:10

Sqoop安装与配置-shell脚本一键安装配置

Sqoop是一个用于在ApacheHadoop和结构化数据存储（如关系数据库）之间传输数据的工具。
大数据魔法师·2023-12-16 18:31

Presto------分布式SQL查询引擎

ApacheHadoop-MapReduce优点：统一、通用、简单的编程模型，分而治之思想处理海量数据。
小希 fighting·2023-12-16 18:40

Caused by: java.net.ConnectException: 拒绝连接: hadoop104/192.168.124.130:4142

项目场景：hadoop102接收消息，自定义拦截器，包含hello的发往hadoop103,不包含的发往hadoop104报错原因：原因1：应该先开启接收方（服务端），hadoop103,hadoop104
挽风821·2023-12-16 18:54

hadoop3.3完全分布式（最简）

环境准备3台CentOS7（本例使用VMware替代）jdk8Hadoop3.3虚拟机基础准备网络适配器选用NAT模式（针对VMware）设置静态IP，对应关系如下名称地址hadoop01192.168.138.201hadoop02192.168.138.202hadoop03192.168.138.203
qq_44770531·2023-12-16 17:34

Zookeeper特性与节点数据类型

1.什么是Zookeeper它是一个分布式协调框架，是ApacheHadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等
逍遥白亦·2023-12-16 16:14

ssh: Could not resolve hostname node: Name or service not known

搭建Hadoop完全分布式的实现免密登录未找到主机其他两台确可以最后发现是/etc/hosts文件忘记配置主机IP映射了然后就可以自由登录了微信搜索公众号“大数据花院”可以复制题目发送查题哦
禾火r·2023-12-16 16:47

焊工路（学习篇第84天）一代新人换旧人，一天离开了五个人

离别经历多了或许没啥，可还是不喜欢这种感觉。一天离开了五个学员，到期了，可以出去赚钱咯！而我还在这里，看着他们离开这里，有点羡慕，有点怀恋以前一起焊管的时光，之后或许很难再遇到，就留下了我们两个老学员，那会无聊许多，天又热，恼火，我也没有心情继续待在这里了。也好想出去。只能江湖再见！有走有来，今天又来了三个，之后这里都是他们培训地方了，或许这也是一个轮回，铁打的营盘，流水的兵，这句话，也能用在这里
忍禁·2023-12-16 15:09

JDK21+HADOOP3.2.2+Windows安装步骤

哈哈哈最近转战大数据这块了，分享一下hadoop3.2.2的安装步骤借鉴了不少大佬的文章，如有雷同，都是大佬们的1.JDK安装我选择的是JDK21以下是下载网址和截图，这个没有太多的，一般下载最新的就可以
倩雯Memory·2023-12-16 15:36

Sqoop基础理论与常用命令详解（超详细）

文章目录前言一、Sqoop概述1.Sqoop简介2.Sqoop架构(1)SqoopClient(2)SqoopServer(3)Connector(4)Metastore(5)Hadoop/HDFS3.
大数据魔法师·2023-12-16 15:57

《PySpark大数据分析实战》-10.独立集群模式的代码运行

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-08.宽窄依赖和阶段划分

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:19

《PySpark大数据分析实战》-09.Spark独立集群安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-05.PySpark库介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:05

Mapreduce小试牛刀(1)

1.与hdfs一样，mapreduce基于hadoop框架，所以我们首先要启动hadoop服务器-----------------------------------------------------
printcsr·2023-12-16 12:51

Mapreduce小试牛刀(2)--java api

1.同hdfs的javaapi,我们首先要在IDE中建立一个maven项目pom.xml中配置如下：org.apache.hadoophadoop-mapreduce-client-common3.3.4org.apache.hadoophadoop-mapreduce-client-jobclient3.3.4org.apache.hadoophadoop-client3.3.4org.slf4
printcsr·2023-12-16 12:51

Hdfs java API

1.在主机上启动hadoopsbin/start-all.sh这里有一个小窍门，可以在本机上打开8088端口查看三台机器的连接状态，以及可以打开50070端口，查看hdfs文件状况。
printcsr·2023-12-16 12:21

hadoop-yarn简介及常用命令详解（超详细）

文章目录前言一、YARN概述1.YARN简介2.YARN架构(1)ResourceManager（资源管理器）(2)NodeManager（节点管理器）(3)ApplicationMaster（应用程序管理器）3.YARN特点(1)分布式资源管理(2)多框架支持(3)灵活的资源调度(4)高可靠性和容错性(5)可扩展性(6)安全性二、YARN命令介绍1.YARN命令简介2.yarnapplicati
大数据魔法师·2023-12-16 12:46

hadoop3.3.4安装及启动

1.虚拟机的安装此处我选择的是VMware,激活码可以百度搜索，安装过程比较缓慢，需要耐心等待---------------------------------------------------------------------------------------------------------------------------------2.创建新的虚拟机点击创建虚拟机，如果已经创建，
printcsr·2023-12-16 12:45

kafka常用命令

/bin/kafka-console-producer.sh--broker-listdn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667
wind_103·2023-12-16 12:23

ElasticSearch与HBase的分布式存储设计

本文内容覆盖如今两大非结构化数据库之间的区别详情介绍从各个角度详细对比1.官方定位HBase是Hadoop数据库，是一个分布式、可扩展的大数据存储。
不学会Ⅳ·2023-12-16 09:32

Hive建表语句

CREATEDATABASEIFNOTexistsmyhivebook2COMMENT'数据库测试';--创建数据库并指定路径CREATEDATABASEIFNOTexistsmyhivebook3LOCATION'/hadoop
xinxinyydss·2023-12-16 08:58

Kafka快速实战与基本原理详解

Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
Memory_2020·2023-12-16 06:08

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

初识大数据应用，一文掌握大数据知识文集(1)

06、请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？07、KafkaUtils.cr
普修罗双战士·2023-12-16 06:22
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他