hadoop排错

黑猴子的家：Redis 客户端访问

1、一个端口[root@hadoop102redis-3.2.5]#redis-cli2、多个端口客户端访问有多个端口的情况下[root@hadoop102redis-3.2.5]#redis-cli-p63793
黑猴子的家·2024-01-12 03:21

Linux操作系统下，彻底删除MySQL

背景：部署Hive时，遇到了无法访问数据库的问题；此时Linux中的环境是，已安装MySQL-8.0.35的版本，JDK8和Hadoop-3.3.4版本；然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw·2024-01-12 02:59

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry·2024-01-12 00:41

Hadoop伪集群模式搭建MAC版[Linux依旧适用]

[TOC]Hadoop1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略，但是启动的时候，每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹，应该能发现.ssh，如果没有就安装
zZeroZz·2024-01-12 00:45

监控大屏与应用大屏

基于AIOps理念研发的新一代运维监控大屏，全盘展示IT运行状态，减轻运维人员的重复性工作量，提高IT系统排错速度，加速运维知识学习积累。
益达_glmsb·2024-01-11 22:47

STM32F4XX的12位ADC采集数值超过4096&右对齐模式设置失败

文章目录一、前言二、问题1：数值超过4096三、问题1的排错过程四、问题2：右对齐模式设置失败五、问题2的解决方法5.1将ADC_ExternalTrigConv设置为05.2使用ADC_StructInit
L_EG·2024-01-11 20:26

计算机网络第一章（谢希仁）

因特网(Internet)2.2因特网发展阶段2.3因特网的标准化工作3因特网的组成4计算机网络的类别5计算机网络的性能6计算机网络的体系结构6.1基本概念6.2计算机网络的体系结构OSI分为七层网络排错
Nuyoah_日落·2024-01-11 19:20

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
ThoughtWorks·2024-01-11 17:47

《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-11 16:21

【2019-05-06】map reduce工作机制

mapreduce作业运行机制Hadoop运行mapreduce作业的工作原理（1）作业提交Job的submit()方法创建一个内部的JobSubmitter实例，并且调用其submitJobInternal
BigBigFlower·2024-01-11 15:31

日志服务管理

一、系统日志管理1.1系统日志介绍在现实生活中，记录日志也非常重要，比如银行的转账记录，飞机上的黑盒子，那么将系统和应用发生的事件记录至日志中，以助于排错和分析使用日志记录的内容包括：历史事件：时间，地点
fhjtg·2024-01-11 15:26

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】文章目录1HA集群基础配置1.1创建系统为Centos7（Linux）的虚拟机1.2基本网络配置1.3连接FinalShell2NTP时间同步和免密登录
小伍_Five·2024-01-11 11:50

NameNode: Permission denied&无法启动Hadoop解决方法

NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys授权，解决方法如下：把产生的公钥文件放置到authorized_keys文件中，命令如下：[root@node1etc]#cat~/.ssh/id_rsa.pub>>~/.ssh
eyexin2018·2024-01-11 09:46

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop
Movle·2024-01-11 08:43

搭建时间服务器并配置集群自动时钟同步

搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器（一）为什么要搭建时间服务器因为Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。
Y先生的领地·2024-01-11 08:58

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Hadoop安装遇到的一些问题

image.pngimage.png解决选择CentOs.vmx无反应问题：image.png打开之后，选择Poweron之后，选择Imovedit：第一次点mved，以后点copiedroot登陆，密码：hadoop
博弈史密斯·2024-01-11 07:30

Hadoop之mapreduce参数大全-5

101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是HadoopMapReduce框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas·2024-01-11 07:45

hive sql 和 spark sql的区别

HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具，但它们有一些关键的区别：底层计算引擎：HiveSQL：Hive是建立在Hadoop生态系统之上的，使用MapReduce作为底层计算引擎
深度学习研究员·2024-01-11 07:08

HDFS相关API操作

文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档：https://hadoop.apache.org/docs
欲无缘·2024-01-11 06:56

Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述

SerializationSupportedDataTypes（支持的数据类型）TuplesandCaseClassesPOJOsPrimitiveTypes（基本数据类型）GeneralClassTypes（一般类型）ValuesHadoopWritablesSpecialTypes
ε(´ο｀*)))·2024-01-11 05:30

【大数据架构】日志采集方案对比

整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。
话数Science·2024-01-11 04:03

大数据独角兽 Cloudera 股价腰斩，Hadoop将何去何从？

围绕Hadoop进行商业化有著名的三巨头，分别是Cloudera、Hortonworks和MapR，如今都不约而同地陨落了。
烽火程序猿·2024-01-11 04:15

记一次Maxwell出现Communications link failure

原报错信息：connectingtojdbc:mysql://hadoop01:3306/maxwell?
玖玖1704·2024-01-11 03:34

10、采集通道启动、停止脚本

1）在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@hadoop102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞·2024-01-11 02:16

从零到一：Hadoop开发者的成长之路

从零到一：Hadoop开发者的成长之路随着大数据时代的来临，Hadoop作为处理大规模数据的开源框架，已成为企业和开发者关注的焦点。那么，如何从零开始，逐步成长为一名优秀的Hadoop开发者呢？
乌龙饼干·2024-01-11 01:45

Hadoop的未来发展趋势与挑战分析

Hadoop的未来发展趋势与挑战分析Hadoop，作为大数据领域的老牌开源框架，已经历了十多年的风风雨雨。
乌龙饼干·2024-01-11 01:45

Hadoop中的数据治理策略与实践

Hadoop中的数据治理策略与实践随着大数据技术的快速发展，Hadoop已成为企业存储和处理大规模数据集的首选平台。然而，随着数据量的不断增长，数据治理问题也日益凸显。
乌龙饼干·2024-01-11 01:15

Hadoop与Spark：大数据处理框架的比较与选择

Hadoop与Spark：大数据处理框架的比较与选择在大数据的时代背景下，数据处理和分析的需求日益增长。
乌龙饼干·2024-01-11 01:14

利用Hadoop进行数据湖构建与管理

利用Hadoop进行数据湖构建与管理一、引言在大数据的时代，数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题，数据湖的概念应运而生。
乌龙饼干·2024-01-11 01:14

Hadoop简介：开启大数据处理之门

在此背景下，Hadoop作为一种分布式系统基础架构，应运而生，为大数据处理打开了新的大门。
乌龙饼干·2024-01-11 01:44

Hadoop在大数据分析中的应用与挑战

Hadoop在大数据分析中的应用与挑战随着数字化时代的来临，数据呈现爆炸性增长，大数据处理和分析成为了企业和研究机构不可或缺的一部分。
乌龙饼干·2024-01-11 01:44

如何搭建一个高效的Hadoop集群环境？

如何搭建一个高效的Hadoop集群环境在大数据处理和分析的领域中，Hadoop已经成为了一个非常流行的工具。
乌龙饼干·2024-01-11 01:44

深入了解Hadoop：架构、组件与工作流程

深入了解Hadoop：架构、组件与工作流程随着大数据时代的来临，Hadoop已经成为了一个不可或缺的开源工具。
乌龙饼干·2024-01-11 01:42

CDH5x离线安装+解决报错教程

前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、·2024-01-11 01:09

黑猴子的家：Hive 数据倾斜优化之 小文件合并

HiveInputFormat没有对小文件合并功能hive>sethive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
黑猴子的家·2024-01-10 20:26

阿里云服务器得免费使用领取

系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器得免费使用领取Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置文章目录系列文章目录领取免费的云服务器页面对云服务器操作通过程序进行远程连接控制通过
柔雾·2024-01-10 20:22

Scala操作HDFS

_importorg.apache.commons.lang3.StringUtilsimportorg.apache.hadoop.conf.Configurationimportorg.
SunnyMore·2024-01-10 18:13

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复
不吃海带吃海苔·2024-01-10 16:15

Jbd4：Hbase

Jbd4：Hbase教程地址0.背景0.1Hadoop的局限性0.2HBaseVS传统数据库0.2.1数据类型0.2.2数据库类型0.2.3数据库区别1.概述1.1HBase简介1.2HBase访问接口
JxWang05·2024-01-10 14:05

Linux入门学习笔记

系统2.Linux配置和Linux的目录结构Linux组成结构：硬件资源->内核程序->操作系统的应用程序->用户应用程序(Linux的文件系统均可被内核程序和操作系统的应用程序以及用户的应用程序调用)Hadoop
RoundOff·2024-01-10 14:02

《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-10 14:58

云计算任务调度仿真01

云计算任务调度的研究大多数以来仿真研究，现梳理一些做过的代码研究结果无数次的排错，终于finishwithcode0了这个代码以来的是比较老的TensorFlow版本，我们都知道TensorFlow1.
eyexin2018·2024-01-10 14:56

华为mstp、vrrp、ospf、isis、bgp等综合一起排错

最终实现左边私网和右边私网全部ping通SW1vlanbatch1234stpregion-configuration//mstp配置region-nametestinstance12vlan12instance34vlan34activeregion-configurationinterfaceGigabitEthernet0/0/3portlink-typetrunkporttrunkallo
项目工程师余工·2024-01-10 13:06

Flink集群安装部署（Standalone，Yarn模式）

目录一.环境准备二.Flink集群安装步骤三.FlinkOnYarn一.环境准备需要提前安装配置JDK，Hadoop二.Flink集群安装步骤1.下载安装包下载地址：Indexof/dist/flink
MJK祺·2024-01-10 12:03

4.MapReduce 序列化

目录概述序列化序列化反序例化java自带的两种Serializable非Serializablehadoop序例化实践分片/InputFormat&InputSplit日志结束概述序列化是分布式计算中很重要的一环境
流月up·2024-01-10 12:46

【Linux】linux踢出远程登录用户命令

linux踢出远程登录用户命令：查看当前自己的终端：[root@hadoop3~]#whoamirootpts/12013-01-2210:45(192.168.250.110)输入w命令查看已登录用户信息
奔向理想的星辰大海·2024-01-10 11:04

Zookeeper安装入门并配置为Windows服务开机自动启动

Zookeeper安装入门并配置为Windows服务开机自动启动1、概述zookeeper，它是一个分布式服务框架，是ApacheHadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题
新手村张三·2024-01-10 09:29

Hive之set参数大全-4

以下是一个示例：--设置hive.fetch.output.serde为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDeSEThive.fetch.ou
OnePandas·2024-01-10 09:28
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他