Hadoop性能分析

MyBatis-Plus框架

官网无级入、损耗小、强大的CRUD操作、支持Lambda形式调用、支持主键自动生成、支持ActiveRecord模式、支持自定义全局通用操作、内置代码生成器、内置分页插件、分页插件支持多种数据库、内置性能分析插件
蒽蒽.·2024-01-12 04:46

黑猴子的家：Redis 客户端访问

1、一个端口[root@hadoop102redis-3.2.5]#redis-cli2、多个端口客户端访问有多个端口的情况下[root@hadoop102redis-3.2.5]#redis-cli-p63793
黑猴子的家·2024-01-12 03:21

Linux操作系统下，彻底删除MySQL

背景：部署Hive时，遇到了无法访问数据库的问题；此时Linux中的环境是，已安装MySQL-8.0.35的版本，JDK8和Hadoop-3.3.4版本；然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw·2024-01-12 02:59

性能分析与调优: Linux 磁盘I/O 观测工具

目录一、实验1.环境2.iostat3.sar4.pidstat5.perf6.biolatency7.biosnoop8.iotop、biotop9.blktrace10.bpftrace11.smartctl二、问题1.如何查看PSI数据2.iotop如何安装3.smartctl如何使用一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、
cronaldo91·2024-01-12 00:14

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry·2024-01-12 00:41

Hadoop伪集群模式搭建MAC版[Linux依旧适用]

[TOC]Hadoop1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略，但是启动的时候，每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹，应该能发现.ssh，如果没有就安装
zZeroZz·2024-01-12 00:45

[c++]你最喜爱的stringstream和snprintf性能深入剖析

来自阿里云的性能分析实验我上网一搜，有人做了性能分析实验。
!柯西洗袜子·2024-01-11 23:28

深度学习模型部署TensorRT加速（十一）：TensorRT部署分析与优化方案（二）

下篇内容预告：深度学习模型部署OpenVINO加速一、TensorRT分析模型推理性能分析：使用工具如Tens
咕哥·2024-01-11 19:58

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
ThoughtWorks·2024-01-11 17:47

《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-11 16:21

Grafana Loki 日志传输工具

Grafana开发的工具：GrafanaAgentGrafna技术栈推荐客户端，支持收集度量、日志、跟踪和持续性能分析的遥测数据，跟Prometheus、OpenTelemetry、Grafana开源生态系统完全兼容
阿提说说·2024-01-11 16:51

【2019-05-06】map reduce工作机制

mapreduce作业运行机制Hadoop运行mapreduce作业的工作原理（1）作业提交Job的submit()方法创建一个内部的JobSubmitter实例，并且调用其submitJobInternal
BigBigFlower·2024-01-11 15:31

【GBASE】南大通用GBase 8a MPP Cluster技术特点

GBase8aMPPCluster具有多样化的平台选择、与时俱进的逻辑架构、海量数据高效存储、海量数据高速加载、海量数据高性能分析、弹性服务器资源伸缩、完善的系统资源管理、多级别的高可用、跨数据中心的数据容灾
Linux有意思吗·2024-01-11 14:53

GBase 8a MPP Cluster 数据库技术特点

GBase8aMPPCluster具有多样化的平台选择、与时俱进的逻辑架构、海量数据高效存储、海量数据高速加载、海量数据高性能分析、弹性服务器资源伸缩、完善的系统资源管理、多级别的高可用、跨数据中心的数据容灾
生命之源;·2024-01-11 14:50

GBASE南大通用分析型MPP数据库GBase8a的安全特性（1)

南大通用自主研发的GBase8aMPPCluster产品（简称GBase8a)是大数据时代成熟的分析型MPP数据库，具有多样化的平台选择、与时俱进的逻辑架构、海量数据高效存储、海量数据高速加载、海量数据高性能分析
GBASE数据库·2024-01-11 14:17

GBASE南大通用分析型MPP数据库GBase8a的安全特性（2）

南大通用自主研发的GBase8aMPPCluster产品（简称GBase8a)是大数据时代成熟的分析型MPP数据库，具有多样化的平台选择、与时俱进的逻辑架构、海量数据高效存储、海量数据高速加载、海量数据高性能分析
GBASE数据库·2024-01-11 11:06

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】文章目录1HA集群基础配置1.1创建系统为Centos7（Linux）的虚拟机1.2基本网络配置1.3连接FinalShell2NTP时间同步和免密登录
小伍_Five·2024-01-11 11:50

NameNode: Permission denied&无法启动Hadoop解决方法

NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys授权，解决方法如下：把产生的公钥文件放置到authorized_keys文件中，命令如下：[root@node1etc]#cat~/.ssh/id_rsa.pub>>~/.ssh
eyexin2018·2024-01-11 09:46

Android 性能分析学习(CPU Profiler)

应用开发过程中大部分时间都是在进行需求开发，而性能分析却进行的很少。这里将介绍通过CPUProfiler工具来进行app的性能分析。
yanlong107·2024-01-11 09:57

mysql高级优化（全）-尚硅谷

目录前言1.简介1.1安装1.2MySQL逻辑架构1.2.1存储引擎2.索引优化分析2.1原因2.2常见通用的join查询2.3索引2.3.1索引分类2.3.2索引结构2.3.3索引情况2.4性能分析2.4.1id
小万是个程序员·2024-01-11 08:18

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop
Movle·2024-01-11 08:43

搭建时间服务器并配置集群自动时钟同步

搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器（一）为什么要搭建时间服务器因为Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。
Y先生的领地·2024-01-11 08:58

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Hadoop安装遇到的一些问题

image.pngimage.png解决选择CentOs.vmx无反应问题：image.png打开之后，选择Poweron之后，选择Imovedit：第一次点mved，以后点copiedroot登陆，密码：hadoop
博弈史密斯·2024-01-11 07:30

Hadoop之mapreduce参数大全-5

101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是HadoopMapReduce框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas·2024-01-11 07:45

hive sql 和 spark sql的区别

HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具，但它们有一些关键的区别：底层计算引擎：HiveSQL：Hive是建立在Hadoop生态系统之上的，使用MapReduce作为底层计算引擎
深度学习研究员·2024-01-11 07:08

HDFS相关API操作

文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档：https://hadoop.apache.org/docs
欲无缘·2024-01-11 06:56

一个综合的SaaS实时监控方案

这些工具能提供实时的事务追踪、代码级别的性能分析和错误追溯。2、可用性监控：站点可用性监控服务：配置一个服务，例如Pingdom或UptimeRobot，来监控SaaS应用程序的可用性。这将有
benhuyun_yohu·2024-01-11 06:21

Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述

SerializationSupportedDataTypes（支持的数据类型）TuplesandCaseClassesPOJOsPrimitiveTypes（基本数据类型）GeneralClassTypes（一般类型）ValuesHadoopWritablesSpecialTypes
ε(´ο｀*)))·2024-01-11 05:30

【大数据架构】日志采集方案对比

整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。
话数Science·2024-01-11 04:03

大数据独角兽 Cloudera 股价腰斩，Hadoop将何去何从？

围绕Hadoop进行商业化有著名的三巨头，分别是Cloudera、Hortonworks和MapR，如今都不约而同地陨落了。
烽火程序猿·2024-01-11 04:15

记一次Maxwell出现Communications link failure

原报错信息：connectingtojdbc:mysql://hadoop01:3306/maxwell?
玖玖1704·2024-01-11 03:34

10、采集通道启动、停止脚本

1）在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@hadoop102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞·2024-01-11 02:16

从零到一：Hadoop开发者的成长之路

从零到一：Hadoop开发者的成长之路随着大数据时代的来临，Hadoop作为处理大规模数据的开源框架，已成为企业和开发者关注的焦点。那么，如何从零开始，逐步成长为一名优秀的Hadoop开发者呢？
乌龙饼干·2024-01-11 01:45

Hadoop的未来发展趋势与挑战分析

Hadoop的未来发展趋势与挑战分析Hadoop，作为大数据领域的老牌开源框架，已经历了十多年的风风雨雨。
乌龙饼干·2024-01-11 01:45

Hadoop中的数据治理策略与实践

Hadoop中的数据治理策略与实践随着大数据技术的快速发展，Hadoop已成为企业存储和处理大规模数据集的首选平台。然而，随着数据量的不断增长，数据治理问题也日益凸显。
乌龙饼干·2024-01-11 01:15

Hadoop与Spark：大数据处理框架的比较与选择

Hadoop与Spark：大数据处理框架的比较与选择在大数据的时代背景下，数据处理和分析的需求日益增长。
乌龙饼干·2024-01-11 01:14

利用Hadoop进行数据湖构建与管理

利用Hadoop进行数据湖构建与管理一、引言在大数据的时代，数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题，数据湖的概念应运而生。
乌龙饼干·2024-01-11 01:14

Hadoop简介：开启大数据处理之门

在此背景下，Hadoop作为一种分布式系统基础架构，应运而生，为大数据处理打开了新的大门。
乌龙饼干·2024-01-11 01:44

Hadoop在大数据分析中的应用与挑战

Hadoop在大数据分析中的应用与挑战随着数字化时代的来临，数据呈现爆炸性增长，大数据处理和分析成为了企业和研究机构不可或缺的一部分。
乌龙饼干·2024-01-11 01:44

如何搭建一个高效的Hadoop集群环境？

如何搭建一个高效的Hadoop集群环境在大数据处理和分析的领域中，Hadoop已经成为了一个非常流行的工具。
乌龙饼干·2024-01-11 01:44

深入了解Hadoop：架构、组件与工作流程

深入了解Hadoop：架构、组件与工作流程随着大数据时代的来临，Hadoop已经成为了一个不可或缺的开源工具。
乌龙饼干·2024-01-11 01:42

APP启动流程及分析APP启动性能的方法！

首先我们要关注的点，就是APP的启动性能分析了，APP启动性能分析可以看作是APP专项测试的一个小的方面。从用户层面考虑，专项测试的表现有：崩溃、卡顿、
简讯谈资·2024-01-11 01:18

CDH5x离线安装+解决报错教程

前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、·2024-01-11 01:09

【教程】F12键按了没反应，网页无法打开调试模式怎么办？一招教你轻松解决

在浏览器中，按下F12键可以打开开发者工具窗口，该窗口提供了许多工具，例如调试代码、查看网页元素和性能分析等。但是，如果按下F12键却没有任何反应，可能会令一些用户感到困惑。一
黎想·2024-01-10 23:21

linux基础知识-sar详解

1.前言sar(SystemActivityReporter系统活动情况报告)是目前Linux比较全的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘
晴空06·2024-01-10 21:06

黑猴子的家：Hive 数据倾斜优化之 小文件合并

HiveInputFormat没有对小文件合并功能hive>sethive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
黑猴子的家·2024-01-10 20:26

阿里云服务器得免费使用领取

系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器得免费使用领取Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置文章目录系列文章目录领取免费的云服务器页面对云服务器操作通过程序进行远程连接控制通过
柔雾·2024-01-10 20:22

Scala操作HDFS

_importorg.apache.commons.lang3.StringUtilsimportorg.apache.hadoop.conf.Configurationimportorg.
SunnyMore·2024-01-10 18:13
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他