hadoop性能调优

《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘

摘要：翟周伟，资深Hadoop技术专家，《Hadoop开源云计算平台》、《Hadoop核心技术》作者。
xytlwp·2024-08-25 21:27

Tair分布式缓存

为什么不能像操作分布式数据库或者hadoop那样，增加一个中央节点，让它去代理所有事情。所以就开发了这个tai
kingkyrie·2024-08-25 18:38

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.Hadoop基本命令1.1查看版本信息hadoopversion用于检查Hadoop的版本信息以及编译信息。
william.zhang(张)·2024-08-25 15:52

HDFS的编程

一、HDFS原理HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分
卍king卐然·2024-08-25 07:02

Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）

NameNodemaster192.168.1.101DataNode1slave1192.168.1.102DataNode2slave2192.168.1.1032.软件要求操作系统：CentOS7或Ubuntu20.04JavaJDK：Hadoop
william.zhang(张)·2024-08-25 06:57

Kafka快速入门：Kafka驱动JavaApi的使用

相比之下，使用JavaAPI可以充分利用编程语言的灵活性，对生产者和消费者进行更精细的性能调优。对于大多数中间件，熟悉服务器的命令行操作可能足以帮助学习其API的使用。然而，Kafka则不同，要全面掌
不止会JS·2024-08-25 00:46

Java虚拟机(JVM)性能调优指南

JVM性能调优对于确保应用程序性能至关重要。在本文中，我们将探讨如何对JVM进行有效的调优，以优化内存使用和提高应用程序性能。
NAMELZX·2024-08-24 23:10

Ubuntu下部署Hadoop集群+Hive（一）

配置主机Host在三台服务器上添加主机名与IP的映射，以方便在局域网内进行主机间的快速访问和后续的文件配置；配置方法：vi/etc/hosts为方便配置：我的三台主机取名为HadoopMaster、HadoopSlave01
岩屿·2024-08-24 17:41

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

基于Hadoop的海量图像检索

基于Hadoop的海量图像检索“MassiveImageRetrievalBasedonHadoop:AStudyinSoftwareEngineering”完整下载链接:基于Hadoop的海量图像检索文章目录基于
usp1994·2024-08-24 13:12

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

Linux系统性能调优技巧

1.概述1.1.简介Linux系统性能调优是一个复杂的过程，涉及到多个方面，包括硬件、软件、系统调用、编译器选项、Profiling工具等。
丁爸·2024-08-24 07:01

Kylin的工作原理及使用分享

Kylin提供了一个Hadoop之上的SQL查询接口及多维分析(OLAP)能力，能够支持大规模数据，处理TB乃至PB级别的分析任务，并且能够在亚秒级查询巨大的Hive表。
丁爸·2024-08-24 07:01

阿里云服务器内存型r7、r8a、r8y实例区别及最新活动价格参考

在阿里云目前的活动中，属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格，相比于活动内的经济型e和通用算力型u1等实例规格来说，这些实例规格等性能更强，适用于数据分析与挖掘，Hadoop
阿里云最新优惠和活动汇总·2024-08-23 22:23

Ubuntu下部署Hadoop集群+Hive（二）

Hadoop集群搭建准备环境hadoop-3.3.6.tar.gz，jdk-8u421-linux-x64.tar.gz根据自己的使用下载对的hadoop和jdk版本hadoop下载地址：ApacheHadoopJDK
岩屿·2024-08-23 14:46

计算机毕业设计hadoop+spark知识图谱美食推荐系统 美食价格预测 美团推荐系统 美团爬虫 大众点评爬虫 美食数据分析 美食可视化大屏 大数据毕设

创新点：1.支付宝沙箱支付2.支付邮箱通知(JavaMail)3.短信验证码修改密码4.知识图谱5.四种推荐算法(协同过滤基于用户、物品、SVD混合神经网络、MLP深度学习模型)6.线性回归算法预测房价7.Python爬虫采集大众点评美食数据8.AI短信识别9.百度地图API10.lstm情感分析11.spark大屏可视化开发技术：springbootvue.jspythonechartsspar
计算机毕业设计大全·2024-08-23 13:22

Linux系统性能调优技巧详解

Linux系统性能调优技巧详解Linux系统凭借其稳定性、灵活性和开源社区的支持，在服务器、云计算、嵌入式系统等领域得到了广泛应用。
一个代码猎人·2024-08-23 13:08

计算机毕业设计hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计

开发技术hadoopsparkspringbootvue.jsPython爬虫、机器学习、深度学习mybatis-plusneo4j知识图谱图数据库mysql协同过滤算法(基于物品、基于用户模式)MLP
计算机毕业设计大全·2024-08-23 11:05

基于Hadoop平台的电信客服数据的处理与分析④项目实现：任务16：数据采集/消费/存储

任务描述“数据生产”的程序启动后，会持续向callLog.csv文件中写入模拟的通话记录。接下来，我们需要将这些实时的数据通过Flume采集到Kafka集群中，然后提供给HBase消费。Flume：是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据
我非夏日·2024-08-23 06:28

《Linux运维总结：基于银河麒麟V10+ARM64架构CPU部署zookeeper 3.8.4二进制分布式集群》

它是Google的Chubby项目的开源实现之一，并且是Hadoop和HBase等项目的重要组成部分。ZooKeeper提供的功能包括配置维护
东城绝神·2024-08-22 16:35

Amazon EFS：云端弹性文件系统的多元化应用场景

应用：Hadoop、Spark等大数据框架优势：高
ivwdcwso·2024-08-22 04:51

Linux性能调优指南(1)：聚焦CPU性能与缓存优化策略

文章目录一,CPU性能调优1.选择适合的CPU1.1性能评估工具1.2CPU信息查看命令1.3基准测试工具2.CPU缓存优化2.1.了解缓存结构2.2.缓存预热2.3.数据布局和访问模式优化2.4.使用性能分析工具
星鬼123·2024-08-22 02:38

Linux性能调优指南(1.2)：涵盖频率调整、进程优先级及多核策略

文章目录3,CPU频率调整4,进程优先级调整5,多核优化3,CPU频率调整在Linux系统中，可以使用cpufreq等工具动态调整CPU频率，以平衡功耗和性能。根据系统的负载情况，适时地提高或降低CPU频率，可以在保证系统性能的同时，降低能耗和发热量。这对于移动设备和需要长时间运行的服务器尤为重要首先，安装cpufreq工具：sudoapt-getinstallcpufrequtils查看可用的C
星鬼123·2024-08-22 02:38

Hadoop的概念

1.什么是大数据数据体量巨大：数据量规模庞大，通常以PB（拍字节）或EB（艾字节）来衡量，远远超出了传统数据库和数据处理工具的处理能力。数据类型多样：大数据包括结构化数据、半结构化数据和非结构化数据。其中，非结构化数据占据了相当大的比例，如文本、音频、视频、图片、地理位置信息等。价值密度低：在大量的数据中，真正有价值的信息可能只是很小的一部分。因此，如何从海量数据中快速提取有价值的信息是大数据处理
子非鱼　　　·2024-08-22 02:03

Linux性能调优指南

摘要在很久以前，就对性能调优有非常浓厚的兴趣。虽然之前也在做过一些性能调优的工作，但是主要集中在代码层面，以及业务层面。对如何从Linux操作系统方面进行调优，一直都没有一个清晰的认识。
Yonself·2024-08-22 02:33

MAP REDUCE

框架示例ApacheHadoop：以MapReduce作为默认处理引擎的框架。ApacheSpark：可以整合进Hadoop，取代MapReduce的框架
Xiao_die888·2024-08-22 01:58

Linux系统性能调优指南-应用程序优化

目录应用程序优化性能分析示例步骤1:使用perf分析性能步骤2:使用gprof分析性能步骤3:使用valgrind检测内存泄漏步骤4:代码优化示例代码优化后的代码应用程序优化应用程序优化是提高Linux系统性能的关键部分之一。这通常涉及使用各种工具来分析性能瓶颈，并对代码进行重构以提高效率。下面详细介绍一些常用的性能分析工具和代码优化技巧。性能分析性能分析工具可以帮助开发者找到应用程序中的瓶颈所在
何遇mirror·2024-08-21 21:32

Linux系统性能调优指南-文件系统选择与配置

目录文件系统选择与配置文件系统类型挂载选项示例步骤1:选择文件系统步骤2:配置挂载选项步骤3:创建分区和格式化步骤4:挂载分区步骤5:验证挂载注意事项文件系统选择与配置在Linux系统中，文件系统的选择和配置对于性能有着重要影响。根据不同的应用场景，选择合适的文件系统类型，并合理配置挂载选项，可以显著提高系统的I/O性能。下面分别介绍文件系统的选择和配置方法。文件系统类型Linux提供了多种文件系
何遇mirror·2024-08-21 21:01

HiveSQL常见函数及使用方法（含代码示例）

HiveSQL（HiveSQL）是ApacheHive所使用的SQL方言，专门用于在Hadoop上进行大规模数据处理。以下是一些常见的HiveSQL函数及其使用方法：1.聚合函数COUNT统计记录数。
会飞的岛格酱·2024-08-21 21:31

Azkaban各种类型的Job编写

一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java
__元昊__·2024-03-28 21:00

Linux（centos7）部署hive

前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠·2024-03-28 12:44

关于HDP的20道高级运维面试题

HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive
编织幻境的妖·2024-03-26 15:34

【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理

风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark是一个广泛使用的高性能、通用的计算框架，而ClickHouse作为一个高性能的列式数据库，特别适合在线分析处理（OLAP）。结合Scala语
音乐学家方大刚·2024-03-26 09:56

hadoop配置免密登录

1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
我干开发那十年·2024-03-24 07:25

【笔记】HDFS基础笔记

启动hadoop命令（未配环境变量）：进入hadoop安装目录输入.
哇咔咔哇咔·2024-03-20 04:12

【笔记】Linux常用命令

命令含义cd/home/hadoop#把/home/hadoop设置为当前目录cd..#返回上一级目录cd~#进入到当前Linux系统登录用户的主目录（或主文件夹）。
哇咔咔哇咔·2024-03-20 03:11

JVM，GC算法，垃圾回收器，类加载器，进行线上JVM性能调优。

JVM（JavaVirtualMachine，Java虚拟机）是Java程序的运行环境，它在操作系统上提供了一个抽象层，使得Java程序可以独立于硬件平台运行。JVM有自己的指令集和内存管理机制，它负责将Java字节码转换为机器码并执行。垃圾回收（GarbageCollection，GC）是JVM的一个重要特性，它负责自动回收不再使用的内存。GC的目标是尽可能地回收垃圾对象，以释放内存空间，并确保
刘小董·2024-03-18 04:10

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄·2024-03-17 18:57

Hadoop简介

简介大数据简介概述大数据的说法从出现到现在，也经历了十多年时间的发展。而在这十几年的发展过程中，非常多的机构、组织都试图对大数据做出过定义，例如：研究机构Gartner给出了这样的定义："大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
程序员小郭同学·2024-03-16 07:10

Hive中的NVL函数与COALESCE函数

ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.hadoop.hive.ql.udf.generic.GenericUDFNv
独影月下酌酒·2024-03-15 13:13

hive库表占用空间大小的命令

hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小（单位G)hadoopfs-ls
刀鋒偏冷·2024-03-15 13:13

03hive数仓安装与基础使用

hiveHive概述Hive是基于Hadoop的一个数据仓库工具。
daydayup9527·2024-03-14 13:39

JVM调优之jstack找出最耗cpu的线程并定位代码

jstack可以定位到线程堆栈，根据堆栈信息我们可以定位到具体代码，所以它在JVM性能调优中使用得非常多。
机灵鬼鬼·2024-03-13 11:27

HDFS

（一）HDFS简介及其基本概念  HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般
weixin_51987187·2024-03-12 14:32

大数据开发（Hadoop面试真题-卷二）

大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？
Key-Key·2024-03-12 02:15

zookeeper 使用

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法
SkTj·2024-03-10 02:15

Hive SQL 开发指南（三）优化及常见异常

在大数据领域，HiveSQL是一种常用的查询语言，用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能，制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~·2024-03-09 14:13

大数据开发（Hadoop面试真题-卷九）

大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？
Key-Key·2024-03-09 10:06

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

Redis优化与应用

Redis性能调优-Redis的性能调优是一个比较复杂的过程，需要从多个方面进行优化，如内存使用、命令使用等。-案例：减少不必要的持久化操作。默认情况下，Redis会执行RDB和AOF两种持久化方式。
V火居道士V·2024-03-06 22:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他