Hadoop源码解读

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

25.集群异常故障分析——HOSTS

25.1问题情况Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制
大勇任卷舒·2024-01-22 02:51

Hive SQL的编译过程（转）

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。
愤怒的谜团·2024-01-21 20:40

Hbase笔记

HBase-1.hbase介绍ApacheHBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机，实时读/写访问时，请使用ApacheHBase™。
MFRain·2024-01-21 20:24

一文看完String的前世今生，内容有点多，请耐心看完！

String类的源码源码解读想要真切的去了解Java中被定义好的一个类，读源码是
JavaBuild888·2024-01-21 18:03

Java中的代理模式（二）JDK动态代理

因为涉及到源码解读，所以我也将分两期完成，本期主要讲讲JDK动态代理的实现方式示例先举个小例子，创建接口publicinterfaceFather{voideat();}创建实现类publicclassSonimpl
极客涛·2024-01-21 17:15

spark on yarn安装部署

所使用的安装包名称按自己的修改，安装包可去各大官网上下载一，解压tar-zxvf/opt/software/spark-3.1.1-bin-hadoop3.2.tgz-C/opt/module/修改名称
佛系爱学习·2024-01-21 17:11

黑猴子的家：API 操作 HDFS 文件下载

1、Code->GitHubhttps://github.com/liufengji/hadoop_hdfs.git2、Code@TestpublicvoidgetFileFromHDFS()throwsException
黑猴子的家·2024-01-21 16:19

nsq源码解读之nsq_to_file

nsq_to_file创建消费者，读取nsq消息并写入文件中，支持topic的模糊匹配和实时更新，以及消息落文件的定时rotate等设置。研究nsq_to_file的代码有助于理解nsq消息队列的工作流程。创建消费者的代码为：funcnewConsumerFileLogger(topicstring,cfg*nsq.Config)(*ConsumerFileLogger,error){f,err:
高稚商de菌·2024-01-21 16:30

django基于Hadoop平台的电影推荐系统(程序+开题报告)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网的普及和大数据技术的发展，人们对于个性化推荐的需求越来越高。电影作为一种重要的娱乐方式，其推荐系统的研究也受到了广泛关注。然而，传统的电影推荐系统往往基于用户的历史行为进行推荐，忽略了其他重要的信息，如电影的类型、导演、演员等。此外，由于电影数据的海量性和复杂性，传统的推荐
liu10662·2024-01-21 15:51

ubuntu22.04安装atlas2.0.0

在ubuntu裸机上安装，裸机未安装java，hadoop等环境。jdk和maven都使用apt方式安装。sudoaptinstallopenjdk-8-jdksudoa
playmakerlby·2024-01-21 15:37

Cookie持久化方案——PersistentCookieStore源码解读

Cookie持久化方案——PersistentCookieStore源码解读客户端登陆之后一般都会在本地持有某个cookie，在退出登录时将这个cookie清理掉。
tinyvampirepudg·2024-01-21 10:47

hadoop yarn 配置

转自：http://blog.csdn.net/guotong1988/article/details/47130701
晴天哥_王志·2024-01-21 09:03

02-黑马程序员大数据开发：分布式计算和分布式资源调度

分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop
S1406793·2024-01-21 08:52

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[atguigu@hadoop104zookeeper
Key-Key·2024-01-21 07:18

Hadoop入门概述

Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。
转身成为了码农·2024-01-21 07:41

大数据之Spark架构设计与工作流程

驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN
转身成为了码农·2024-01-21 07:41

Dubbo源码解析第一期：如何使用Netty4构建RPC

一、背景早期学习和使用Dubbo的时候（那时候Dubbo还没成为Apache顶级项目），写过一些源码解读，但随着Dubbo发生了翻天覆地的变化，那些文章早已过时，所以现在计划针对最新的ApacheDubbo
飞向札幌的班机·2024-01-21 06:20

Spark：SparkSQL与Hive on Spark（Shark）的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
花和尚也有春天·2024-01-21 06:17

基于kubernetes构建spark-thriftserver集群(Deployment模式)

1、构建镜像这里采用spark-2.4.4-bin-hadoop2.7.tar.gz包部署，先解压文件到/opt/spark目录。（1）将需要第三方扩展包导入/opt/spark/
Moutai码哥·2024-01-21 06:46

Spark面试题

1.sparkcore1.简述hadoop和spark的不同点（为什么spark更快）♥♥♥  shuffle都是需要落盘的，因为在宽依赖中需要将上一个阶段的所有分区数据都准备好，才能进入下一个阶段，那么如果一直将数据放在内存中
韩顺平的小迷弟·2024-01-21 06:53

Ubuntu安装Hbase数据库

Hbase，并修改其名称sudotar-zxfhbase-1.1.2-bin.tar.gz-C/usr/localcd/usr/localsudomvhbase-2.2.2/hbasesudochown-Rhadoophbase
殊迟·2024-01-21 06:51

Ubuntu安装MySQL数据库

MySQLsudoapt-getinstallmysql-server输入Y后回车继续安装设置root用户密码，此处会设置两次三、启动、关闭、测试数据库servicemysqlstart#此处输入2回车选择hadoop
殊迟·2024-01-21 06:51

安装Kafka

Kafkasudotar-zxfkafka_2.11-0.10.2.0.tgz-C/usr/localcd/usr/localsudomvkafka_2.11-0.10.2.0/kafkasudochown-Rhadoopkafka
殊迟·2024-01-21 06:51

Hadoop3完全分布式搭建

一、第一台的操作搭建修改主机名使用hostnamectlset-hostname修改当前主机名关闭防火墙和SELlinux1，使用systemctlstopfirewalldsystemctldisablefirewalld关闭防火墙2，使用vim/etc/selinux/config修改为SELINUX=disabled使用NAT模式配置静态IP1，修改网络配置vim/etc/sysconfig
三木一立·2024-01-21 05:54

Linux 部署Hadoop伪分布式集群教程

首先：我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包链接：https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg提取码：6s5a接下来打开虚拟机终端
qq_61247494·2024-01-21 05:15

linux 部署Hadoop完全分布式集群教程

一、准备工作1、本次任务需要三台虚拟机，主机名分别为Master、Slave01、Slave02先在Master上安装好jdk和Hadoop（安装教程可以参考这两篇文章）然后为了简便我们直接克隆两台Master
qq_61247494·2024-01-21 05:15

Linux修改hadoop配置文件及启动hadoop集群详细步骤

目录一、配置Hadoop环境1.查看Hadoop解压位置2.配置环境变量3.编辑环境变量4.重启环境变量5.查看Hadoop版本，查看成功就表示Hadoop安装成功了二、修改配置文件1.检查三台虚拟机：
CatalinaCatherine·2024-01-21 05:45

linux下hadoop集群并且配置安装百分百成功

可以去jdk官网下载8或者11版本，别用18因为hadoop会不兼容，先卸载本机的自带的jdk，下面我给大家带一个我在用的hadoop链接hadoop下载链接假设在你的linux上面有三个虚拟机hadoop102hadoop103hadoop104
新城已无旧少年_·2024-01-21 05:45

Linux-Hadoop集群配置

文章目录一、配置Hadoop集群1、在master虚拟机上配置hadoop（1）编辑Hadoop环境配置文件-hadoop-env.sh（2）编辑Hadoop核心配置文件-core-site.xml（3
人生苦短@我用python·2024-01-21 05:44

hadoop分布式集群配置（linux）

linux配置hadoop分布式集群一、前期准备二、Jdk的安装三、配置hadoop集群安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接一、前期准备1.安装hadoop分布式之前先准备好
小-枝-丫·2024-01-21 05:44

linux上面hadoop配置集群

要在Linux上配置Hadoop集群，需要按照以下步骤进行操作：安装JavaDevelopmentKit(JDK)：首先，确保您的Linux系统上已经安装了JDK。
酷爱码·2024-01-21 05:14

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-

1.问题来源hadoop启动时控制台一直提示WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform…usingbuiltin-javaclasseswhereapplicableStartingnamenodeson
寂夜了无痕·2024-01-21 04:57

mac-hadoop3.3.6 源码构建以及踩坑记录

1.为什么需要构建源码因为hadoop的可执行文件是在专门的机器上编译的其中native库不一定能适用于每个机器导致在启动hadoop过程中出现烦人的警告WARNutil.NativeCodeLoader
寂夜了无痕·2024-01-21 04:55

HDFS中的Erasure Coding纠删码是个什么样的存在？

在Hadoop3.x之后就引入了纠删码技术（ErasureCoding）纠删码技术（Erasurecoding）简称EC，是一种编码容错技术。最早用于通信行业，数据传输中的数据恢复。它通过对数
小KKKKKKKK·2024-01-21 03:29

ElasticSearch 亿级数据检索深度优化！

一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考
夜空_2cd3·2024-01-21 03:53

Redis学习笔记--尚硅谷

、Tomcat、HTML、Linux、JDBC、SVNe解决扩展性的问题:Struts、Spring、SpringMVC、Hibernate、Mybatise解决性能的问题:NoSQL、Java线程、Hadoop
Geho·2024-01-21 02:52

大数据技术原理及应用课实验1 熟悉常用的Linux操作和Hadoop操作

实验1熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验2 ：熟悉常用的HDFS操作

实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（
Blossom i·2024-01-21 02:21

通过WordCount解析Spark RDD内部源码机制

HelloSparkHelloScalaHelloHadoopHelloFlinkSparkisAwesome然后在Eclipse中编写wo
联旺·2024-01-21 01:54

客户案例｜知名证券机构核心大数据平台升级之路

Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。
云掣YUNCHE·2024-01-21 01:17

Dubbo集群容错——Directory

本系列主要参考官网文档、芋道源码的源码解读和《深入理解ApacheDubbo与实战》一书。Dubbo版本为2.6.1。
就这些吗·2024-01-20 22:25

Spark(一): 基本架构及原理

前言:目标：架构及生态：Spark与hadoop:运行流程及特点：常用术语:Spark运行模式：RDD运行流程：前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009
贝賏赑钡·2024-01-20 22:46

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜·2024-01-20 21:28

从“设计思想”到“源码解读”，一步一步深入解析Java线程池！

01初识线程池我们知道，线程的创建和销毁都需要映射到操作系统，因此其代价是比较高昂的。出于避免频繁创建、销毁线程以及方便线程管理的需要，线程池应运而生。1.1线程池优势降低资源消耗：线程池通常会维护一些线程（数量为corePoolSize），这些线程被重复使用来执行不同的任务，任务完成后不会销毁。在待处理任务量很大的时候，通过对线程资源的复用，避免了线程的频繁创建与销毁，从而降低了系统资源消耗。提
废柴程序员·2024-01-20 20:11

Sqoop与HBase结合使用：实现强大的数据存储

Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而HBase则用于实时、非关系型数据存储和查询。
晓之以理的喵~~·2024-01-20 19:57

使用Sqoop从Oracle数据库导入数据

在大数据领域，将数据从关系型数据库（如Oracle）导入到Hadoop生态系统是一项常见的任务。Sqoop是一个强大的工具，可以帮助轻松完成这项任务。
晓之以理的喵~~·2024-01-20 19:27

Sqoop数据传输中的常见挑战及其解决方法

Sqoop是一个用于将数据传输到Hadoop生态系统的强大工具，但在实际使用中，可能会面临一些挑战。
晓之以理的喵~~·2024-01-20 19:26
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他