研磨hadoop

hadoop技术内幕

hadoop技术内幕深入解析mapreduce架构设计与实现原理1、基础篇1、阅读源代码前的准备2、mapreduce设计理念与基本架构3、mapreduce编程模型4、mapreducerpc框架解析
冥想者-定·2023-10-01 17:41

Hadoop技术内幕-Hadoop远程过程调用

1．远程过程调用（RPC）即允许程序调用位于其他机器上的过程：比如A是调用方，B是被调用方，A将信息传给B，然后挂起等待B反馈信息给A，最简单的过程调用是方法调用，典型的控制流同步模型（C/S模型在不同进程之间交互）就是一种RPC。RPC通过接口定义语言（IDL）描述远程调用的接口信息，通过调用IDL编译器之后会生成三个文件包括头文件（包含接口函数的定义），客户存根（可以理解为客户端），服务器骨架
MrGeroge·2023-10-01 17:10

【备忘】 HADOOP技术内幕 PDF 下载

内容简介“hadoop技术内幕”共两册，分别从源代码的角度对“common＋hdfs”和“mapreduce的架构设计和实现原理”进行了极为详细的分析。
javaxuexize·2023-10-01 17:10

Hadoop的技术内幕：深入理解Hadoop体系架构

作者：禅与计算机程序设计艺术1.简介Hadoop是目前最流行的开源分布式计算系统之一，其主要特点是高容错性、可扩展性和海量数据处理能力。
禅与计算机程序设计艺术·2023-10-01 17:40

【读书笔记】YARN架构设计与实现原理

Hadoop技术内幕：深入解析YARN架构设计与实现原理Hadoop技术内幕：深入解析YARN架构设计与实现原理董西成◆第2章YARN设计理念与基本架构由于MRv2将资源管理功能抽象成了一个独立的通用系统
KevinBrain·2023-10-01 17:40

zookeeper第一章：集群搭建

系列文章目录zookeeper第一章：集群搭建文章目录系列文章目录前言一、软件下载二、单机模式三、集群模式四、启动脚本总结前言zookeeper是apache基金会下的一个分布式管理框架，可以用来管理Hadoop
超哥--·2023-10-01 16:36

hadoop hdfs 命令行

创建hdfs目录\子目录hadoopfs-mkdir/userhadoopfs-mkdir/user/hduser查看目录hadoopfs-ls/hadoopfs-ls/user一次性查看所有目录hadoopfs-ls-R
竞媒体·2023-10-01 16:20

Hadoop和HBase中的压缩算法、压缩比和压缩配置介绍（详细）

adoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持。下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。通常情况下，想在CPU和IO之间取得平衡的话，用S
Java程序员YY·2023-10-01 15:14

Hadoop 系列（一）—— 分布式文件系统 HDFS

一、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
heibaiying·2023-10-01 13:27

Dink进阶之路

1、环境变量cat/etc/profile#flink需要exportHADOOP_CLASSPATH=`hadoopclasspath`exportHADOOP_CONF_DIR=/etc/hadoop
docsz·2023-10-01 12:39

zookeeper理论学习（paxos和Zab协议）

动物园管理员协调分布式环境下的服务解决分布式环境中的问题分布式环境下无法保证顺序执行分布式环境下无法明确执行结果（可能由于网络的波动,无法判断结果是否执行成功）无法保证数据一致性应用和dubbo配合保证多点服务的可用性hadoop
qtshe·2023-10-01 12:06

Kafka-Kerberos票据刷新问题

从日志可以发现会有如下报错：2023-09-1417:48:47,144[kafka-kerberos-refresh-thread-kafka/hdp-1@HADOOP.COM][]WARN[o.a.kafka.common.security.kerberos.KerberosLogin
W_Meng_H·2023-10-01 11:54

Hive的基本概念

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
乙腾·2023-10-01 05:13

Spark 运行模式----Standalone模式

这个要和Hadoop中的Standalone区别开来.这里的Standalone是指只用Spark来搭建一个集群,不需要借助其他的框架.是相对于Yarn和Mesos来说的.进入Spark/conf配置文件目录下
_云起·2023-10-01 01:02

OSCAR开源产业大会重磅来袭，六大亮点抢先看！

云计算与云原生领域的OpenStack,Kubernetes及Docker，大数据和人工智能领域的Hadoop,Spark,TensorFlow等更是凭借开源模式，在各
开源社·2023-09-30 22:14

分布式计算平台

0：Hadoop1：MapReduce(MR)，最为general和流行的一个分布式计算框架，其开源实现Hadoop已经得到了极为广泛的运用（Facebook,Yahoo!
小小哭包·2023-09-30 21:12

Hadoop3.x组件HDFS入门

HDFS，全称HadoopDistributedFileSystem，即Hadoop分布式文件存储系统，是Hadoop核心组件之一，是大数据生态最底层的分布式存储服务。
文景大大·2023-09-30 21:06

Ambari2.6.2 和HDP2.6.5搭建Hadoop集群-02_CentOS7.5 常用配置与基础优化

配置yum源把系统自带的源移动到别处，也可以直接删了mkdir-p/tmp/repo-bakmv/etc/yum.repos.d/*/tmp/repo-bak/配置阿里云基础yum源和epel源cd/etc/yum.repos.d/curlhttp://mirrors.aliyun.com/repo/Centos-7.repo-oCentos-7.repocurlhttp://mirrors.al
wk86·2023-09-30 20:37

基于ECLIPSE的HADOOP开发-----HDFS API学习

详细见本人另一个博客，http://www.cnblogs.com/wly603/archive/2012/04/19/2457297.html谢谢
wly603·2023-09-30 19:52

习

是微亮的朦朦天色与滑入方翻泥土的雾气是麻麻密密的粗纺布与一缸一井一草屋的庭院是诗文旁的小小注脚与静卧书案的一方砚台你以言以神情以行以姿态研磨年岁铺写家训捕朝云入行囊攫甘蔬进背篓将你点燃燃作那袅袅青烟那青烟被家风吹动绕过先祖姓名缭缭地爬上房梁歪歪扭扭地穿出祠堂轻轻飘落子曹习气间图片发自
温如言L·2023-09-30 19:30

HDFS的java API操作（基于Windows平台的Eclipse）

搭建开发环境方式一（windows环境下）：1、将官网下载的hadoop安装包解压，并记住下图所示的目录2、创建javaproject，右键工程--->buildpath--->Configurebuildpath3
weixin_30291791·2023-09-30 19:22

HDFS的shell和API操作

1.HDFS的shell操作hadoopversion//查看版本hadoopfs-appendToFilesrc(Linux中的文件)dest(hdfs目录下的文件)//追加hadoopfs-catfile
爱学习的小明同学·2023-09-30 19:22

Hadoop开发环境搭建之Eclipse配置

0主要参考教程1、厦门大学数据库实验室2、JeffreyZhou的博客园整个hadoop是基于Java开发的，所以要对hadoop进行一些稍微底层一点的开发，还是得编写java程序。
周五见·2023-09-30 19:21

（超详细）HDFS常用命令及HDFS API基础编程

2、HDFS数据存储模式——数据块（block）3、HDFS的副本存放策略及机架感知（1）副本存放策略：（2）机架感知：4、HDFS的读写过程（1）读流程：（2）写流程：二、HDFS常用命令1、Hadoop
IT路上的军哥·2023-09-30 19:50

Eclipse环境基于HDFS的API进行开发

文章目录IOUtils方式读取文件1.文件准备2.下载安装Eclipse3.打开eclipse，新建java项目，添加关于hadoop的一些包4.包内新建类进行开发5.利用打包的方式生成javajar包
陈七.·2023-09-30 19:19

查看端口被占用：lsof

lsof安装命令[sarah@hadoop102bin]$sudoyuminstall-ylsof如何查看比如查看8080端口被谁占用了[sarah@hadoop102bin]$lsof-i:8080COMMANDPIDUSERFDTYPEDEVICESIZE
m0_37759590·2023-09-30 17:05

程序员避免内卷化？

换成人话来说，以前你只要会Hadoop、MapReduce,你就可以很容易找到月薪1W的工作，而现在你可能都找不到工作了；以前一
AI课工场·2023-09-30 14:20

虚拟机中与主机名相关的配置文件（修改主机名后，需要修改的配置文件）

二、过程1.修改主机名hostnamectlset-hostname主机名2.core-site.xml修改hadoop的etc/hadoop/目录下的core
赖远远·2023-09-30 13:42

hadoop.ipc:Client

org.apache.hadoop.ipc:Client[]-Failedtoconnecttowgqccbsun07/172.29.100.147:8032:server:retriesgetfailedduetoexceededmaximumallowedretriesnumber
arbalest1080·2023-09-30 09:08

Spark RDD 编程指南(官方文档中文版+补充)

通过从hadoop文件系统中文件或现有的scala集合通过转换来创建RDD.用户还可以将RDD保存在内存中，以使其能够在并行操作中有效的重用，最后RDD能够自动从节点故障中恢复。
袭明·2023-09-30 08:55

MaxwellBootstrapUtility - Connections could not be acquired from the underlying database

問題：maxwell使用bootstrap同步數據，報如下的bugconnectingtojdbc:mysql://hadoop102:3306/maxwell?
m0_37759590·2023-09-30 08:12

hadoop集群作用

Hadoop主要解决海量数据存储与计算的问题，是大数据技术中的基石。Hadoop具体是做：1、海量数据存储；2、资源管理，调度和分配；3、并行数据处理。
是草莓熊吖·2023-09-30 07:21

-bash: start-dfs.sh: command not found

启动hdfs的时候报：-bash:start-dfs.sh:commandnotfound主要原因是start-dfs.sh的命令在hadoop安装目录的sbin目录下，如果在etc/profile里面只配置了
如饥似渴的rocky·2023-09-30 07:33

Linux Ubuntu系统环境下hadoop的安装以及伪分布式集群安装与配置

环境安装条件1.1版本兼容问题本人在安装过程中遇到的很多问题是由版本不兼容导致的，安装完成后的版本：Ubuntu18.04.6VMwareWorkstation16VMtools-Tools-10.3.21hadoop
尚棹芸·2023-09-30 06:20

Centos7下Hadoop3.x源码编译(Zstd问题已解决)

工具组件版本下载地址JDK1.8.0_131https://www.oracle.com/technetwork/java/javase/downloads/index.htmlHadoop3.1.1http
weixin_42868638·2023-09-30 06:57

Centos7下Hadoop3.x源码编译（支持zstd压缩方式）

工具安装组件版本下载地址JDK1.8.0_131https://www.oracle.com/technetwork/java/javase/downloads/index.htmlHadoop3.1.1http
行思坐忆，志凌云·2023-09-30 06:56

habase单机版安装及基本功能演示

本文所使用的Linux发行版本为：CentOSLinuxrelease7.4.1708(Core)准备工作创建用户useradd-mhadooppasswdhadoop下载安装包1.jdk到官方下载页面
飞鸿踏雪2018·2023-09-30 03:12

26Hbase介绍及其数据模型和架构（hbase学习1）

Hbase介绍Hadoop生态系统spark已经替代mahouthbase简介：非关系型数据库知识面扩展cassandra、hbase、mongodb（文档型数据库）、rediscouchdb，文件存储数据库
文茶君·2023-09-30 03:08

【Spark】Job触发流程原理

1.通过例子分析下：vallines=sc.textFile()首先，hadoopFile()方法的调用，会创建一个HadoopRDD，其中的元素是（key，value）pair，key是HDFS或文本文件的每一行的
果果小姚·2023-09-30 01:22

spark工作原理和介绍

是HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再
摩V羯座·2023-09-30 01:06

6个人如何维护上千规模的大数据集群？

其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
Alukar·2023-09-29 22:41

CC00001.clickhouse——|Hadoop&OLAP_ClickHouse.V01|——|ClickHouse.v01|概述|

一、ClickHouse概述###---ClickHouse概述~~~ClickHouse是一个快速开源的OLAP数据库管理系统，它是面向列的，~~~允许使用SQL查询实时生成分析报告。~~~随着物联网IOT时代的来临，IOT设备感知和报警存储的数据越来越大，~~~有用的价值数据需要数据分析师去分析。大数据分析成了非常重要的环节。~~~当然近两年开启的开源大潮，为大数据分析工程师提供了十分富余的工
yanqi_vip·2023-09-29 20:07

Hadoop、Spark、Storm、Flink区别及选择

hadoop、spark、storm、flink如何选择hadoop和spark是更偏向于对大量离线数据进行批量计算，提高计算速度storm和flink适用于实时在线数据，即针对源源不断产生的数据进行实时处理
墨痕诉清风·2023-09-29 19:52

pyspark 检测任务输出目录是否空，避免读取报错

前言在跑调度任务时候，有时候子任务需要依赖前置任务的输出，但类似读取Parquet或者Orc文件时，如果不判断目录是否为空，在输出为空时会报错，所以需要check一下，此外Hadoop通常在写入数据时会在目录中生成一个名为
三劫散仙·2023-09-29 16:49

docer安装hadoop

基于Docker构建Hadoop平台0.绪论使⽤Docker搭建Hadoop技术平台，包括安装Docker、Java、Scala、Hadoop、Hbase、Spark。
汉卿HanQ·2023-09-29 13:59

mac docker部署hadoop集群

dockerdocker安装过程可自行查找资料，mac下docker可以使用brew命令安装安装之后，查看docker版本，确认安装成功docker-v2.下载jdk最好下载jdk-8，jdk的版本过高可能hadoop2
几窗花鸢·2023-09-29 12:20

Hive 分区字段限制

FailedwithexceptionMetaException(message:javax.jdo.JDOException:Exceptionthrownwhenexecutingquery:SELECTDISTINCT'org.apache.hadoop.hive.metastore.model.MPartition'ASNUCLEUS_T
phycsgy·2023-09-29 12:42

三主机安装Hadoop

1.主机：10.21.14.16410.21.14.16510.21.14.1662.版本：hadoop-2.7.7jdk>1.83.参考：Hadoop完全分布式集群搭建-4.安装：1.配置各台虚拟机之间免秘钥登录参考
soane1983·2023-09-29 11:43

什么是 Hadoop ？它主要能解决 “大数据” 的哪两个问题？

前言之前工作中,有接触到大数据的需求,虽然当时我们体系有专门的大数据部门,但是由于当时我们中台重构,整个体系的开发量巨大,共用一个大数据部门,人手已经忙不过来,没法办,为了赶时间,我自己负责的系统的大数据相关操作,由我们自己承担了。此前对大数据的知识了解的很少，于是晚上回去花时间突击大数据知识，白天就开始上手干，一边学一边做，总算在部门规定的时间，跟系统一起上线了。后来的维护迭代就交给大数据去了，
废柴程序员·2023-09-29 09:23

【实战】SpringBoot + KafKa

org.springframework.kafkaspring-kafka2.配置application.ymlkafka部分：kafka:#指定kafka代理地址，可以多个bootstrap-servers:hadoop
NBI大数据可视化分析·2023-09-29 09:03
上一页 89 90 91 92 93 94 95 96 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他