细细品味Hadoop

2019-08-11

也喜欢把这些奇思妙想诉诸笔端，集结成册，偶尔翻出来细细品味，觉得自己真真的有当作家的潜质！写日记的习惯甚至坚持到大学毕业结婚之前，这也挺少见的吧！
Chelsea_b5b7·2024-01-05 04:50

2022-03-16

细细品味，这起工伤事故蕴藏的深刻教训实在令人深思。首先，“不伤害自己”简单看起来是一个很幼稚的问题，
06d6c98f8607·2024-01-05 02:24

大数据与hadoop的介绍

大数据是什么，什么是大数据？萝卜和青菜各自有各自的看法，下面说说我所了解到的大数据，那，就从大数据特征说起：大数据，不仅仅具备大的特征，只有外行人才会天真的以为大数据，就是数据，量大！量大只是大数据其中的一个特征，除了这个特征之外，它还和另外三个特征和起来组成了大数据必不可少的四个特征：Volume大量的海量的数据Variety多种多样的数据的类型多种多样，比如数据来源多样，企业内部的日志，互联网
昨天_03fb·2024-01-05 00:31

kudu NoSQL数据库详解

一、Hbase、Kudu和ClickHouse对比Hadoop生态圈中HDFS一直用来保存底层数据。
wespten·2024-01-04 23:09

金色麦芒的2023

通过学习Hadoop、Spark等框架，我掌握了大数据的存储、处理和分析技术，能够更高效地处理大规模数据集。同时，我也深入学习
溜达的大象·2024-01-04 22:44

Hadoop集群三节点搭建（一）

一、第一台虚拟机准备确认是可以上网，方便下载文件和工具，使用ping命令测试下安装工具net-tool：工具包集合，包含ifconfig等命令，大家可以根据自己需要按需下载创建普通用户attest，并修改attest用户的密码配置attest用户具有root权限，方便后期加sudo执行root权限的命令在/opt目录下创建文件夹，并修改所属主和所属组二、安装JDK卸载虚拟机自带的JDKrpm-qa
DIY……·2024-01-04 21:08

沉得住气，是一个人最了不起的才华

细细品味便能发觉其中深意，我们行走于世间，正如“茶的一生”。最终闻到的茶叶清香，背后其实是繁杂的工序和耐心制成。做人，唯有沉得住气，待历经千锤百炼之后，才能感受到岁月回馈的甘甜。
每星期一本书·2024-01-04 21:18

微信基于StarRocks的湖仓一体实践

作者：StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件，其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时数仓的阶段，但仍旧面临着数据体验割裂
StarRocks_labs·2024-01-04 20:38

大数据应用场景-搜索引擎概述

从互联网网页爬取网页数据,存储到网页库;2.建立索引:分析整理爬虫收集到的数据资源,建立索引,为检索系统提供数据;3.提供检索服务:从预处理好的资源里挑选出用户最满意的结果最快最好的展现给用户;二.基于HadoopMapReduce
GuangHui·2024-01-04 16:14

hbase编程

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.
SunsPlanter·2024-01-04 15:23

11111111

参考步骤1.使用vim编辑器打开/usr/local/hadoop/etc/hadoop/core-site.xml文件，它的初始内容如下：修改以后，core-site.xml文件的内容如下：hadoop.tmp.dirfile
SunsPlanter·2024-01-04 15:23

赤脚大咖的通透人生——一见如故篇

有故事的老男人像老酒，需细细品味，半生的荣辱，半生的悲壮，抹尽泪水，砥砺前行；其实我还没有喝，就已经醉了。
心喜欢生0003·2024-01-04 14:00

2024.1.3 Spark on Yarn部署方式与工作原理

YARN模式：这是一种分布式资源管理器，可以与Hadoop集成，将
白白的wj·2024-01-04 11:44

【数据湖架构】数据湖101：概述

数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可以建立在多种技术上，如Hadoop，NoSQL，AmazonSimpleStorageService，关系数据库或各种组合根据一份名为“什么是数据湖
架构师研究会·2024-01-04 10:08

Flume基础知识（四）：Flume实战之实时监控单个追加文件

1）案例需求：实时监控Hive日志，并上传到HDFS中2）需求分析：3）实现步骤：（1）Flume要想将数据输出到HDFS，依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh
依晴无旧·2024-01-04 10:08

生活的仪式感

卢晓芳现代生活节奏感特别强，好象做什么事都是速度速度，没有一点慢的感觉，还没来得及细细品味，一天就悄无声息地过去了。
卢晓芳·2024-01-04 10:51

Java技术栈 —— Hadoop入门（一）

Java技术栈——Hadoop入门（一）一、Hadoop第一印象二、安装Hadoop三、Hadoop解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2HDFS-核心组件3.1.3YARN
键盘国治理专家·2024-01-04 08:02

人生就是一个经典菜谱

人生其实就像是一个个经典的菜谱：童年——菠萝烧肉：香甜可口，人见人爱，回味无穷，只不过当你想细细品味时，已经没有了。上学——凉拌苦瓜丝：苦中带甜。
港儿i·2024-01-04 08:44

大数据-HDFS原理

HDFS（HadoopDistributionFileSystem）是基于谷歌发布的GFS论文设计的；出了具有其他文件系统具有的特性之后，HDFS还具有：高容错性：认为硬件总是不可靠的；高吞吐量：为大量数据访问的应用提供高吞吐量的支持
运维仙人·2024-01-04 07:00

【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比

【Hadoop-HDFS-S3】HDFS和存储对象S3的对比1）可扩展性2）数据的高可用性3）成本价格4）性能表现5）数据权限6）其他限制虽然ApacheHadoop以前都是使用HDFS的，但是当Hadoop
bmyyyyyy·2024-01-04 07:25

对比Pig、Hive和SQL，浅看大数据工具之间的差异

以下为译文有人说对于大数据分析来说Hadoop才是炙手可热的新技术，SQL虽然久经考验但已经有些过时了。这话说得不错，但有非常多的项目都用Hadoop作
MayerBin·2024-01-04 06:09

读《人间鲁迅》上前半部分有感

7、读书要用心咀嚼，细细品味，才能
林羲之·2024-01-04 04:02

CloudManager大数据本地环境标准部署文档

一、基本信息文档目的：标准化、规范化Hadoop在本地化环境中部署所涉及的操作和流程，以便高效、高质地落地本地化环境部署的工作。
有语忆语·2024-01-04 04:29

【SpringBoot框架篇】34.使用Spring Retry完成任务的重试

SpringRetry是从SpringBatch独立出来的一个功能，已经广泛应用于SpringBatch,SpringIntegration,SpringforApacheHadoop等Spring项目
皓亮君·2024-01-04 04:45

#今日鸡汤#

3.别为了缅怀过去，忘了现在，一切都是最好的安排，细细品味，方能感悟。4.让别人低头不是最厉害的，让自己开心才是本事。
341_7020·2024-01-04 04:45

多台机器的时钟同步

本文将以第二种方式介绍三台机器之间的时间同步具体的操作步骤：本文是以centos6.5作为服务器搭建的三台机器Hadoop伪分布式的平台，解决三台机器之间的时间同步的问题，主机master的IP为192.168.141.130
无为二里·2024-01-04 03:26

docker-compose部署hadoop集群（高可用）—— 筑梦之路

hadoop高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址：https://zookeeper.apache.org/releases.html#zookeeper
筑梦之路·2024-01-04 03:11

从零开始了解大数据(六)：数据仓库Hive篇

目录前言一、数据仓库基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)Hadoop与
橘子-青衫·2024-01-04 02:51

从零开始了解大数据(五)：YARN篇

目录前言一、HadoopYARN介绍二、HadoopYARN架构与组件1.ResourceManager（RM）2.NodeManager（NM）3.ApplicationMaster三、程序提交YARN
橘子-青衫·2024-01-04 02:20

从零开始了解大数据(七)：总结

系列文章目录从零开始了解大数据(一)：数据分析入门篇-CSDN博客从零开始了解大数据(二)：Hadoop篇-CSDN博客从零开始了解大数据(三)：HDFS分布式文件系统篇-CSDN博客从零开始了解大数据
橘子-青衫·2024-01-04 02:19

MapReduce计算模型、数据流和控制流，Hadoop流的工作原理

1、Job在Hadoop中，每个MapReduce任务都被初始化为一个Job。每个Job又可以分为两个阶段：Map阶段和Reduce阶段。这两个阶段分别用两个函数来
南宫凝忆·2024-01-04 01:47

VirtualBox6.0 搭建Ubuntu18.04集群环境

image.png2、下载Ubuntu18.04镜像应为计划搭建hadoop集群，所以用server版本。
大道至简非简·2024-01-04 00:54

Spark相关知识点（期末复习集锦）

一、Spark简介Spark，拥有hadoopMR所具有的优点，但不同于MR的是job中监测结果可以保存在内存中，从而不再需要读写HDFS，因此spark能够更好的适用于数据挖掘与机器学习等需要迭代的mr
夜をむかえる·2024-01-03 22:49

悟《文化苦旅》

而《文化苦旅》正是透过历史的视角，描绘出幅丰富多彩且富有历史文化的《清明上河图》……·品·细细品味余秋雨先生的《文化苦旅》，心灵会有一番被洗涤后的宁静:思想会有一片被净化后的淡然:情感会有一阵被过滤后的闲适
派大星没有pai·2024-01-03 22:59

Spark向Hbase中写数据报异常:org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 5

解决:将第二行代码中的表名写全,并指定在哪个名称空间valtable:Table=con.getTable(TableName.valueOf("info:tb_order"))
夺命大翻斗·2024-01-03 22:12

关于Cloudera Hadoop的安装（CentOS）- 官文标注（待完成）

CDH5andClouderaManager5RequirementsandSupportedVersionsInanenterprisedatahub,ClouderaManagerandCDHinteractwithseveralproductssuchasApacheAccumulo,ApacheImpala(incubating),Hue,ClouderaSearch,andClouder
DazzlingTiger·2024-01-03 21:15

hive基本概念原理与底层架构

hive是一个数据仓库基础工具在hadoop中用来处理结构化的数据，它架构在hadoop之上，总归为大数据，并使得查询和分析方便，提供简单的sql查询功能，可以讲sql语句转换成mapreduce任务进行
byway_lyn·2024-01-03 20:22

大数据Hadoop入门学习线路图

Hadoop是系统学习大数据的必会知识之一，Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的
千_锋小小千·2024-01-03 19:12

Hadoop写文件时datanode发生故障的处理过程

学习Hadoop写文件的流程时，看《Hadoop权威指南》中文版，在datenode发生故障时的处理那里，真的是看不懂。于是找来英文原版进行翻阅，终于有种看明白的感觉了。
小北觅·2024-01-03 18:03

【Spark精讲】RDD缓存源码分析

以HadoopRDD为例overridedefcompute(split:Partition,context:TaskC
话数Science·2024-01-03 18:08

我的大数据之路：2023年度总结

2023年度最值得骄傲的事从0到1搭建了离线数仓体系，针对Hadoop生态组件的原理和特性有了深入的理解。
话数Science·2024-01-03 18:07

Flink-Paimon 案例

Flink-Paimon案例1、下载FlinkJar包并解压tar-xzfflink-*.tgz2、下载PaimonJar包放进Flink的lib中cppaimon-flink-*.jar/lib/3、如果运行在Hadoop
猫猫爱吃小鱼粮·2024-01-03 16:49

开源大数据集群部署（一）集群实施规划

主机操作系统要求软件信息参数配置8C16G操作系统版本CentOSLinuxrelease7.8.2003(Core)java版本javaversion“1.8.0_281”hadoop版本hadoop3.2.4
云掣YUNCHE·2024-01-03 15:42

2018年最强干货！年薪80万+的大数据开发【教程】都在这儿！

技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。
yoku酱·2024-01-03 13:36

【HBase】——Java API

1环境1.1依赖org.apache.hbasehbase-client2.4.111.2配置文件hbase-site.xmlhbase.zookeeper.quorumhadoop102:2181,hadoop103
那时的样子_·2024-01-03 12:47

大数据实时项目必备技能二：kafka有话说

导读：Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与ClouderaHadoop，ApacheStorm，ApacheSpark集成。
栀子花_ef39·2024-01-03 11:05

数字化转型必备：数睿通 2.0 数据中台升级详解

资源评价）数据集市完善，打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块，改为读取数据库的元数据，与同步的数据做关联匹配此外，数据生产模块很多朋友对于Hadoop
小螺旋丸·2024-01-03 10:51

新年快乐—数睿通2.0数据中台全新功能模块发布

FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块，同时优化了一下数据集成，目前已经基本开发完毕了，集成了Flink，Hadoop
小螺旋丸·2024-01-03 10:43

Hive自定义函数支持国密SM4解密

当前项目背景需要使用到国密SM4对加密后的数据进行解密，Hive是不支持的，尝试了华为DWS数仓，华为只支持在DWS中的SM4加密解密，不支持外部加密数据DWS解密新建Maven工程只需要将引用的第三方依赖打到jar包中，hadoop
4935同学·2024-01-03 08:03

D043-4组董瑄-《这些人，那些事》读书笔记

----吴念真2、人生很多滋味都要到一个年纪才能懂得去细细品味，比如类似这种相濡以沫的感动和幸福，然而当你一旦懂了，一起却都已经远了。
董瑄100514·2024-01-03 08:01
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他