hadoop深入浅出

docker-compose部署hadoop集群（高可用）—— 筑梦之路

hadoop高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址：https://zookeeper.apache.org/releases.html#zookeeper
筑梦之路·2024-01-04 03:11

从零开始了解大数据(六)：数据仓库Hive篇

目录前言一、数据仓库基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)Hadoop与
橘子-青衫·2024-01-04 02:51

从零开始了解大数据(五)：YARN篇

目录前言一、HadoopYARN介绍二、HadoopYARN架构与组件1.ResourceManager（RM）2.NodeManager（NM）3.ApplicationMaster三、程序提交YARN
橘子-青衫·2024-01-04 02:20

从零开始了解大数据(七)：总结

系列文章目录从零开始了解大数据(一)：数据分析入门篇-CSDN博客从零开始了解大数据(二)：Hadoop篇-CSDN博客从零开始了解大数据(三)：HDFS分布式文件系统篇-CSDN博客从零开始了解大数据
橘子-青衫·2024-01-04 02:19

MapReduce计算模型、数据流和控制流，Hadoop流的工作原理

1、Job在Hadoop中，每个MapReduce任务都被初始化为一个Job。每个Job又可以分为两个阶段：Map阶段和Reduce阶段。这两个阶段分别用两个函数来
南宫凝忆·2024-01-04 01:47

深入和浅出

中午吃了我们心心念念的螺蛳粉，回酒店的路上和婷儿交流了备课的一些心得，我跟她聊起自己的备课思路，那就是深入浅出。至于怎样做
碎雨花·2024-01-04 01:36

VirtualBox6.0 搭建Ubuntu18.04集群环境

image.png2、下载Ubuntu18.04镜像应为计划搭建hadoop集群，所以用server版本。
大道至简非简·2024-01-04 00:54

【夜读所悟】7月共读《非暴力沟通》之“以同理心倾听”

在《非暴力沟通》这本书前边的阅读里，卢森堡博士深入浅出地为我们阐述了如何通过非暴力沟通的四个要素诚实地表达自己。
金属的灵魂·2024-01-04 00:51

科普，产品推广中CP(X)指的是什么？

这篇文章，我就深入浅出的从以下两个方面，来为大家讲解下，什么产品适合哪种推广方式，以及每种推广方式的利弊。一、各种名词含义解释二、适用场景和产品介绍一、各种名词
老虎讲运营·2024-01-04 00:57

Spark相关知识点（期末复习集锦）

一、Spark简介Spark，拥有hadoopMR所具有的优点，但不同于MR的是job中监测结果可以保存在内存中，从而不再需要读写HDFS，因此spark能够更好的适用于数据挖掘与机器学习等需要迭代的mr
夜をむかえる·2024-01-03 22:49

Spark向Hbase中写数据报异常:org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 5

解决:将第二行代码中的表名写全,并指定在哪个名称空间valtable:Table=con.getTable(TableName.valueOf("info:tb_order"))
夺命大翻斗·2024-01-03 22:12

关于Cloudera Hadoop的安装（CentOS）- 官文标注（待完成）

CDH5andClouderaManager5RequirementsandSupportedVersionsInanenterprisedatahub,ClouderaManagerandCDHinteractwithseveralproductssuchasApacheAccumulo,ApacheImpala(incubating),Hue,ClouderaSearch,andClouder
DazzlingTiger·2024-01-03 21:15

深入浅出 zabbix 4.0

近日完成《深入浅出zabbix4.0》视频教程的录制并正式发布，该教程基于zabbix4.2，对Zabbix进行全面讲解。欢迎大家围观。
clm_sky·2024-01-03 21:48

hive基本概念原理与底层架构

hive是一个数据仓库基础工具在hadoop中用来处理结构化的数据，它架构在hadoop之上，总归为大数据，并使得查询和分析方便，提供简单的sql查询功能，可以讲sql语句转换成mapreduce任务进行
byway_lyn·2024-01-03 20:22

大数据Hadoop入门学习线路图

Hadoop是系统学习大数据的必会知识之一，Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的
千_锋小小千·2024-01-03 19:12

Hadoop写文件时datanode发生故障的处理过程

学习Hadoop写文件的流程时，看《Hadoop权威指南》中文版，在datenode发生故障时的处理那里，真的是看不懂。于是找来英文原版进行翻阅，终于有种看明白的感觉了。
小北觅·2024-01-03 18:03

【Spark精讲】RDD缓存源码分析

以HadoopRDD为例overridedefcompute(split:Partition,context:TaskC
话数Science·2024-01-03 18:08

我的大数据之路：2023年度总结

2023年度最值得骄傲的事从0到1搭建了离线数仓体系，针对Hadoop生态组件的原理和特性有了深入的理解。
话数Science·2024-01-03 18:07

《思维的漏洞》有感

作为经济类从书，深入浅出的分析了经济学思维在日常生活中的应用，也指出了一些被很多人认可的思维的“错误”和被误导的思维，从而回到商家与消费者在博弈时的普遍心理活动。
pss的平行世界·2024-01-03 18:57

深入浅出 Cassandra：架构与组件解析

本文将深入浅出地介绍Cassandra的架构与组件，以及其核心概念、算法原理、代码实例等方面，为读者提供一个全面
OpenChat·2024-01-03 17:39

Flink-Paimon 案例

Flink-Paimon案例1、下载FlinkJar包并解压tar-xzfflink-*.tgz2、下载PaimonJar包放进Flink的lib中cppaimon-flink-*.jar/lib/3、如果运行在Hadoop
猫猫爱吃小鱼粮·2024-01-03 16:49

Vue代码规范——组件/实例选项顺序

参考《深入浅出Vue.js》。
_hider·2024-01-03 16:03

【Java并发】深入浅出 synchronized关键词原理-上

一个问题的思考建设我们有两个线程，一个进行5000次的相加操作，另一个进行5000次的减操作。那么最终结果是多少packagecom.jia.syn;importjava.util.concurrent.TimeUnit;/***@authorqxlx*@date2024/1/210:08PM*/publicclassSynTest{privateIntegertickets=0;publicvo
qxlxi·2024-01-03 16:06

开源大数据集群部署（一）集群实施规划

主机操作系统要求软件信息参数配置8C16G操作系统版本CentOSLinuxrelease7.8.2003(Core)java版本javaversion“1.8.0_281”hadoop版本hadoop3.2.4
云掣YUNCHE·2024-01-03 15:42

[嵌入式专栏](系列一 、C++语言详解)

编译过程6.1预处理6.2编译6.3汇编6.4链接7.小结【极客技术传送门】:https://blog.csdn.net/Engineer_LU/article/details/1351494851.前言深入浅出
极客 - L U·2024-01-03 15:38

[嵌入式专栏](系列一 、C语言)

编译过程6.1预处理6.2编译6.3汇编6.4链接7.小结【极客技术传送门】:https://blog.csdn.net/Engineer_LU/article/details/1351494851.概要深入浅出
极客 - L U·2024-01-03 15:36

[嵌入式专栏](系列一 、协议 - 串口详解)

article/details/1351494851.概要1.作为嵌入式玩家，串口是必备的技能2.串口之所以称之为串口，是因为数据串行传输，这篇文章详述异步串口3.接下来从物理层,协议层,应用层，从下往上深入浅出剖析
极客 - L U·2024-01-03 15:36

2018年最强干货！年薪80万+的大数据开发【教程】都在这儿！

技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。
yoku酱·2024-01-03 13:36

【HBase】——Java API

1环境1.1依赖org.apache.hbasehbase-client2.4.111.2配置文件hbase-site.xmlhbase.zookeeper.quorumhadoop102:2181,hadoop103
那时的样子_·2024-01-03 12:47

大数据实时项目必备技能二：kafka有话说

导读：Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与ClouderaHadoop，ApacheStorm，ApacheSpark集成。
栀子花_ef39·2024-01-03 11:05

《如何进行规范有效的教学设计》听课心得

文字/付军丽10月19日上在林州姚村镇一中，听徐文祥老师深入浅出的讲解阅读教学设计的策略，幽默风趣的语言，充满智慧的讲解，让我对阅读教学设计有种豁然开朗之感。一、怎样进行教学设计？
付军丽·2024-01-03 10:04

【Java 进阶篇】深入浅出 Jedis 连接池与工具类

在现代的软件开发中，高效地与数据存储系统进行交互是至关重要的。而对于Redis这样的高性能键值存储系统，连接池成为了一个不可或缺的工具。本文将围绕Jedis连接池及其工具类展开详细解说，让我们一起揭开连接池的神秘面纱。走进Redis与JedisRedis，一个强大的内存数据库，以其高性能、支持丰富数据结构和灵活应用而受到开发者的喜爱。而Jedis，是Redis的Java客户端，为Java开发者提供
繁依Fanyi·2024-01-03 10:20

数字化转型必备：数睿通 2.0 数据中台升级详解

资源评价）数据集市完善，打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块，改为读取数据库的元数据，与同步的数据做关联匹配此外，数据生产模块很多朋友对于Hadoop
小螺旋丸·2024-01-03 10:51

新年快乐—数睿通2.0数据中台全新功能模块发布

FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块，同时优化了一下数据集成，目前已经基本开发完毕了，集成了Flink，Hadoop
小螺旋丸·2024-01-03 10:43

Hive自定义函数支持国密SM4解密

当前项目背景需要使用到国密SM4对加密后的数据进行解密，Hive是不支持的，尝试了华为DWS数仓，华为只支持在DWS中的SM4加密解密，不支持外部加密数据DWS解密新建Maven工程只需要将引用的第三方依赖打到jar包中，hadoop
4935同学·2024-01-03 08:03

【深入浅出SpringCloud源码探究】「Netflix系列之Ribbon+Fegin」微服务化的负载均衡组件源码剖析与实战开发全流程（Fegin篇）

微服务化的负载均衡组件源码剖析与实战开发全流程什么是FeignMaven依赖引入让调用更轻松使用介绍在启动类上面增加配置定义Fegin调研方法请求类以及方法@PathVariable注解定义调用方法@RequestParam注解没有使用@RequestParam注解的情况下有@RequestParam注解的情况下不指定value属性示例代码如下指定value属性Feign的默认配置编码器和解码器编
洛神灬殇·2024-01-03 08:03

深入浅出理解转置卷积Conv2DTranspose

温故而知新，可以为师矣！一、参考资料论文：Aguidetoconvolutionarithmeticfordeeplearninggithub源码：Convolutionarithmeticbilibili视频：转置卷积（transposedconvolution）转置卷积（TransposedConvolution）【keras/Tensorflow/pytorch】Conv2D和Conv2DT
花花少年·2024-01-03 07:06

深入浅出理解TensorFlow的padding填充算法

一、参考资料notes_on_padding_2二、TensorFlow的padding算法本文以TensorFlowv2.14.0版本为例，介绍TensorFlow的padding算法。1.引言tf.nn.conv2dandtf.nn.max_pool2d函数都有padding参数，在执行函数之前，都需要进行填充padding（零元素）操作。padding参数可以是VALID和SAME，VALI
花花少年·2024-01-03 07:27

计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计

流程：1.Python爬虫采集中华健康网约10万医生数据，最终存入mysql数据库；2.使用pandas+numpy/hadoop+mapreduce对mysql中的医生数据进行数据分析，使用高德地图解析地理位置
计算机毕业设计大神·2024-01-03 07:53

纠删码ReedSolomon

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。
旅僧·2024-01-03 07:14

Clojure 实战(4)：编写 Hadoop MapReduce 脚本

Hadoop简介众所周知，我们已经进入了大数据时代，每天都有PB级的数据需要处理、分析，从中提取出有用的信息。Hadoop就是这一时代背景下的产物。
张吉Jerry·2024-01-03 07:35

《沙丁鱼巴新》：给孩子的科普科幻阅读书目——海洋篇

这些故事通过深入浅出、想象奇特、寓教于乐的情节，把知识与文学串联在一起，适合青少年学生阅读。力求让青少年朋友读了《沙丁鱼巴新》，能够
阅读与写作·2024-01-03 06:41

《佛畏系统》：凡夫畏果，菩提畏因，佛畏系统。

经过万维钢博士的一番深入浅出地讲解，我似醍醐灌顶，豁然开朗。《佛畏系统》这本书的目的是提供一些日常事务的“高观点”，以此启发你建立工作、学习、做事、情感等各方面的体系，帮你提升处理日常事务的决策力。
石墨杨·2024-01-03 05:30

python操作hdfs及hbase

创建目录client.makedirs("/tmp/ct/test51")默认权限755，用户名：dr.who可以创建多层级目录（类似mkdir-p）如果存在权限不足，可以通过命令行对上层目录权限进行修改：hadoopdfs-chmod-R777
佛系小懒·2024-01-03 04:26

使用Datax将Hive中的表迁移到MySQL

无法上传（2）解压datax压缩包sudotar-zxvfdatax.tar.gz-C/usr/local（解压到的目录，可自己设置）（3）修改文件夹名称 mvdatax.tar  datax（4）给hadoop
孤城暮雨@·2024-01-03 04:17

Azkaban+Spark资源调度

前提条件：各节点之间的免密、登录启动Hadoop集群、Spark、Azkaban、Hive免密登录操作ssh-keygen-trsaslave01执行：scp~/.ssh/id_rsa.pubhadoop
孤城暮雨@·2024-01-03 04:46

计算机毕业设计大数据类题目

序号题目题目要求（该课题的研究目的、所实现的主要功能等）1基于Hadoop的大数据宠物商城推荐系统收集大量有关宠物产品和用户购买行为的数据，并使用hadoop进行数据处理和存储，以构建一个个性化的宠物产品推荐系统
程序源码123·2024-01-03 00:14

hive多分隔符外表支持

CREATEEXTERNALTABLEtext_mid1(idSTRING,nameSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.contrib.
甲乙寄几·2024-01-02 19:31

Hbase介绍以及Hive优势

因为HBase基于Hadoop的HDFS完成分布式存储，以及MapReduce完成分布式并行计算，所以它的一些特点与Hadoop相同，依靠横向扩展，通过不断增加性价比高的商业服务器来增加计算和存储能力。
毛毛虫同学·2024-01-02 14:38

10.Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
__元昊__·2024-01-02 13:45
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他