HDFS深入浅出

《一曲流水红颜寞》

还有人愿意慢下来，细细品读经典，又将经典以深入浅出的方式呈现出来，只有真正热爱的人才能做到。
小关不关·2024-08-25 23:13

图形学论文笔记

文章目录PBD：XPBD：shapematchingPBD：【深入浅出NvidiaFleX】(1)PositionBasedDynamics最简化的PBD(基于位置的动力学)算法详解-论文原理讲解和太极代码最简化的
Jozky86·2024-08-25 18:10

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.2启动和停止Hadoop集群start-dfs.shstart-yarn.shstop-dfs.shstop-yarn.shstart-dfs.sh和stop-dfs.sh分别用于启动和停止HDFS
william.zhang(张)·2024-08-25 15:52

前端宝典十六：深入浅出8大设计模式

本文主要探讨前端开发中的各种设计模式，主要分类有：单例模式建造者模式代理模式装饰器模式适配器模式策略模式观察者模式发布订阅模式通过对他们实际开发中的使用场景的解析，深入浅出的一起更全面直观的进行学习：一
桃子叔叔·2024-08-25 11:29

深入浅出：npm常用命令详解与实践

目录1.初识npm1.1什么是npm？1.2安装npm2.npm常用命令详解2.1项目初始化2.1.1npminit2.2安装包2.2.1npminstall2.2.2npminstall2.3更新包[email protected]移除包2.4.1npmuninstall2.5版本管理2.5.1npmversion2.6其他常用命令2.6.1npmau
concisedistinct·2024-08-25 09:10

HDFS的编程

一、HDFS原理HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分
卍king卐然·2024-08-25 07:02

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

#每天一本书+一页笔记# 1706《非线性成长》

作者善于将经验提炼为模型、理论，联系实例深入浅出讲述，独到
May终身阅读者·2024-08-22 18:43

深入浅出：大型语言模型（LLM）的全面解读

本文旨在深入浅出地解读大型语言模型，探讨其背后的原理、技术突破、应用场景以及未来发展趋势。首先，我们将介绍大型语言模型兴起的背景。
一休哥助手·2024-08-22 15:54

大数据存储

曾经负责过一款底层存储系统的测试工作，最近看hdfs的文章发现，从架构上真心没啥特别大的区别。
龙哥vw·2024-08-22 02:32

Azkaban各种类型的Job编写

Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata
__元昊__·2024-03-28 21:00

Linux（centos7）部署hive

前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠·2024-03-28 12:44

关于HDP的20道高级运维面试题

HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive
编织幻境的妖·2024-03-26 15:34

python基础教程-《Python基础教程(第3版)》PDF高清版

《python基础教程第3版》PDF高清版百度云资源，内涵教材源代码百度云链接：百度云盘提取码：7r7o编辑推荐久负盛名的Python入门经典，是非常优秀的基础教程，深入浅出，讲解到位。
编程大乐趣·2024-03-24 04:50

【笔记】HDFS基础笔记

启动hadoop命令（未配环境变量）：进入hadoop安装目录输入./sbin/start-dfs.sh已配环境变量：start-dfs.sh关闭hadoop命令：stop-dfs.sh启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程:"NameNode"、"DataNode"和"SecondaryNameNode"三种Shell命令方式：1.hadoopfs2.had
哇咔咔哇咔·2024-03-20 04:12

一听 | 《三字经》为何是蒙学经典？

《三字经》不仅朗朗上口，讲述深入浅出，而且知识丰富，其中介绍历史的部分号称是“袖里《通鉴纲目》”，《通鉴纲目》是朱熹和弟子根据司马光《资治通鉴》编写的简明历史读物，在古代社
难得清明·2024-03-18 19:38

hive库表占用空间大小的命令

1、查每个hive表占用的空间大小hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|
刀鋒偏冷·2024-03-15 13:13

HDFS

（一）HDFS简介及其基本概念  HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般
weixin_51987187·2024-03-12 14:32

一本书教你学会思维导图

作者在书中结合了很多具体的商业销售、策划、沟通、领导的案例，深入浅出地讲解了思维导图在不同情境下的应用。
零点陆一捌·2024-03-12 06:46

大数据开发（Hadoop面试真题-卷二）

2、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的？3、请解释一下Hadoop的工作原理及其组成部分？4、HDFS读写流程是什么样子？
Key-Key·2024-03-12 02:15

大数据开发（Hadoop面试真题-卷九）

2、既然HBase底层数据是存储在HDFS上，为什么不直接使用HDFS，而还要用HBase?3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？
Key-Key·2024-03-09 10:06

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

hbase、hive、clickhouse对比

概念架构hbasemaster存储元数据、regionServer实际控制表数据，存储单位是Region，底层数据存储使用HDFShive通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库
freshrookie·2024-03-05 16:40

浅析机器学习：原理、应用及未来展望

本文将深入浅出地介绍机器学习的概念、原理、应用领域及未来发展趋势。二、机器学习的定义与原理定义机器学习是使计算机具有学习能力的技术，通过计算
祺稷·2024-03-05 15:39

《深入浅出红黑树：一起动手实现自平衡的二叉搜索树》

一、分析1.红黑树的性质红黑树是一种自平衡的二叉搜索树，它具有以下五个性质：（1）节点是红色或黑色。（2）根节点是黑色。（3）所有叶子节点（NIL节点）是黑色。（4）每个红色节点的两个子节点都是黑色（从每个叶子到根的所有路径上不能有两个连续的红色节点）。（5）从任一节点到其每个叶子的所有路径都包含相同数目的黑色节点。2.红黑树的操作红黑树的主要操作包括插入、删除和查找。其中，插入和删除操作可能会破
GT开发算法工程师·2024-03-03 12:31

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:
方大刚233·2024-03-03 06:23

深入浅出虚拟机难（JVM）？现在让它通俗易懂

大家可以想想，JVM是什么？JVM是用来干什么的？在这里我列出了三个概念，第一个是JVM，第二个是JDK，第三个是JRE。相信大家对这三个不会很陌生，相信你们都用过，但是，你们对这三个概念有清晰的知道么？我不知道你们会不会，知不知道。接下来你们看看我对JVM的理解。（1）：JVMJVM是JavaVirtualMachine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的
编程小世界·2024-02-24 05:34

深入浅出PyTorch学习网址

https://datawhalechina.github.io/thorough-pytorch/
今天是学习的一天·2024-02-23 19:38

基于Docker搭建hdfs分布式实验环境

理论知识DockerDocker是一个开源的应用容器引擎，基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，容器性能开销极低。Docker能够将应用程序与基础架构分开，从而可以快速交付软件。借助Docker，开发者可以与管
dejiedoor·2024-02-20 22:38

docker搭建hadoop hdfs完全分布式集群

这里注意，在做好的镜像里，要安装which工具，否则在执行hdfs命令时会报命令不存在异常。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker4.创建网桥由于Hadoop的master节点需要与slave节点通信，需要在各个主机节点配置节点IP，为了不用每次启动都因为IP改变了而重新配置
core512·2024-02-20 22:02

听王晨教授讲《未来教育：素养、学校与教师》的学习心得

向我们展示了一幅对未来教育的擘画发展蓝图，王晨教授接地气的发言和深入浅出的阐述，我受益匪浅。现将学习心得表述如下：第一是重构教育的使命。
林清华揭阳惠来小学·2024-02-20 21:32

2021-09-25

漫画式科普开创者陈磊，拥有众多喜爱他的读者，他的画风诙谐幽默，文字通俗有趣，道理深入浅出，生动形象。让你在捧腹大笑的同时，不经意间就通晓了历史。看过这本
常书·2024-02-20 21:36

HIVE中MAP和REDUCE数量

1、输入就不用说了，数据一般放在HDFS上面就可以了，而且文件是被分块的。关于文件块和文件分片的关系，在输入分片中说明。2、输入分片：在进行Map阶段之前，MapReduce框架会根据输入文件计算输
这孩子谁懂哈·2024-02-20 20:38

读魏书生的《教学工作漫谈》有感

魏老师针对学生升入初中后，学习中的有意注意，有意记忆和有意想象的能力都有较大的提高，为了使他们更适应初中教学的要求，曾把心理学知识引进课堂，深入浅出地介绍了艾宾浩斯遗忘率曲线以及大脑用进废退的规律。
孙丽_cdb3·2024-02-20 19:38

Hadoop生态圈

生态圈1.HBase的数据存储在HDFS里2.MapReduce可以计算HBase里的数据，也可以计算HDFS里的数据3.Hive是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎
陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop命令提交时会加载集群的配置信息（如hdfs
大勇任卷舒·2024-02-20 19:27

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

暴力枚举刷题3

题目来源：[NOIP2002普及组]选数-洛谷参考书目：参考书籍：《深入浅出程序设计竞赛（基础篇）》解题思路：通过位运算来枚举数组a的所有子集，然后检查每个恰好包含k个元素的子集的元素和是否为质数。
Sking426·2024-02-20 17:45

暴力枚举刷题2

题目来源：烤鸡-洛谷参考书目：参考书籍：《深入浅出程序设计竞赛（基础篇）》解题思路：这道题可以用暴力枚举的方法解决，用10层for循环，再if判断就能找到所有符合的情况。
Sking426·2024-02-20 17:14

暴力枚举刷题1

题目来源：统计方形（数据加强版）-洛谷参考书籍：《深入浅出程序设计竞赛（基础篇）》解题思路：这道理适合用暴力枚举求解。我把书上提到的四种枚举方法分享给大家。
Sking426·2024-02-20 17:11

航班数据预测与分析

数据清洗：数据存储到HDFS：使用pyspark对数据进行分析：//数据导入frompysparkimportSparkContextfrompyspark.sqlimportSQLContextsc=
林坰·2024-02-20 16:15

JAVA高并发——JDK的并发容器

文章目录1、超好用的工具类：并发集合简介2、线程安全的HashMap3、深入浅出ConcurrentHashMap3.1、ConcurrentHashMap的内部数据结构3.2、put()方法的实现3.3
布道师小羊·2024-02-20 16:39

深入浅出 spring-data-elasticsearch 之 ElasticSearch 架构初探（一）

本文目录一、Elasticsearch基本术语1.1文档(Document)、索引(Index)、类型(Type)文档三要素1.2集群(Cluster)、节点(Node)、分片(Shard)分布式三要素二、Elasticsearch工作原理2.1文档存储的路由2.2如何健康检查2.3如何水平扩容三、小结欢迎来SpringForAll,和我探讨Spring相关的分享。http://spring4al
Julian Wong·2024-02-20 13:04

深入浅出Spring Cloud Netflix - Ribbon

文章目录一、负载均衡1.LoadBalance是什么2.负载均衡的分类二、Ribbon详解1.什么是Ribbon2.Ribbon目前进入维护模式3.Ribbon的工作流程4.Ribbon内置的负载均衡策略5.Ribbon负载规则替换（1）新建一个MySelfRule类（2）主启动添加@RibbonClient注解5.RoundRobinRule源码分析（1）域定义和构造器（2）负载均衡核心方法：c
贫僧洗发爱飘柔·2024-02-20 12:49

Excel导出显示服务器,javaexcel导出到远程服务器

不支持直接导出文件到HDFS文件系统。CN只负责任务的规划及下发，把数据导出的工作交给了D需要确保每一
weixin_39946029·2024-02-20 12:50

深入浅出JVM（一）之Hotspot虚拟机中的对象

本篇文章思维导图对象的创建对象的创建可以分为五个步骤:检查类加载,分配内存,初始化零值,设置对象头,执行实例构造器类加载检查HotSpot虚拟机遇到一条new指令,会先检查能否在常量池中定位到这个类的符号引用,检查这个类是否类加载过没有类加载过就去类加载类加载过就进行下一步分配内存分配内存对象所需的内存在类加载完成后就可以完全确定分配内存方式虚拟机在堆上为新对象分配内存,有两种内存分配的方式:指针
·2024-02-20 12:31

深入浅出理解数据的序列化和反序列化

一般来说，数据的处理有两种类型。一种是在内存中，比如我们常见的结构体，list，数组等等。而另外一种就是把数据写到文件中或者在网络中进行传输，这个时候的数据传输说白了就是比特流，那么接受方如何解析这些接收到的比特流呢？这个时候就需要对数据进行序列化，把相应的数据转化成可以自解释比特流。然后接收方就可以通过反序列化的方法把这些比特流再转化成相应的结构体等等类型。各种语言自带的格式很多语言都有自带的序
gordon1986·2024-02-20 11:45

金刚经

其义理深入浅出，无论是初学者，还是有一定境界的人，对《金刚经》中的般若智慧，都欢喜不已，都会如法受持。《金刚经》也称《金刚般若波罗蜜经》，是般若部经中的无上妙法，以其经中充满般若智慧而闻名。
悟心太阳·2024-02-20 09:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他