hadoop工作原理

大数据开发（Hadoop面试真题-卷二）

大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？
Key-Key·2024-03-12 02:15

排序之插入排序

「插入排序insertionsort」是一种简单的排序算法，它的工作原理与手动整理一副牌的过程非常相似。
༺❀ൢ望༒月❀ൢ❀·2024-03-11 04:00

Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。
勇于自信·2024-03-11 00:20

数据结构与算法-哈希表

本文将深入探讨哈希表的工作原理、实现细节以及其在实际应用中的价值。一、什么是哈希表？
时光不老c·2024-03-10 04:59

zookeeper 使用

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法
SkTj·2024-03-10 02:15

Hive SQL 开发指南（三）优化及常见异常

在大数据领域，HiveSQL是一种常用的查询语言，用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能，制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~·2024-03-09 14:13

大数据开发（Hadoop面试真题-卷九）

大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？
Key-Key·2024-03-09 10:06

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

gitlab-ci_cd语法CICD

工作原理1、将代码托管在git2、在项目根目录创建ci文件.gitlan-ci.yml在文件中指定构建，测试和部署脚本3、gitlab将检测到他并使用名为gitRunner的工具运行脚本4、脚本被分组为作业
qq_492448446·2024-03-06 19:44

Vue 3 中的 setup 函数是如何工作的？

setup函数的工作原理执行时机：setup函数是组件生命周期中最早执行的函数，它在beforeCreate和created生
奔强的程序·2024-03-04 07:56

【Linux】frp内网穿透详细教程（简单易懂）

工作原理准备工作frp工具的使用第一步：下载安装包第二步：公网部署frps第三步：内网部署frpc第四步：启动frps和frpc第五步：通过ssh访问内网服务器使用systemd安装systemd（一般都有
科研达人·2024-03-04 00:48

【5G NR】【一文读懂系列】移动通讯中使用的信道编解码技术-NR编解码LDPC和Polar概述(一)

目录NRLDPC和Polar编码技术概述LDPC（低密度奇偶校验码）LDPC工作原理LDPC应用场景：LDPC与其他编码技术相比的优势：Polar极化码Polar工作原理Polar应用场景：Polar与其他编码技术相比的优势
瑶光守护者·2024-03-03 19:11

【Hadoop】在spark读取clickhouse中数据

读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233·2024-03-03 06:54

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233·2024-03-03 06:23

神经网络算法浅谈

神经网络是一种模拟人脑神经元工作原理的计算模型，由大量的人工神经元相互连接形成复杂网络结构，用于解决各种机器学习和人工智能问题。
dami_king·2024-03-02 23:46

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
不想起的昵称·2024-03-02 15:03

hadoop里需要的libhadoop.so版本不一致导致问题及解决办法

$HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so
weixin_34304013·2024-03-02 09:23

hadoop启动报错处理

1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191·2024-03-02 08:51

四、ChatGPT的回答从哪里来？—我耀学IT

它的回答来源于对现有信息的抽取和整合，那么具体是怎么进行抽取和整合的呢，下面我们带着这个疑问来详细讨论一下它的工作原理。
我耀学IT·2024-03-01 23:09

网站ca证书工作原理

当网站内容被加密时，通常涉及以下过程：客户端发起连接：用户在浏览器中输入网站地址，发起HTTPS请求。服务器返回证书：服务器将自己的证书发送给客户端。证书包含公钥、证书颁发机构信息等。客户端验证证书：客户端使用自己内置的证书颁发机构列表验证服务器发送的证书的合法性。生成会话密钥：客户端生成一个随机的对称密钥（会话密钥），用于加密通信内容。使用公钥加密会话密钥：客户端使用服务器的公钥对会话密钥进行加
运维点滴·2024-03-01 06:45

【微信日结兼职】赚钱工作群，每日轻松赚取收入

在本篇文章中，我们将会介绍微信日结兼职的工作原理、任务类型、如何加入微信日结兼职工作群以及注意事项等方面。在这里向大家推荐一个靠谱的兼职宝藏地，这里有打字录入，文本配音，线上画画等靠谱一单一结副业。
幸运副业·2024-02-29 23:35

mysql主从复制

主从复制的工作原理主从复制的工作原理可以概括为以下几个步骤：
wddblog·2024-02-29 23:04

强大好用的shell:shell的工作原理

Shell的工作原理可以简要概括为以下几个步骤：1.命令行输入：用户在命令行界面输入命令。2.命令解析：Shell接收用户的输入，并对命令进行解析。
·2024-02-29 16:53

Oracle之缓存融合

CACHEFUSION原理为了更深入的了解Oracle的后台进程的工作原理，需要先了解一下RAC中多节点对共享数据文件访问的管理是如何进行的。
沐夜听风·2024-02-29 12:51

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

动态主机配置协议（DHCP）解密：网络自动化与管理的关键

本文将全面介绍DHCP的工作原理、架构、协议流程、配置方法、安全性考虑，以及在现代网络中的应用。2.DHCP的历史背景在DHCP出现之前，网络
程序员Chino的日记·2024-02-28 11:53

Hadoop-Yarn-NodeManager是如何监控容器的

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星·2024-02-28 06:15

2023-03-15

简述搜索引擎有哪些类型，各类搜索引擎的工作原理是什么1、文字搜索文字搜索是我们普遍使用的一种搜索方式，基本上所有搜索引擎都是以文字形式检索的，没有特殊性可言，之所以区分出来，是基于对搜索引擎的严格分类，
忧郁的小猪·2024-02-28 04:45

分布式scrapy_redis源码总结，及其架构

分布式scrapy的组件源码介绍完了，大致总结一下，相关组件目录如下：《RedisSpider的调度队列实现过程及其源码》《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理
Python之战·2024-02-27 05:11

Zookeeper实现分布式锁

首先需要确保有hadoop102，hadoop103，hadoop104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中·2024-02-25 23:35

《The Art of InnoDB》第二部分｜第4章：深入结构-磁盘结构-撕裂的页面（doublewrite buffer）

双写缓冲区的作用4.5.2双写缓冲区的结构4.5.3双写缓冲区与Redolog的协同工作流程4.5.2双写缓冲区写入时机4.5.3禁用双写缓冲区4.5.4小结未完待续...上文我们学习了redolog的结构和其工作原理
无码之宗·2024-02-25 16:58

网络通信的隐形桥梁：深入解析地址解析协议（ARP）及其在现代网络安全中的角色

第二部分：ARP的工作原理2.1基础工作原理当一个网络设备需要向本地网络上的另一个设备发
程序员Chino的日记·2024-02-25 09:47

计算机网络实验七 利用 Java 开发网络应用程序

2）理解基于套接字开发网络应用程序的过程，深入理解Ping工作原理。3）深入理解HTTP协议的格式和工作过程，理解Web代理服务器工作原理。
ZCStarlet·2024-02-24 09:26

003：高精地图数据采集

1、Lidar（激光雷达）：工作原理：Lidar利用激光束扫描周围环境，通过测量激光发射和反射回来的时间差来确定目标物
qq_31762031·2024-02-22 19:09

Vuex核心知识整理

目录1搭建vuex环境2求和案例3getters配置项4mapState和mapGetters5mapMutations和mapActions6Vuex模块化1搭建vuex环境vuex工作原理图（摘自官网
是小蟹呀^·2024-02-20 23:32

Spring Cloud微服务网关Zuul过滤链和整合OAuth2+JWT入门实战

一、SpringCloudZuul过滤链1.1工作原理Zuul的核心逻辑是由一系列的Filter来实现的，他们能够在进行HTTP请求或者相应的时候执行相关操作。
NullzzZ·2024-02-20 23:07

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512·2024-02-20 22:02

rem的作用与运用，小程序为什么用rpx为单位

有什么作用呢，其实它源于rem布局，先来了解下rem的优势与工作原理。
雅雅的前端工作学习·2024-02-20 21:09

hive 的map数和reduce如何确定

的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop
Super乐·2024-02-20 20:38

(17)Hive ——MR任务的map与reduce个数由什么决定？

MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop
爱吃辣条byte·2024-02-20 20:27

Hadoop生态圈

是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop
陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop
大勇任卷舒·2024-02-20 19:27

【YARN】【Apache Hadoop YARN】【架构】

ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库·2024-02-20 18:48

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

TLS、运输层安全协议

目录运输层安全协议1协议TLS的要点1.1协议TLS的位置1.2TLS与应用层协议独立无关1.3协议TLS具有双向鉴别的功能1.4TLS建立安全会话的工作原理TLS的握手阶段TLS的会话阶段1.5TLS
山间未相见·2024-02-20 18:51

SAP Spartacus 默认路由配置的工作原理

这个默认配置文件的名称：default-routing-config.ts查看哪些地方消费了defaultRoutingConfig：provudeDefaultConfig是一个helper函数：这个RoutingModule.forRoot方法又会在什么时候被调用呢？在这两处：base-storefront.module.ts和storefront-foundation.module.ts:注
JerryWang_汪子熙·2024-02-20 17:54

Shell脚本的Awk

目录1.什么是awk2.工作原理3.处理动作4.选项5.处理模式1.什么是awk读取一行处理一行，在Linux/UNIX系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔
Miraitowa_xu·2024-02-20 17:07

Java多线程系列——同步关键字

目录一、线程安全和数据不一致性二、synchronized关键字的作用三、synchronized工作原理四、锁的级别五、synchronized的优点与缺点六、实战应用七、总结在Java中，synchronized
飞影铠甲·2024-02-20 17:02

安科瑞ASJ剩余电流继电器在马尔代夫某发电机组项目上的应用

ApplicationofASJResidualCurrentRelayinaGeneratorSetProjectinMaldives摘要：分析了剩余电流继电器的必要性，介绍了ASJ剩余电流继电器的主要功能、工作原理
安科瑞王璐月·2024-02-20 16:13
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他