E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop深入浅出
一本书教你学会思维导图
作者在书中结合了很多具体的商业销售、策划、沟通、领导的案例,
深入浅出
地讲解了思维导图在不同情境下的应用。
零点陆一捌
·
2024-03-12 06:46
大数据开发(
Hadoop
面试真题-卷二)
大数据开发(
Hadoop
面试真题)1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点?如何解决这些问题?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
zookeeper 使用
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的
Hadoop
项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法
SkTj
·
2024-03-10 02:15
Hive SQL 开发指南(三)优化及常见异常
在大数据领域,HiveSQL是一种常用的查询语言,用于在
Hadoop
上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
大数据开发(
Hadoop
面试真题-卷九)
大数据开发(
Hadoop
面试真题)1、Hivecount(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
大数据开源框架技术汇总
目录系统平台(
Hadoop
、CDH、HDP)监控管理(CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
浅析机器学习:原理、应用及未来展望
本文将
深入浅出
地介绍机器学习的概念、原理、应用领域及未来发展趋势。二、机器学习的定义与原理定义机器学习是使计算机具有学习能力的技术,通过计算
祺稷
·
2024-03-05 15:39
AI
机器学习
《
深入浅出
红黑树:一起动手实现自平衡的二叉搜索树》
一、分析1.红黑树的性质红黑树是一种自平衡的二叉搜索树,它具有以下五个性质:(1)节点是红色或黑色。(2)根节点是黑色。(3)所有叶子节点(NIL节点)是黑色。(4)每个红色节点的两个子节点都是黑色(从每个叶子到根的所有路径上不能有两个连续的红色节点)。(5)从任一节点到其每个叶子的所有路径都包含相同数目的黑色节点。2.红黑树的操作红黑树的主要操作包括插入、删除和查找。其中,插入和删除操作可能会破
GT开发算法工程师
·
2024-03-03 12:31
c++
开发语言
算法
数据结构
【
Hadoop
】在spark读取clickhouse中数据
读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
【
Hadoop
】使用Metorikku框架读取hive数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
Spark-sql Adaptive Execution动态调整分区数量,调整输出文件数
看看这个参数如何运用:我们的spark-sql版本:[
hadoop
@666~]$spark-sql--versionWelcometo______/__
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hadoop
里需要的lib
hadoop
.so版本不一致导致问题及解决办法
$
HADOOP
_HOME/lib/native/Linux-amd64-64(64位操作系统)$
HADOOP
_HOME/lib/native/Linux-i386-32(32位操作系统)文件夹中的lib
hadoop
.so
weixin_34304013
·
2024-03-02 09:23
大数据
操作系统
嵌入式
hadoop
启动报错处理
1.
hadoop
启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-
hadoop
libraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191
·
2024-03-02 08:51
大数据
操作系统
Spark整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark,如果不会安装可以跳转到Spark安装与配置(单机版)3、需要安装配置好
Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
Hadoop
-Yarn-NodeManager是如何监控容器的
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星
·
2024-02-28 06:15
hadoop
大数据
yarn
Zookeeper实现分布式锁
首先需要确保有
hadoop
102,
hadoop
103,
hadoop
104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中
·
2024-02-25 23:35
分布式
zookeeper
云原生
深入浅出
虚拟机难(JVM)?现在让它通俗易懂
大家可以想想,JVM是什么?JVM是用来干什么的?在这里我列出了三个概念,第一个是JVM,第二个是JDK,第三个是JRE。相信大家对这三个不会很陌生,相信你们都用过,但是,你们对这三个概念有清晰的知道么?我不知道你们会不会,知不知道。接下来你们看看我对JVM的理解。(1):JVMJVM是JavaVirtualMachine(Java虚拟机)的缩写,JVM是一种用于计算设备的规范,它是一个虚构出来的
编程小世界
·
2024-02-24 05:34
深入浅出
PyTorch学习网址
https://datawhalechina.github.io/thorough-pytorch/
今天是学习的一天
·
2024-02-23 19:38
人工智能
docker搭建
hadoop
hdfs完全分布式集群
1制作
hadoop
镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/
hadoop
:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
听王晨教授讲《未来教育:素养、学校与教师》的学习心得
向我们展示了一幅对未来教育的擘画发展蓝图,王晨教授接地气的发言和
深入浅出
的阐述,我受益匪浅。现将学习心得表述如下:第一是重构教育的使命。
林清华揭阳惠来小学
·
2024-02-20 21:32
2021-09-25
漫画式科普开创者陈磊,拥有众多喜爱他的读者,他的画风诙谐幽默,文字通俗有趣,道理
深入浅出
,生动形象。让你在捧腹大笑的同时,不经意间就通晓了历史。看过这本
常书
·
2024-02-20 21:36
hive 的map数和reduce如何确定
的文件大小,集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么
hadoop
Super乐
·
2024-02-20 20:38
hive
hive
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
Hadoop
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
读魏书生的《教学工作漫谈》有感
魏老师针对学生升入初中后,学习中的有意注意,有意记忆和有意想象的能力都有较大的提高,为了使他们更适应初中教学的要求,曾把心理学知识引进课堂,
深入浅出
地介绍了艾宾浩斯遗忘率曲线以及大脑用进废退的规律。
孙丽_cdb3
·
2024-02-20 19:38
Hadoop
生态圈
是数据分析数据引擎,也是MapReduce模型,支持SQL4.Pig也是一个数据分析引擎,不支持SQL,有自己的PigLatin数据5.Sqoop是数据采集工具,针对关系数据库6.Flume是针对文件等数据的采集7.
Hadoop
陈超Terry的技术屋
·
2024-02-20 19:47
16.用
Hadoop
命令向CDH集群提交MR作业
Redhat7.2非Kerberos集群CDH5.13,OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的,因为使用
hadoop
大勇任卷舒
·
2024-02-20 19:27
【YARN】【Apache
Hadoop
YARN】【架构】
ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库
·
2024-02-20 18:48
apache
hadoop
大数据
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,
Hadoop
集群的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
暴力枚举刷题3
题目来源:[NOIP2002普及组]选数-洛谷参考书目:参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:通过位运算来枚举数组a的所有子集,然后检查每个恰好包含k个元素的子集的元素和是否为质数。
Sking426
·
2024-02-20 17:45
暴力枚举
算法
数据结构
c++
c语言
暴力枚举刷题2
题目来源:烤鸡-洛谷参考书目:参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:这道题可以用暴力枚举的方法解决,用10层for循环,再if判断就能找到所有符合的情况。
Sking426
·
2024-02-20 17:14
暴力枚举
算法
数据结构
c++
c语言
暴力枚举刷题1
题目来源:统计方形(数据加强版)-洛谷参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:这道理适合用暴力枚举求解。我把书上提到的四种枚举方法分享给大家。
Sking426
·
2024-02-20 17:11
暴力枚举
算法
数据结构
c++
c语言
开发语言
JAVA高并发——JDK的并发容器
文章目录1、超好用的工具类:并发集合简介2、线程安全的HashMap3、
深入浅出
ConcurrentHashMap3.1、ConcurrentHashMap的内部数据结构3.2、put()方法的实现3.3
布道师小羊
·
2024-02-20 16:39
#
网络+并发+函数式+JVM
JAVA高阶
java
开发语言
大数据Map Reduce (
Hadoop
) 和 MPP数据库 的区别
原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel
·
2024-02-20 15:05
Hadoop
大数据的入门学习
由于所做的银行项目与大数据有关,所以个人学习下
hadoop
的知识,希望能对大数据有所了解,不喜勿喷,哪里有不对的希望大神指点
Hadoop
百度百科:
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang
·
2024-02-20 14:36
深入浅出
spring-data-elasticsearch 之 ElasticSearch 架构初探(一)
本文目录一、Elasticsearch基本术语1.1文档(Document)、索引(Index)、类型(Type)文档三要素1.2集群(Cluster)、节点(Node)、分片(Shard)分布式三要素二、Elasticsearch工作原理2.1文档存储的路由2.2如何健康检查2.3如何水平扩容三、小结欢迎来SpringForAll,和我探讨Spring相关的分享。http://spring4al
Julian Wong
·
2024-02-20 13:04
spring
elasticsearch
架构
java
后端
深入浅出
Spring Cloud Netflix - Ribbon
文章目录一、负载均衡1.LoadBalance是什么2.负载均衡的分类二、Ribbon详解1.什么是Ribbon2.Ribbon目前进入维护模式3.Ribbon的工作流程4.Ribbon内置的负载均衡策略5.Ribbon负载规则替换(1)新建一个MySelfRule类(2)主启动添加@RibbonClient注解5.RoundRobinRule源码分析(1)域定义和构造器(2)负载均衡核心方法:c
贫僧洗发爱飘柔
·
2024-02-20 12:49
SpringCloud
ribbon
spring
cloud
java
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如
Hadoop
YARN,但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
深入浅出
JVM(一)之Hotspot虚拟机中的对象
本篇文章思维导图对象的创建对象的创建可以分为五个步骤:检查类加载,分配内存,初始化零值,设置对象头,执行实例构造器类加载检查HotSpot虚拟机遇到一条new指令,会先检查能否在常量池中定位到这个类的符号引用,检查这个类是否类加载过没有类加载过就去类加载类加载过就进行下一步分配内存分配内存对象所需的内存在类加载完成后就可以完全确定分配内存方式虚拟机在堆上为新对象分配内存,有两种内存分配的方式:指针
·
2024-02-20 12:31
后端
深入浅出
理解数据的序列化和反序列化
一般来说,数据的处理有两种类型。一种是在内存中,比如我们常见的结构体,list,数组等等。而另外一种就是把数据写到文件中或者在网络中进行传输,这个时候的数据传输说白了就是比特流,那么接受方如何解析这些接收到的比特流呢?这个时候就需要对数据进行序列化,把相应的数据转化成可以自解释比特流。然后接收方就可以通过反序列化的方法把这些比特流再转化成相应的结构体等等类型。各种语言自带的格式很多语言都有自带的序
gordon1986
·
2024-02-20 11:45
后端
序列化
protobuf
Thrift
Kafka核心逻辑介绍 | 京东云技术团队
分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
·
2024-02-20 11:54
kafkaredis消息队列
大数据 - Spark系列《六》- RDD详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 - Spark系列《七》- 分区器详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
金刚经
其义理
深入浅出
,无论是初学者,还是有一定境界的人,对《金刚经》中的般若智慧,都欢喜不已,都会如法受持。《金刚经》也称《金刚般若波罗蜜经》,是般若部经中的无上妙法,以其经中充满般若智慧而闻名。
悟心太阳
·
2024-02-20 09:08
Linux之Shell
第1章Shell概述1)Linux提供的Shell解析器有[zhao@
hadoop
101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy
·
2024-02-20 08:16
Linux
linux
测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,hive)
一:搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二:搭建
hadoop
,yarn,mapreduce。
宇智波云
·
2024-02-20 08:05
大数据项目
zookeeper
hdfs
mapreduce
hive
Hadoop
Streaming原理
Streaming简介•MapReduce和HDFS采用Java实现,默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在
Hadoop
MapReduce中使用•Streaming
可乐加冰丶丶
·
2024-02-20 07:18
【Flink】ClassNotFoundException: org.apache.
hadoop
.conf.Configuration
问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误,版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖
·
2024-02-20 07:38
Flink实战
flink
hadoop
sql
生产环境下,应用模式部署flink任务,通过hdfs提交
通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统1.实践 (1)生产集群为cdh集群,从cm上下载配置文件,设置环境export
HADOOP
_CONF_DIR
但行益事莫问前程
·
2024-02-20 07:04
flink
flink
压缩感知——革新数据采集的科学魔法
本文将为你
深入浅出
地解释。压缩感知压缩感知(CS)与传统数据压缩的差异:传统信息论告诉我们,数据被采集后通常需要进行压缩以便于存储和传
superdont
·
2024-02-20 06:35
计算机视觉
人工智能
算法
计算机视觉
opencv
系统地学习Python
python
机器学习
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他