E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop深入浅出
Hbase安装配置(含分布式ZooKeeper)
CentOS6.0192.168.255.128=》server01192.168.255.130=》server02192.168.255.131=》server03/etc/hosts文件中有这些IP和域名的映射关系配置server01在
hadoop
聊码
·
2024-02-10 04:17
这本书让你成为自己的心理医生
《蛤蟆先生去看心理医生》可以说是我看过的讲心理学理论最
深入浅出
的一本。可以说是一打开就一口气从头看到尾,这是看心理学类书从来没有过的。
馨悦读书频道
·
2024-02-10 01:01
《守株待兔》教后反思
《守株待兔》是一则寓言故事,以文言文的形式出现,这则寓言生动形象,
深入浅出
地向学生介绍了“不劳动是不会有收获的,幸福生活靠勤劳的双手来创造”这一道理。
鵝卵石的记忆
·
2024-02-10 00:24
新人数据技术如何快速提升
对于数据平台和工具而言,一般情况下都是在
Hadoop
生态下做开发,但对于一些有特殊要求的团队,Spark和Flink已经得
晓阳的数据小站
·
2024-02-09 23:46
数据开发
数据
java大数据
hadoop
2.9.2 hive操作
1、创建常规数据库表(1)创建表createtablet_stu2(idint,namestring,hobbymap)rowformatdelimitedfieldsterminatedby','collectionitemsterminatedby'-'mapkeysterminatedby':';(2)创建文件student.txt1,zhangsan,唱歌:非常喜欢-跳舞:喜欢-游泳:一般
crud-boy
·
2024-02-09 21:24
java大数据
大数据
hive
hadoop
java大数据
hadoop
2.9.2 Flume安装&操作
1、flume安装(1)解压缩tar-xzvfapache-flume-1.9.0-bin.tar.gzrm-rfapache-flume-1.9.0-bin.tar.gzmv./apache-flume-1.9.0-bin//usr/local/flume(2)配置cd/usr/local/flume/confcp./flume-env.sh.template./flume-env.shvifl
crud-boy
·
2024-02-09 21:54
java大数据
大数据
flume
数据中台 pdf_数据中台到底怎么建设,有人把他说清楚了
本人断断续续从事数据仓库约有五六年经验,在移动公司前三年是负责数据仓库项目实施,后四年开发搞大数据平台,见证了从传统数据仓库转型到大数据平台的全历程,见证了大数据平台从0到1的全部过程,包括第一个MPP数据集市、第一个
Hadoop
weixin_39699121
·
2024-02-09 18:59
数据中台
pdf
Zookeeper原理架构
首先,Zookeeper是Apache的一个java项目,属于
Hadoop
系统,扮演管理员的角色。然后看到官网那些专有名词,实在理解不了。
白纸糊
·
2024-02-09 17:53
深入浅出
理解kafka原理系列之:自动提交和手动提交
深入浅出
理解kafka原理系列之:自动提交和手动提交一、kafka消费者提交的内容二、自动提交三、自动提交代码示例四、手动提交五、手动同步提交代码示例六、手动异步提交代码示例一、kafka消费者提交的内容消费组
最笨的羊羊
·
2024-02-09 15:40
日常分享专栏
Kafka
kafka
深入理解kafka原理
自动提交和手动提交
深入浅出
理解kafka原理系列之:kafka消费者参数设置
深入浅出
理解kafka原理系列之:kafka消费者参数设置1.max.poll.records2.max.poll.interval.ms3.enable.auto.commit4.heartbeat.interval.ms5
最笨的羊羊
·
2024-02-09 15:10
日常分享专栏
Kafka
深入理解kafka原理
kafka消费者参数设置
大数据
Hadoop
生态圈技术之浅析PageRank计算原理
二、计算环境——
Hadoop
-2.5.2——四台主机——两台NN的HA——两台RM的HA——离线计算框架MapReduce三、计算原理(1)思考
A尚学堂Nancy老师
·
2024-02-09 10:23
深入浅出
TCP/IP协议簇:理论与Python实践
源码分享https://docs.qq.com/sheet/DUHNQdlRUVUp5Vll2?tab=BB08J2当我们提到网络编程或数据爬取时,了解基础的网络通信协议—TCP/IP协议簇是非常有用的。TCP/IP不是单一的协议,而是一组使互联网工作的协议的集合。在本篇博客中,我们将探讨TCP/IP的基础,并通过Python代码示例展示其在实际编程中的应用。TCP/IP概述TCP/IP协议簇包括
web安全工具库
·
2024-02-09 09:40
网络爬虫
网络
服务器
运维
【精选】
深入浅出
带你了解微服务架构如何运作?
1、您对微服务有何了解?微服务,又称微服务架构,是一种架构风格,它将应用程序构建为以业务领域为模型的小型自治服务集合。一文详解微服务架构通俗地说,你必须看到蜜蜂如何通过对齐六角形蜡细胞来构建它们的蜂窝状物。他们最初从使用各种材料的小部分开始,并继续从中构建一个大型蜂箱。这些细胞形成图案,产生坚固的结构,将蜂窝的特定部分固定在一起。这里,每个细胞独立于另一个细胞,但它也与其他细胞相关。这意味着对一个
lxw1844912514
·
2024-02-09 09:26
网络
大数据
编程语言
python
java
macos安装local模式spark
文章目录配置说明安装
hadoop
安装Spark测试安装成功配置说明Scala-3.18+Spark-3.5.0
Hadoop
-3.3.6安装
hadoop
从这里下载相应版本的
hadoop
下载后解压,配置系统环境变量
SparklingTheo
·
2024-02-09 08:52
大数据-linux
macos
spark
大数据
SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25
目录0需求分析1数据准备3数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1
hadoop
1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL——条件判断语句嵌套windows子句的应用
0需求分析需求:表如下user_idgood_namegoods_typerk1
hadoop
1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
MySQL数据库基础第二篇(函数)
本文旨在
深入浅出
地介绍MySQL中使用的各类函数,让读者一方面可以对这些函数有一个全面的认识,
半夜敲代码的夜猫子
·
2024-02-09 06:53
MySQL数据库
数据库
mysql
adb
大数据 - Spark系列《五》- Spark常用算子
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-09 05:25
spark
大数据
spark
分布式
读《蛤蟆先生去看心理医生》
作者罗伯特·戴博德用浅显易懂的语言,清晰明了的逻辑,
深入浅出
地阐述了心理咨询的过程。在人们面前揭开了心理咨询的神秘面纱。本书人物采用的是经典童话《柳林风声》的动物主角们。
开心当下
·
2024-02-09 03:18
spark原理总体介绍
部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点,相当于
Hadoop
的Master和Slave节点。
tracy_668
·
2024-02-09 03:48
好书分享《鲜衣怒马少年时2》
我是爱读书的猪猪,今天分享的是少年怒马的《鲜衣怒马少年时2》《鲜衣怒马少年时2》……………………✍✍✍…………………这本书延续了作者独特的观察角度,以史读诗,以诗观史,
深入浅出
,举重若轻,揭开盛世里的繁华与危机
爱读书的猪猪
·
2024-02-09 01:37
Zookeeper集群搭建(3台)
准备工作1、提前安装好
hadoop
102、
hadoop
103、
hadoop
104三台机器,参照:CentOS7集群环境搭建(3台)-CSDN博客2、提前下载好Zookeeper安装包并上传到/opt/software
在下区区俗物
·
2024-02-08 21:35
zookeeper
linux
分布式
Hadoop
集群所有进程查看脚本
/bin/bashforiin
hadoop
102
hadoop
103
hadoop
104doecho---------$i----------ssh$i"$*"done2、赋予文件运行权限chmod+xxcall.sh3
在下区区俗物
·
2024-02-08 21:04
hadoop
大数据
linux
并发编程中一种经典的分而治之的思想!!
有点像
Hadoop
中的MapReduce。ForkJoin是由JDK1.7之后提供的多线程并发处理框架。ForkJoin框架的基本思想是分而治之。什么是分而治之?
冰河团队
·
2024-02-08 19:06
docker load -i 导入后 看不到镜像
dockerload-i导入后看不到镜像[root@centos8~]#dockerimagesREPOSITORYTAGIMAGEIDCREATEDSIZEcsctbb.com/
hadoop
3.3.0084faab5baec7hoursago1.68GBcentos8.1.1911470671670cac14monthsago237MBkubeguide
吕楚王
·
2024-02-08 19:29
Docker
大数据从何学起?大数据脑图+学习路线清晰的告诉你!
【大数据开发学习资料领取方式】:加入大数据技术学习交流扣扣群458345782,点击加入群聊,私信管理员即可免费领取第一阶段linux+搜索+
hadoop
体系Linux基础→sh
yoku酱
·
2024-02-08 18:16
Hadoop
深度运维:Apache集群原地升级Ambari-HDP
作者介绍冯武,目前在瓜子从事大数据集群运维管理,主要负责
Hadoop
、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。
Summer_1981
·
2024-02-08 18:42
7.0 MapReduce编程实例教程
注意:MapReduce依赖
Hadoop
的库,但由于本教程使用的
Hadoop
运行环境
二当家的素材网
·
2024-02-08 18:11
Hadoop
教程
mapreduce
eclipse
大数据
掌握虚拟化与网络配置之道:
深入浅出
VMware及远程管理技巧
目录虚拟机介绍虚拟机的关键字服务器架构的发展为什么用虚拟机VMware虚拟机和阿里云的区别功能角度价格因素应用场景优势方面找到windows的服务管理配置VMware关于VMware安装的几个服务vmware如何修改各种网络配置关于NAT的详细信息(了解)NAT(网络地址转换)Bridged(桥接模式)机器安装及分区分区的概念关于windows的磁盘分区概念关于Linux的磁盘分区概念对比wind
Srlua
·
2024-02-08 17:55
虚拟机
远程连接
服务器
网络连接
运维
Golang数据库编程详解 |
深入浅出
Go语言原生数据库编程
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站https://www.captainbed.cn/kitie。Golang学习专栏:https://blog.csdn.net/qq_35716689/category_12575301.html前言对数据库的CURD是现代应用程序的必备功能,Go语言当然也对数据库的操作提供了非常完善的支持。尽管在G
鼠鼠我捏,要死了捏
·
2024-02-08 17:17
Golang全栈
golang
数据库
开发语言
后端
云原生
Zookeeper的详细介绍及使用场景
Zookeeper是什么Zookeeper分布式服务框架是Apache
Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等
Zal哥哥
·
2024-02-08 15:11
深入理解Spark的前世今生
Spark,是一种通用的大数据计算框架,正如传统大数据技术
Hadoop
的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。
闲云野鹤~~~
·
2024-02-08 14:01
Spark
配置集群时间同步
配置集群时间同步:1.时间服务器配置(必须root用户)检查ntp是否安装[root@
hadoop
102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem
sixleaves
·
2024-02-08 14:49
SQL在云计算中的新角色:重新定义数据分析
文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-
Hadoop
解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云数据仓库中的角色
程序边界
·
2024-02-08 13:01
sql
云计算
数据分析
No.2大数据入门 | 环境搭建:jdk1.8安装及环境配置
上一篇文章我们安装了虚拟机以及linux操作系统,接下来就要安装在操作系统上运作的大数据核心
hadoop
分布式系统基础架构!
滚滚红尘_8133
·
2024-02-08 11:43
Hadoop
多次格式化后如何解决
产生原因我们在配置
hadoop
中的hdfs时,会设置元数据的存储位置,如图所示要想解决此问题,先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件,这里三台机器都要删,最后进入
hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安
·
2024-02-08 11:50
笔记
Hadoop
云计算
hadoop
hdfs
CentOS 7搭建
Hadoop
伪分布模式
配置文件:链接:https://pan.baidu.com/s/1rYvnxbyqXOG1DjI63dxbAw提取码:6e1l复制这段内容后打开百度网盘手机App,操作更方便哦1.1修改IP地址在虚拟机的命令行中输入下面的命令,修改网卡的配置文件vi/etc/sysconfig/network-scripts/ifcfg-ens33配置以下信息TYPE=Ethernet#类型为以太网BOOTPRO
clevercondy
·
2024-02-08 09:52
hadoop
linux
centos
2018-07-14
复制/etc/skel目录为/home/tuser1改权限2、编辑/etc/group文件,添加组
hadoop
。
啊鑫007
·
2024-02-08 08:56
Hadoop
生态漏洞修复记录
Hadoop
常用端口介绍HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。
·
2024-02-08 08:30
hadoop
大数据
分布式
Hadoop
2.7配置
core-site.xmlfs.defaultFShdfs://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72:2181-->
hadoop
.tmp.dir
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hadoop
大数据
hdfs
hive2.3.2配置(带kerberos)
hive-env.shexport
HADOOP
_HEAPSIZE=2048export
HADOOP
_CLIENT_OPTS="-Xmx2g-Xms2g-Djava.net.preferIPv4Stack
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hive
hadoop
大数据
高性能hbase配置
hbase-env.shexport
HADOOP
_HOME=/export/
hadoop
export
HADOOP
_CONF_DIR=/export/common/
hadoop
/confexportJAVA_HOME
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hbase
数据库
大数据
HDFS执行balance报错:hdfs balance java.io.IOException: Another Balancer is running.. Exiting
现象:1、大数据
Hadoop
集群,HDFS扩容后,为了使各节点数据均衡,执行balance操作。2、启动hdfsbalance时,一直出现其他的balance在执行中,其实并没有执行。
不会吐丝的蜘蛛侠。
·
2024-02-08 08:29
Hadoop
hdfs
hadoop
java
大数据问题:
Hadoop
的web页面无法访问logs
HTTPERROR403Problemaccessing/logs/.Reason:Useryarnisunauthorizedtoaccessthispage.PoweredbyJetty://分析:1、有的说是权限问题,但是并没有用yarn用户启动
Hadoop
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
Hadoop
hadoop
hadoop
调优-hdfs配置优化
dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue其它优化:dfs.hosts/export/
hadoop
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
Hadoop
hadoop
hdfs
big
data
spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104
报错:org.apache.
hadoop
.ipc.RemoteException(org.apache.
hadoop
.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
grafana+prometheus+hiveserver2(jmx_exporter+metrics)
文件开启metricshive.server2.metrics.enabledtruehive.service.metrics.codahale.reporter.classesorg.apache.
hadoop
.hive.common.metrics.metrics2
不会吐丝的蜘蛛侠。
·
2024-02-08 08:24
hive
Hadoop
grafana
prometheus
hive监控
jmx_exporter
hive_metrics
hadoop
学习笔记
下载安装伪分布式:1.国内源下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/
hadoop
/common/Indexof/apache/
hadoop
/commonhttps
草琳情
·
2024-02-08 08:54
hadoop
学习
笔记
flink on yarn
Per-JobCluster模式flinkrunflinkrunapplication-tyarn-application配置任务退出时保留Checkpoint从外部checkpoint恢复应用资料使用安装完
hadoop
3.3.4
枪枪枪
·
2024-02-08 07:46
flink
大数据
hadoop
【
深入浅出
Yarn 架构与实现】6-4 Container 生命周期源码分析
本文将深入探讨AM向RM申请并获得Container资源后,在NM节点上如何启动和清理Container。将详细分析整个过程的源码实现。一、Container生命周期介绍Container的启动由ApplicationMaster通过调用RPC函数ContainerManagementProtocol#startContainers()发起请求,NM中的ContainerManagerImpl组件
大数据王小皮
·
2024-02-08 07:27
深入浅出Yarn架构与实现
架构
java
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他