E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop单机
关于
Hadoop
进行namenode格式化时ERROR conf.Configuration: error parsing conf xxx.xml错误的问题
关于
Hadoop
进行namenode格式化时ERRORconf.Configuration:errorparsingconfxxx.xml错误的问题在配置完core-default.xml,mapred-site.xml
平江路的鱼
·
2024-02-01 09:34
大数据
hadoop
Linux
格式化
错误
大数据
Etcd教程 — 第一章 Etcd简介、Etcd
单机
安装
Etcd教程—第一章Etcd简介、Etcd
单机
安装1Etcd介绍1.1介绍1.2etcd特点2Etcd
单机
安装2.1安装方式2.1.1yuminstalletcd2.1.2通过系统工具安装etcd【版本比较滞后
西木Qi
·
2024-02-01 08:49
etcd
etcd
etcd自动化安装配置教程
文章目录前言一、简介1.简介2.特点3.端口介绍二、etcd安装教程(
单机
版)1.复制脚本2.增加执行权限3.执行脚本4.查看启动状态5.卸载etcd三、etcd安装教程(集群版)1.复制脚本2.增加执行权限
BigDataMagician
·
2024-02-01 08:47
大数据
etcd
自动化
数据库
大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置
上一篇:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码
王哪跑nn
·
2024-02-01 07:53
spark
Idea日常操作
大数据
spark
intellij-idea
大数据 - Spark系列《一》- 从
Hadoop
到Spark:大数据计算引擎的演进
目录1.1
Hadoop
回顾1.2spark简介1.3Spark特性1.通用性2.简洁灵活3.多语言1.4SparkCore编程体验1.4.1spark开发工程搭建1.开发语言选择:2.依赖管理工具:1.4.2Spark
王哪跑nn
·
2024-02-01 07:43
spark
大数据
spark
hadoop
由微信token和mysql锁说开去
对于
单机
服务来说,我们可以用同步块、barrier等工具来处理这个问
ro9er
·
2024-02-01 06:11
HBase介绍
GFS是GoogleFileSystem,开源实现是HDFS(
Hadoop
FileSystem)。MapReduce计算框架的开源实现是
Hadoop
MapReduce。
M.Rambo
·
2024-02-01 06:09
hbase
数据库
大数据
分布式
java
2019/2/20Hbase单节点安装
hbase(hbase-2.0.0-bin.tar.gz)解压过程即为安装过程解压=》为了让hbase的存放路径指定ns这个组名(防止出先不认识“ns”的错误)[root@zhiyou01~]#cp/usr/
hadoop
阳光正好微风不燥_c509
·
2024-02-01 05:39
zookeeper集群群起脚本
所以要写个脚本,我的主机名是有规律的
hadoop
101;
hadoop
102;
hadoop
103所以创建脚本的过程如下:到/usr/local/bin目录下touch一个文件,这里我叫zkstartUtil.sh
小北觅
·
2024-02-01 05:01
Redis 数据类型及应用场景
Redis在数据缓存中用的非常多,使用的过程中有
单机
/集群模式,也有不同的数据类型的选择,如何选择最佳的数据类型?下面我们一起分析下常用的数据类型使用场景。
老鼠AI大米_Java全栈
·
2024-02-01 04:08
Hadoop
大数据技术原理与应用
Hadoop
大数据技术原理与应用大数据概述定义特征大量,多样,高速,价值研究意义应用场景医疗,金融,零售
Hadoop
概述历史优势扩容能力强,成本低,高效率,可靠性,高容错
Hadoop
生态分布式存储系统(
kk8_
·
2024-02-01 04:33
hadoop
大数据
hdfs
[绝对要收藏]配置
hadoop
完全分布式环境
##环境:
hadoop
-2.7.2,jdk1.8.0_144,CentOS-7-x86_64-Minimal-2009.iso1先创建一个主机2修改id,hostname,hosts3关闭防火墙4连接xshell5
Java小白中的菜鸟
·
2024-02-01 03:04
centos7
hadoop
分布式
hdfs
【原】ElasticCache与Redis
Redis
单机
模式clustersentinelElasticCacheCacheCloud
曹赫洋
·
2024-02-01 03:37
Sqoop数据迁移工具
概述ApacheSqoop(SQL-to-
Hadoop
)项目旨在协助RDBMS与
Hadoop
之间进行高效的大数据交流。
小希 fighting
·
2024-02-01 03:55
sqoop
hadoop
hive
分布式
大数据
数据库
sql
Hadoop
生产调优 (七) --------- MapReduce 与 Yarn 生产经验
目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce生产经验1.MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点:计算机性能CPU、内存、磁盘、网络I/O操作优化数据倾斜Map运行时间太长,导致Reduce等待过久
在森林中麋了鹿
·
2024-02-01 03:17
Hadoop
mapreduce
hadoop
大数据
windows 下面Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.
hadoop
.io.nativei...
本地运行,注意两点,配置本地的
hadoop
环境变量,注意
hadoop
版本是windows版本,在本地跑的时候遇到Exceptioninthread"main"java.lang.UnsatisfiedLinkError
smartjiang
·
2024-02-01 02:20
大数据高频面试题一:hive和Oracle的区别
Hive和Oracle数据库最大的区别在于存储和计算方面:Hive存储在hdfs上(
Hadoop
分布式文件系统容错性高),Oracle将数保存在本地文件系统中。
半亩书田
·
2024-02-01 02:47
面试题
hive
hadoop
大数据
Kolla-ansible
单机
部署OpenStack Train
系统环境初始化1、安装基础软件包yuminstall-ypython-devellibffi-develgccopenssl-devellibselinux-pythongitwgetvimyum-utils2、设置主机名以及hostshostnamectlset-hostnameopenstack&&bashvim/etc/hosts#设置hosts先清空hosts文件然后添加如下192.168
爱写代码的小白.
·
2024-02-01 01:31
云计算
ansible
openstack
【狂神说Java】redis入门
文章目录Nosql概述缓存的发展历史MySQL
单机
时代Memcached(缓存
就你叫Martin?
·
2024-02-01 00:42
狂神说JAVA系列笔记
java
redis
开发语言
解决There are 0 datanode(s) running and no node(s) are excluded in this operation.
出现上述问题可能是格式化两次
hadoop
,导致没有datanode解决方法1:重启linux,再使用start-dfs.sh和start-yarn.sh重启一下
hadoop
解决办法2:找到
hadoop
安装目录下
有一束阳光叫温暖
·
2024-01-31 23:56
数据血缘——基于
单机
版Neo4j实现数据血缘的管理
1前言数据血缘是指在数据生命周期内,数据从产生到消亡的全过程中,各个阶段的数据流向、数据加工处理以及对应的数据元素和数据对象之间的关系和依赖关系。数据血缘可以帮助我们跟踪数据的源头和去向,记录数据的使用情况,确保数据的合法性、完整性和安全性。更重要的是,数据血缘能够为数据治理、质量监控、风险控制、信息价值发现等方面提供强有力的支持,使数据的管理和使用更加精确、高效和透明。本篇文章将重点介绍数据血缘
CarsonBigData
·
2024-01-31 20:25
大数据
spring
boot
neo4j
数据血缘
图数据库
游戏夜读 | 世界两大游戏评论!
例如:游民星空作为中国
单机
游戏门户网站,于2018年1月发表一篇题为《游民星空的游戏评测已被OpenCritic正式收录》的新闻。再比
良宵听雨
·
2024-01-31 19:55
分布式事务的概述及其解决方案
分布式事务本地事务本地事务,也就是传统的
单机
事务。在传统数据库事务中,必须要满足四个原则:其中,隔离性的隔离级别:脏读:ReadUnCommited(读未提交)并发的线程读取到其他线程未提交数据。
正在绘制中
·
2024-01-31 19:49
分布式
Redhat 8.4 一键安装 Oracle 11GR2
单机
版
Oracle一键安装脚本,演示Redhat8.4一键安装Oracle11GR2
单机
版过程(全程无需人工干预):(脚本包括ORALCEPSU/OJVM等补丁自动安装)⭐️脚本下载地址:Shell脚本安装Oracle
Lucifer三思而后行
·
2024-01-31 18:40
oracle
数据库
Java基础-多线程(3)
如
hadoop
分布式集群。所以并发编程的目标是充分的利用处理器的每一个核,以达到最高的处理性能。36.线程和进程的区别?简而言之,进程是程序运行和资源分配的基本
C乖
·
2024-01-31 16:51
【Microsoft Azure 的1024种玩法】六十七.通过Data Migration Assistant 将本地自建SQL Server 数据库脱机迁移至Azure SQL Database
【简介】作为一个DBA,我们需要全面了解SQLDatabase数据库的备份以及迁移,如果我们本地有一个
单机
的SQLServer数据库,我们想将其迁移至AzureSQLDatabase中,那我们有什么好的方式呢
一只特立独行的兔先森
·
2024-01-31 16:16
【Microsoft
Azure
的1024种玩法】
azure
数据库
microsoft
数据库迁移
Azure
Database
数据湖技术Iceberg0.12预研文档
trino(presto)本次预研使用组件如下:名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中(更换jar升级替换)
hadoop
3.0.0cdh
我去探险了
·
2024-01-31 15:36
数据湖技术
hive
kafka
big
data
国家新闻出版署:严格限制向未成年人提供网络游戏服务的时间
有人会说,不准玩网游,孩子照样可以玩
单机
游戏,玩其他一
君之言之
·
2024-01-31 14:12
Ambari2.7.3 和HDP3.1.0搭建
Hadoop
集群
一、环境及软件准备1、集群规划
hadoop
01/192.168.0.151
hadoop
02/192.168.0.152
hadoop
03/192.168.0.153
hadoop
04/192.168.0.154
hadoop
05
大道至简非简
·
2024-01-31 13:04
Hadoop
Windows10上用idea进行
hadoop
客户端远程操作
1.idea上访问
Hadoop
客户端的uri地址要和core-site.xml中fs.defaultFS的参数一致2.执行自定义的程序之前,要启动
Hadoop
,否则会报错:Causedby:java.net.ConnectException
大数据新新菜鸟
·
2024-01-31 12:41
hadoop
intellij-idea
大数据
IDEA中
Hadoop
的环境配置
没有配置
Hadoop
Home:在Windows下解压一份
Hadoop
安装包
Hadoop
使用log4j进行日志输出,明显没有配置log4j再次运行,显示了作业的运行情况
hhhhhhhhhhhnb
·
2024-01-31 12:36
intellij-idea
java
intellij
idea
hadoop
linux
Intelj IDEA 配置
Hadoop
远程调试环境
远程
hadoop
版本:
Hadoop
3.0.0+cdh6.3.2一、设置本地
hadoop
环境1、下载
hadoop
下载
hadoop
-3.0.0.tar.gz,并解压到D:\BigData\并重命名为
hadoop
跟着大数据和AI去旅行
·
2024-01-31 12:34
大数据从入门到精通
hadoop
intellij
idea
【Spring连载】使用Spring Data访问Redis(三)----连接模式
一、RedisStandalone最简单的入门方法是使用
单机
Redi
85程序员老王
·
2024-01-31 11:20
spring
redis
java
Redis(十)SpringBoot集成Redis
文章目录连接
单机
mvnYMLController.javaRedisConfig.java连接集群YML问题复现RedisTemplate方式连接
单机
mvnorg.springframework.bootspring-boot-starter-data-redisyourversionYMLserver.port
Lucky_Turtle
·
2024-01-31 11:06
Java
redis
spring
boot
bootstrap
域防火墙&入站出站规则
域防火墙&入站出站规则&不出网隧道上线&组策略对象同步
单机
-防火墙-限制端口出入站
单机
-防火墙-限制协议出入站域控-防火墙-组策略对象同步域控-防火墙-组策略不出网上线*1、CS-ICMP-上线2、MSF
程序员负总裁
·
2024-01-31 10:38
网络
美团面试:Redis怎么做高可用、高并发架构?
说在前面在40岁老架构师尼恩的读者交流群(50+)中,最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格,遇到很多很重要的面试题:如果使用Redis的场景很简单,只使用
单机
版
40岁资深老架构师尼恩
·
2024-01-31 09:40
面试
面试
redis
架构
java
网络
数据库
java进阶
1.大数据史上最全Flink面试题,高薪必备,大数据面试宝典史上最全
Hadoop
面试题:尼恩大数据面试宝典专题1史上最全HBase面试题,高薪必备,架构必备史上最全Hive面试题,高薪必备,架构必备绝密
don't_know
·
2024-01-31 09:44
java
企业级大数据安全架构(七)服务安全
认证机制,目前直接对接kerberos使用较多,这里我们使用FreeIPA来集成kerberosFreeIPA官网下载地址:https://www.freeipa.org/page/Downloads
Hadoop
云掣YUNCHE
·
2024-01-31 08:08
企业级大数据安全架构
安全
大数据
安全架构
【云原生】docker-compose
单机
容器集群编排工具
目录一、docker-compose容器编排的简介二、docker-compose的使用1、docker-compose的安装2、docker-compose的配置模板文件yaml文件的编写(1)布尔值类型(2)字符串类型(3)一个key有多个值(4)对象object类型类型(5)文本块(6)锚点3、docker-compose配置模板文件常用的字段与dockerrun的选项和参数对比4、dock
liu_xueyin
·
2024-01-31 08:51
云原生
docker
容器
运维
linux
分布式
kafka
【云原生】docker-compose
单机
容器编排工具
目录什么是docker-compose?管理区别docker-compose的三大概念YAML文件格式及编写注意事项使用YAML时需要注意下面事项:布尔值类型字符串类型一个key有多个值对象object类型文本块锚点docker-compose配置模板文件常用的字段DockerCompose搭建nginx1.DockerCompose环境安装准备依赖文件编写配置文件docker-compose.y
思华年^O^
·
2024-01-31 08:15
云原生
docker
docker
compose
WARNING:
HADOOP
_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of
HADOOP
Hadoop
启动时报错WARNING:
HADOOP
_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.Usingvalueof
HADOOP
_SECURE_DN_USER
W_yhhh
·
2024-01-31 08:44
hadoop
hdfs
大数据
hadoop
-hdfs-site.xml配置文件详解
hadoop
:hdfs-site.xml配置文件详解hdfs-site.xml配置文件j介绍
hadoop
-hdfs相关的配置信息hdfs-site.xml配置文件namevaluedescription
hadoop
.hdfs.configuration.version1versionofthisconfigurationfiledfs.namenode.logging.levelinfoThelo
许喜朝
·
2024-01-31 08:13
笔记
hdfs
hadoop
关于
Hadoop
全分布构建no HDFS_NAMENODE_USER 错误解决
在
Hadoop
全分布构建中,常常会出现以下错误[root@
Hadoop
c1
hadoop
]#start-all.shStartingnamenodeson[192.168.13.245]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
(((φ(◎ロ◎;)φ)))云凡
·
2024-01-31 08:43
笔记
Hadoop
hadoop
hdfs
big
data
WARNING:
HADOOP
_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.
hadoop
启动时WARNING:
HADOOP
_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.Usingvalueof
HADOOP
_SECURE_DN_USER
北朽暖栀24
·
2024-01-31 08:41
linux系统
hadoop
hdfs
linux
ubuntu
Hadoop
_HDFS_hdfs 文件系统操作指令
本地做个备份,下面的文章摘自
Hadoop
官网Link:http://
hadoop
.apache.org/docs/r2.7.3/
hadoop
-project-dist/
hadoop
-common/FileSystemShell.html
高达一号
·
2024-01-31 08:11
Hadoop
hadoop
hdfs操作指令
hdfs
启动集群时遇到WARNING:
HADOOP
_SECURE_DN_USER做替换
启动集群时遇到WARNING:
HADOOP
_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.Usingvalueof
HADOOP
_SECURE_DN_USER
Dirth.
·
2024-01-31 08:40
大数据
hadoop
org/apache/
hadoop
/hive/shims/ShimLoader
Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/
hadoop
/hive/shims/ShimLoaderatorg.apache.
hadoop
.hive.conf.HiveConf
木生火18624
·
2024-01-31 08:38
异常错误
大数据实战
【大数据入门核心技术-Tez】(三)Tez与Hive整合
一、准备工作1、
Hadoop
和Hive安装【大数据入门核心技术-
Hadoop
】(五)
Hadoop
3.2.1非高可用集群搭建【大数据入门核心技术-
Hadoop
】(六)
Hadoop
3.2.1高可用集群搭建【
forest_long
·
2024-01-31 08:06
大数据技术入门到21天通关
hive
大数据
hadoop
hbase
mapreduce
大数据[1] -- 安装
hadoop
文章目录
Hadoop
安装以及配置一、安装1.安装SSH,设置SSH无密码登录2.安装jdk3.安装
Hadoop
二、配置三、其他配置四、出现的问题五参考文章
Hadoop
安装以及配置一、安装1.安装SSH,
天下一般
·
2024-01-31 08:06
环境的配置与软件的使用
操作系统
大数据
linux
Hadoop
搭建集群中输入hdfs namenode -format格式化节点时,提示:hdfs command not found 解决办法
分析原因:
hadoop
的安装路径没有加入到当前路径中解决办法:方法1:进入
hadoop
的安装目录,在执行
hadoop
命令时在前面加上:./bin.
drhrht
·
2024-01-31 08:05
java
java
后端
上一页
24
25
26
27
28
29
30
31
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他