E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云存储运维文件系统hdfs
hive表格统计信息不准确
存储格式,有个分区,查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0,但查询select*fromtablewheredt='yyyyMMdd'又能查到数据,去
hdfs
weixin_41956627
·
2024-09-11 09:37
hive
hive
hadoop
数据仓库
人生苦短我用Python pandas文件格式转换
1excel与csv互转常用格式的方法FlatfileExcelJSONXML示例2常用格式转换简要需求依赖export方法main方法附其它格式的方法HTMLPicklingClipboardLatex
HDFS
tore
程序喵D
·
2024-09-11 08:58
人生苦短我用Python
python
pandas
华为云全栈可观测平台(APM)8月新功能特性
华为云应用性能管理服务(ApplicationPerformanceManagement,简称APM)帮助
运维
人员快速发现应用的性能瓶颈,以及故障根源的快速定位,为用户体验保驾护航。
华为云PaaS服务小智
·
2024-09-11 08:58
华为云
消息中间件之ActiveMQ — 07
集群配置官方文档主备集群官方文档MasterSlaveTypeRequirementsProsConsSharedFileSystemMasterSlave共享
文件系统
,如SAN需要运行多个slave。
筑梦之人
·
2024-09-11 08:57
消息中间件MQ
java
activemq
网络安全(黑客技术)—2024自学手册
前言什么是网络安全网络安全可以基于攻击和防御视角来分类,我们经常听到的“红队”、“渗透测试”等就是研究攻击技术,而“蓝队”、“安全运营”、“安全
运维
”则研究防御技术。
一个迷人的黑客
·
2024-09-11 03:21
web安全
安全
网络
学习
网络安全
信息安全
渗透测试
大数据分析与安全分析
海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多,包括结构化、半结构化和非结构化数据有关大数据的新兴网络信息技术应用不断出现,主要包括大规模数据分析处理、数据挖掘、分布式
文件系统
Zh&&Li
·
2024-09-11 03:21
网络安全运维
数据分析
安全
数据挖掘
运维
数据库
【网络安全 | 渗透工具】IIS 短文件名枚举工具—shortscan安装使用教程
背景:在早期的Windows
文件系统
(如FAT和NTFS)中,每
秋说
·
2024-09-11 03:50
渗透工具
web安全
漏洞挖掘
渗透工具
分布式跟踪服务实战应用指南
此项服务不仅能协助开发与
运维
团队更直观地理解系统运作状况,还可增强系统稳定性及提升用户满意度。
CRMEB系统商城
·
2024-09-11 01:38
分布式
使用Ansible实现高效服务器配置管理的最佳实践
使用Ansible实现高效服务器配置管理的最佳实践在现代IT
运维
中,服务器的配置管理是一个关键环节。传统的手动配置方法不仅耗时耗力,而且容易出错,特别是在规模庞大的服务器集群中,配置的一致性难以保证。
范范0825
·
2024-09-10 23:28
ansible
服务器
运维
数据采集与数据预处理(python)概述(一)
常见的数据存储方式包括:
文件系统
(FileSystem):文本文档:TXT,DOC,PDF,XLS(Excel),CSV等
数学难
·
2024-09-10 23:56
python
开发语言
Ansible Tower与AWX:构建可视化的
运维
自动化解决方案
AnsibleTower与AWX:构建可视化的
运维
自动化解决方案引言随着企业数字化转型的深入,
运维
自动化逐渐成为IT管理的重要组成部分。
勤劳兔码农
·
2024-09-10 23:22
运维
ansible
自动化
linux从入门到放弃权限管理,「Linux从入门到放弃」07节-Linux权限介绍
本节比较重要,网络圈会向大家介绍Linux权限知识,
运维
同学要划下重点哦。请注意:此节会涉及用户、用户组的概念,大家如果对用户(组)不理解没有关系,后面会有单独章节详细解说。
佳丽影像
·
2024-09-10 22:49
linux从入门到放弃权限管理
linux提权:从入门,Linux提权:从入门到放弃
几点前提已经拿到低权shell被入侵的机器上面有nc,python,perl等linux非常常见的工具有权限上传文件和下载文件内核漏洞提权提到脏牛,
运维
流下两行眼泪,我们留下两行鼻血。内
Kalu丁
·
2024-09-10 22:48
linux提权:从入门
自学黑客(网络安全)
网络安全可以基于攻击和防御视角来分类,我们经常听到的“红队”、“渗透测试”等就是研究攻击技术,而“蓝队”、“安全运营”、“安全
运维
”则研究防御技术。
白袍无涯
·
2024-09-10 21:11
web安全
网络
安全
网络安全
系统安全
运维
计算机网络
千万级规模高性能、高并发的网络架构经验分享
沙龙时间:2015年11月21日下午地点:梦想加联合办公空间分享人:卫向军(毕业于北京邮电大学,现任微博平台架构师,先后在微软、金山云、新浪微博从事技术研发工作,专注于系统架构设计、音视频通讯系统、分布式
文件系统
和数据挖掘等领域
搬砖养女人
·
2024-09-10 20:35
网络
架构
经验分享
运维
学习————Zookeeper(2)
目录一、zk节点和节点类型1、节点类型2、常用命令1、客户端链接2、常用命令3、权限控制相关命令特性授权格式测试一、zk节点和节点类型1、节点类型1、PERSISTENT--持久化目录节点客户端与zookeeper断开连接后,该节点依旧存在2、PERSISTENT_SEQUENTIAL-目持久化顺序编号录节点客户端与zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进
乆乄
·
2024-09-10 15:24
学习
深入解析
HDFS
:定义、架构、原理、应用场景及常用命令
引言Hadoop分布式
文件系统
(
HDFS
,HadoopDistributedFileSystem)是Hadoop框架的核心组件之一,它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney
·
2024-09-10 12:39
hdfs
架构
hadoop
Ansible在CentOS下批量部署Nginx到Kubernetes集群
Ansible作为一种自动化
运维
工具,可以帮助我们高效地完成各种任务,包括在Kubernetes集群上部署应用。
酱江奖
·
2024-09-10 10:58
RHEL
zabbix
自学
ansible
centos
nginx
Linux学习-inotify和rsync同步
Inotify是一个Linux特性,它监控
文件系统
操作,比如读取、写入和创建。Inotify反应灵敏,用法非常简单,并且比cron任务的繁忙轮询高效得多。
丢爸
·
2024-09-10 08:42
网络
Linux
linux
学习
服务器
文件管理 和 vim 编辑器 网络配置
文件管理和vim编辑器网络配置linux中一切皆文件linux文件的四大类普通文件目录文件链接文件设备
文件系统
目录结构,(在Linux系统中一切从/开始)/表示根目录是整个
文件系统
的入口硬件磁盘分区需要挂在目录下才能使用包括光盘
小颖⸝⸝ ᷇࿀ ᷆⸝⸝
·
2024-09-10 08:12
linux
运维
解决flume在抽取不断产生的日志文件时,
hdfs
上出现很多小文件的问题
问题在使用flume时,需要编写conf文件,然后执行,明明sinks已经指定了roll的三个参数:a1.sinks.k1.
hdfs
.rollInterval=0(根据写入时间来切割)a1.sinks.k1
lzhlizihang
·
2024-09-10 07:36
flume
hdfs
大数据
Hadoop的搭建流程
、第五步:七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件
hdfs
-site.xml9
lzhlizihang
·
2024-09-10 07:06
hadoop
大数据
分布式
hive搭建 -----内嵌模式和本地模式
文章目录一、内嵌模式(使用较少)1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给
hdfs
创建文件夹
lzhlizihang
·
2024-09-10 07:06
hive
hadoop
详解 JuiceFS sync 新功能,选择性同步增强与多场景性能优化
JuiceFSsync是一个强大的数据同步工具,支持在多种存储系统之间进行并发同步或迁移数据,包括对象存储、JuiceFS、NFS、
HDFS
、本地
文件系统
等。
Juicedata
·
2024-09-10 05:51
性能优化
性能、成本与 POSIX 兼容性比较: JuiceFS vs EFS vs FSx for Lustre
JuiceFS是一款为云环境设计的分布式高性能
文件系统
。AmazonEFS易于使用且可伸缩,适用于多种应用。AmazonFSxforLustre则是面向处理快速和大规模数据工作负载的高性能
文件系统
。
Juicedata
·
2024-09-10 05:21
云原生
人工智能
运维
存储课程学习笔记3_读写nvme磁盘(清除脏数据,struct nvme_user_io和ioctl进行读写,struct block_device内核提供接口读写)
上篇文章实现在内核模块下插入一个
文件系统
,实现对磁盘或者目录进行对应格式化(mount)绑定
文件系统
后,已经可以正常使用。接下来了解对nvme磁盘的控制。
yun6853992
·
2024-09-10 05:18
dpdk学习
nvme
IAAS: IT公司去IOE-Alibaba系统构架解读
这里,我们将从架构、性能、
运维
等多个方面深入了解阿里基础设施。【导读】互联网的普及,智能终端的增加,大数据时代悄然而至。在这个数据为王的时代,数十倍、数百倍的数据给各
wishchin
·
2024-09-10 04:18
心理学/职业
BigDataMini
Spark
PaaS
Swagger使用手册
总体目标是使客户端和
文件系统
作为服务器以同样的速度来更新。文件的方法,参数和模型紧密集成到服务器端的代码,允许API来始终保持同步。作用:1.接口的文档在线自动生成。2.功能测试。
纬一
·
2024-09-10 02:26
Hadoop
HDFS
中的NameNode、SecondaryNameNode和DataNode
Hadoop
HDFS
中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在Hadoop
HDFS
(Hadoop分布式
文件系统
)中,有三个关键的组件
BigDataMLApplication
·
2024-09-10 00:38
大数据
hadoop
hadoop
hdfs
大数据
【Hadoop|
HDFS
篇】NameNode和SecondaryNameNode
1.NN和2NN的工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsIm
Vez'nan的幸福生活
·
2024-09-09 23:00
hadoop
hdfs
大数据
html上传文件框架,文件上传 - FastAdmin框架文档 - FastAdmin开发文档
文件上传最后更新时间:2021-01-1517:29:11FastAdmin支持将文件、图片、视频、压缩包等文件快速的上传至本地服务器或
云存储
,同时支持
云存储
直传模式和服务器进行中转模式。
春容
·
2024-09-09 21:19
html上传文件框架
JavaEE进阶知识学习-----SpringCloud(十)SpringCloudConfig配置中心
SpringCloudConfig配置中心概述就前面项目而言,分布面临的问题是配置问题,每一个项目都有一个yml文件,不好
运维
管理,所有需要一套集中式,动态的配置管理设施,SpringCloud提供了ConfigServer
四川码匠
·
2024-09-09 20:38
SpringCloud
JAVA进阶学习
SpringCloud学习笔记
SpringCloud
600 条最强 Linux 命令总结
600条最强Linux命令总结1.基本命令2.关机3.文件和目录4.文件搜索5.挂载一个
文件系统
6.磁盘空间7.用户和群组8.文件的权限,使用“+”设置权限,使用“-”用于取消9.文件的特殊属性,使用“
素年槿夏
·
2024-09-09 19:34
linux
运维
服务器
Android开机流程-从Init进程启动到进入Android桌面
在Android系统启动过程中,ramdisk.img被内核直接解压到内存中并用作初始根
文件系统
。这一过程不是通过挂载块设备来实现的,而是通过解压cpio档案的内容到内存中的临时
文件系统
(tmpf
techfuture
·
2024-09-09 16:44
Android基础架构系列
android
java
机器人
Hbase的简单使用示例
HBase是基于Hadoop
HDFS
构建的分布式、列式存储的NoSQL数据库,适用于存储和检索超大规模的非结构化数据。它支持随机读写,并且能够处理PB级数据。
傲雪凌霜,松柏长青
·
2024-09-09 11:40
后端
大数据
hbase
数据库
大数据
【区块链 + 人才服务】区块链综合实训平台 | FISCO BCOS应用案例 | FISCO BCOS应用案例
该产品填补了高校区块链相关专业和课程在实验室实训环节的空缺,覆盖了区块链原理与技术、区块链开发、区块链
运维
、区块链安全、区块链实训案例等核心实训教学资源,分层次地融入到实训教学中去,为高校的区块链实验实训提供领先的一体化实验教学环境
FISCO_BCOS
·
2024-09-09 07:40
2023FISCO
BCOS产业应用发展报告
区块链
人才服务
2019-03-13课堂笔记
联系方式:|网站
运维
*
山有木兮_8adb
·
2024-09-09 03:22
Docker学习笔记
文章目录Docker的基本概念容器的概念容器的特点容器与虚拟机的区别容器的三个核心概念Docker的底层隔离机制NameSpaceCgroupUnion
文件系统
Linux安装DockerCentOSUbuntuDocker
Hi,你好啊
·
2024-09-09 02:10
运维
docker
学习
笔记
Docker的110个命令,高级开发
运维
工程师必备
Docker的110个命令1.基本信息查询命令2.容器管理命令3.镜像管理命令4.网络管理命令5.卷管理命令6.容器运行选项命令7.DockerCompose命令8.DockerSwarm命令9.安全管理命令10.系统调试命令以下是分类列出的110个常用Docker命令,涵盖镜像、容器、网络、卷、Swarm集群等多个方面的管理操作。1.基本信息查询命令序号命令说明1dockerversion查看D
golove666
·
2024-09-09 02:38
运维
运维
docker
docker命令
MySQL数据库
运维
:深度解析与实践指南
欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏:+V:LAF20151116进行更多交流学习⭐️全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题.⭐️AIGC时代的创新与未来:详细讲解AIGC的概念、核心技术、应用领域等内容。⭐️全流程数据技术实战指南:全面讲解从数据采集到数据可视化的整个过程,掌握构建现代化数据平台和数据仓库的核心技术和方法。⭐
野老杂谈
·
2024-09-09 01:58
数据库
mysql
运维
MySQL
运维
学习(1):4种日志
1.错误日志mysql错误日志记录了mysql发生任何严重错误时的信息,若数据库无法正常使用时,可以先查看错误日志默认情况下错误日志是开启的,文件名为/var/log/mysqld.log,如果文件不在默认位置,可以通过下面的命令查看其位置:showvariableslike'%log_error%';由于错误日志内的文件行很多,可以用tail命令查看其尾部信息tail-n10/var/log/m
入门如入土
·
2024-09-09 00:54
学习
顶级的python入门教程!小白到大师,从这篇教程开始!
学习Python的原因有很多,以下是几个主要的原因:广泛应用:Python被广泛应用于Web开发、数据科学、人工智能、机器学习、自动化
运维
、网络爬虫、科学计算、游戏开发等多个领域。
马大哈(Python)
·
2024-09-08 23:46
python
pycharm
开发语言
学习
青少年编程
Linux脚本实现自动化
运维
:系统自动备份、资源监控
1、系统自动备份目的:将重要应用备份到别的机器上脚本实例:#!/bin/bash#定义变量app_user=待备份应用的服务器用户名app_passwd=待备份应用的服务器密码app_ip=待备份应用的服务器IPBASE_PATH='/data/inspur_bak'TODAY_DATE=`date+\%Y\%m\%d`CURRENT_PATH=${BASE_PATH}/${TODAY_DATE}
人生在勤,不索何获-白大侠
·
2024-09-08 23:11
运维
linux
自动化
linux系统传输大文件报错_
运维
错题总结(一)
1、对linux下mysqldump备份命令的参数描述正确的是mysqldump-hip-uroot-pDBNAME>bck.sql解释:-h主机名-u用户名-p密码DBNAME数据库名2、linux中,一个端口能够接受tcp链接数量的理论上限是无上限解释:标识一个tcp链接的是,客户端和服务器的ip加端口号,尽管服务器ip地址和端口号一样,但是客户端ip地址不一样,而客户端端口号具有本地意义,理
weixin_39991305
·
2024-09-08 20:24
linux系统传输大文件报错
【python实用性】
文件系统
基本讲解及用法: “增删改查“
文章目录一.增:创建文件二.删:删除文件三.改:修改文件四.查:查看
文件系统
一.增:创建文件创建脚本文件(例如:.txt、.js、.json、.py等)使用withopen(file=‘’,mode=‘
黄小莫
·
2024-09-08 18:15
python
分布式
文件系统
FastDFS动态扩容
当用户量越来越大,则集群中某个group总会到达其极限,这时就得扩展集群的容量了。FastDFS的扩容分为对group纵向扩容和横向扩容纵向扩容指在同一个group组中增加服务器,实现数据冗余,数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group,则需要对此group对应的所有服务器挂载同样容量的磁盘,指定store_path1……,但这样做的
欢醉
·
2024-09-08 18:38
如何拿下TCP(数据库交付
运维
高级工程师TDSQL(MySQL版))认证
如何拿下TCP认证需要掌握的知识掌握分布式OLTP数据库TDSQL(MySQL版)的产品架构与分布式特性掌握TDSQL(MySQL版)各组件的功能,以及启停方法掌握TDSQL(MySQL版)数据库实例的基本操作与使用方法掌握TDSQL(MySQL版)集群的基本操作与使用方法掌握TDSQL(MySQL版)实例备份恢复原理与操作使用,以及高可用方案的实现掌握TDSQL(MySQL版)数据同步和数据迁移
小伟C_C
·
2024-09-08 18:14
数据库
HBase
ApacheHBase是一个基于Hadoop分布式
文件系统
(
HDFS
)构建的分布式、面向列的NoSQL数据库,主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
大数据
后端
hbase
数据库
大数据
Hive的优势与使用场景
以下是Hive的主要优势:1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式
文件系统
(
HDFS
)之上,能够处理海量数据并进行分布式计算。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
大数据面试题:说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?
Hive是Hadoop生态系统中比不可少的一个工具,它提供了一种SQL(结构化查询语言)方言,可以查询存储在Hadoop分布式
文件系统
(
HDFS
)中的数据或其他和Hadoop集成的
文件系统
,如MapR-FS
蓦然_
·
2024-09-08 15:50
大数据面试题
hive
大数据开发面试题
大数据面试
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他