E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HDFS基本介绍
报表任务治理计划
先给大家介绍我们我们公司的报表产出组件图:报表产出图底层平台由
HDFS
、Yarn分别提供存储和计算支持在这之上我们提供了一套支持MR、Spark任务开发、依赖执行的调度系统BI业务同学利用调
liujianhuiouc
·
2024-02-10 12:46
计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计
流程1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集;2.使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到
hdfs
;3
计算机毕业设计大神
·
2024-02-10 10:56
【RabbitMQ(一)】:
基本介绍
| 配置安装与快速入门
应该是新年前最后一篇博客了,明天浅浅休息一下,提前祝大家新年快乐捏!01.基础理解1.1同步调用和异步调用同步调用的时候调用者会阻塞等待被调用函数或方法执行完成,并且在完成后才继续执行后续代码。那这样会出现什么问题呢?回想一下平时充话费的场景,当我们点击支付了之后,当余额被扣减完之后就可以直接退出了,其实是没有等待服务状态更新,和后面进行的很多业务的,比如短信通知服务也是在充值以后一段时间才会通知
*Soo_Young*
·
2024-02-10 09:49
RabbitMQ
java-rabbitmq
rabbitmq
java
扒一扒那些叫欧拉的定理们(四)——平面几何欧拉定理美学鉴赏
上一篇我们聊完了空间立体几何范畴内的欧拉定理及其抽象形式,相关内容回顾请戳:扒一扒那些叫欧拉的定理们(三)——简单多面体欧拉定理的抽象形式扒一扒那些叫欧拉的定理们(二)——简单多面体欧拉定理的证明扒一扒那些叫欧拉的定理们(一)——
基本介绍
和简单多面体欧拉定理今天我们接着来欣赏一下在中等数学里的平面几何欧拉定理
MatheMagician
·
2024-02-10 08:37
opensource
payment
xhtml
mooc
internet
HDFS
常用命令
HDFS
常用命令
hdfs
命令最常用的就是:
hdfs
dfs-[linux的命令]通过查看Hadoop的命令与
hdfs
的命令并不相同,且不存在包含关系。仅仅是hadoopfs与
hdfs
dfs可以等价。
昱东i
·
2024-02-10 06:30
hadoop
linux
大数据
hadoop
could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running
学习使用Hadoop-3.2.2APIIDEA中使用Java向
hdfs
写入文件时出现如下错误:couldonlybereplicatedto0nodesinsteadofminReplication(=
昱东i
·
2024-02-10 06:30
hadoop
hadoop
hdfs
big
data
python中sqlite3的介绍和运用
1、
基本介绍
:SQLite是一个开源的轻量级数据库,整个数据库是一个磁盘文件,包在一个相对小的C库中,处理速度快,无服务器,不需要配置.标准Python库内置了对SQLite数据库连接的支持.它包含sqlite3
宇宙中的一颗星
·
2024-02-10 06:03
sqlite
数据库
python
《FFmpeg Basics》中文版-01-FFmpeg
基本介绍
正文为了最优地使用各种FFmpeg组件,需要正确理解FFmpeg的基本属性和特性。如果你基础差了点,看了不知道说的啥,您可以继续下一章,并在遇到需要了解的内容的时候再回来看。FFmpeg介绍FFmpeg是根据GNU通用公共许可证获得许可的多媒体处理自由软件项目的名称。该项目最受欢迎的部分是用于视频和音频编码/解码的ffmpeg命令行工具,其主要特点是速度快,输出质量高和文件大小比较小。FFmpeg
老张音视频开发进阶
·
2024-02-10 04:55
《产品经理必懂的技术那点事儿》读后感
这本书读下来我的印象就是把一些技术的
基本介绍
用浅显的话来描述,除去了难懂的术语。感觉有些概念定义的不够清晰,比如结构数据和非结构数据。还有些例子被反复用,每次一看到开头就能背出结尾,比如账号登录。
王丽聪
·
2024-02-10 03:59
MySql锁机制详解
这里是目录标题一.
基本介绍
1.概念2.特点3.分类二.MyISAM表级锁1.语法2.并发插入3.如何查看锁竞争情况4.总结三.InnoDB锁1.行级锁分类及加锁方法2.注意3.行级锁的实现方式4.如何查看锁竞争情况四
王小燊oom
·
2024-02-10 03:01
MySql
mysql
mysql的锁机制详解
文章目录mysql的锁机制1、MySQL锁的
基本介绍
2、MyISAM表锁注意:总结mysql的锁机制1、MySQL锁的
基本介绍
**锁是计算机协调多个进程或线程并发访问某一资源的机制。
少林码僧
·
2024-02-10 03:30
mysql
数据库
【Sass/SCSS 官方英文文档翻译整理】SCSS 完整自学中文版教程01_Sass
基本介绍
Sass
基本介绍
[toc]如果对本文有任何问题,建议,或者在前端技术体系方面有任何问题,可以添加我的微信:drylint,我会尽可能为你解答,也会拉你进入前端技术进阶交流群,大家一起进步~Sass是CSS
drylint
·
2024-02-10 03:24
京东面试总结
2
hdfs
上传文件有哪几种方式?3Hive的优化问题?4Hive的数据倾斜问题?5数据分析?概念和总结6Django源码?7python的浅拷贝和深拷贝?
小小少年Boy
·
2024-02-09 21:45
hdfs
支持lzo压缩配置
1安装linux的lzo库需要在集群的每一个节点都安装lzo库,假定都64位的机器。1)安装lzo操作如下:wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz2)解压tar-zxvflzo-2.10.tar.gz3.进入解压后的目录:cdlzo-2.104.编译参数配置:本例lzo安装在/usr/local/lz
机灵鬼鬼
·
2024-02-09 20:28
Electron
基本介绍
Electron
基本介绍
Electron官方网站:https://www.electronjs.org/zh/Electron安装方法:npminstallelectron-g全局安装+Electron
灬沙海灬
·
2024-02-09 17:21
electron
Electron
基本介绍
Electron
基本介绍
Electron官方网站:https://www.electronjs.org/zh/Electron安装方法:npminstallelectron-g全局安装+Electron
记忆的小河
·
2024-02-09 16:25
javascript
node.js
Electron
基本介绍
Electron
基本介绍
Electron官方网站:https://www.electronjs.org/zh/Electron安装方法:npminstallelectron-g全局安装+Electron
自动化新人
·
2024-02-09 16:20
node.js
第一章 整车EE架构和软件发展情况
第一章整车EE架构的
基本介绍
和发展1.架构形态整车架构形态目前呈三种阶段:分布式阶段、域内集中阶段、中央计算阶段分布式阶段域内集中阶段中央计算阶段2.架构特点分布式阶段各个ECU是完全分离的,且算力较低
_长风_
·
2024-02-09 07:53
汽车系统架构&软件架构
架构
Spark SQL(十一):与Spark Core整合
1、筛选出符合查询条件(城市、平台、版本)的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数,倒序排序4、将数据保存到hive表中3、实现思路:1、针对原始数据(
HDFS
雪飘千里
·
2024-02-09 06:34
Linux系统安全之iptables防火墙
目录一、iptables防火墙的
基本介绍
二、iptables的四表五链三、iptables的配置四、添加,查看,删除规则一、iptables防火墙的
基本介绍
iptables是一个Linux系统上的防火墙工具
揣晓丹
·
2024-02-09 05:26
微服务
linux
系统安全
服务器
设计模式——适配器模式
一、
基本介绍
●适配器模式是将某个类的接口转化成客户端需要的另一个接口表示,主要的目的是兼容性,让原本因接口不匹配不能
程序猿进阶
·
2024-02-09 05:45
设计模式
设计模式
适配器模式
java
后端
面试
性能优化
架构
软件测试基础计算机的
基本介绍
,极度适合准备入行的小白(一)
1.1"计算机"
基本介绍
一、为什么需要计算机对于现在的我们来说,每天要处理的信息量是巨大的,所以如果还是人工的来对这些数据进行处理,那么效率是很低的。
羞羞的白菜
·
2024-02-09 05:31
浏览器F12调试
目录需要自己手动添加例如:第一章Python机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录1浏览器F12开发者工具1.1F12开发者工具
基本介绍
知行合一。。。
·
2024-02-09 01:11
测试技术
功能测试
3.MyBatis核心配置文件(mybatis-config.xml)
目录1.Mybatis
基本介绍
2.Mybatis基本使用(三种方式)3.MyBatis核心配置文件(mybatis-config.xml)4.Mybatis映射文件(类名+Mapper.xml)5.Mybatis
未禾
·
2024-02-09 01:59
Mybatis
mybatis
xml
java
【 Vue 拓展 | (一) 】:一个案例搞懂 pinia 的使用
❤️❤️❤️01.Pinia
基本介绍
符合直觉的Vue.js状态管理库在学习之前,先来了解什么是pinia以及为什么要使用pinia比如说这是一个项目的基础结构,当组件很少的时候可以通过组件通信来解决,但当组件多
*Soo_Young*
·
2024-02-08 20:45
vue.js
前端
javascript
No.2大数据入门 | 环境搭建:jdk1.8安装及环境配置
Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称
HDFS
,Hadoop的框架最核心的设计就是:
HDFS
和MapReduce:
HDFS
为海量的数据提供了存储
滚滚红尘_8133
·
2024-02-08 11:43
Docker
基本介绍
文章目录一、虚拟化1.1虚拟化概述1.2cpu的时间分片(cpu虚拟化)1.3cpu虚拟化性性能瓶颈1.4虚拟化工作原理1.4.1虚拟化类型1.4.2虚拟化功能二、Docker容器概述2.1Docker简介2.2使用docker有什么意义2.3Docker的使用场景2.4Docker引擎(DockerEngine)2.5Docker三要素(核心组件)2.6六大名称空间2.7资源控制——cgroup
殇275
·
2024-02-08 11:51
docker
Hadoop多次格式化后如何解决
产生原因我们在配置hadoop中的
hdfs
时,会设置元数据的存储位置,如图所示要想解决此问题,先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件,这里三台机器都要删,最后进入hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安
·
2024-02-08 11:50
笔记
Hadoop
云计算
hadoop
hdfs
Docker
基本介绍
Docker
基本介绍
镜像Docker镜像就是一个只读的模板。例如:一个镜像可以包含一个完整的ubuntu操作系统环境,里面仅安装了Apache或用户需要的其它应用程序。
26857259
·
2024-02-08 11:48
技术杂货铺
docker
容器
运维
Hadoop生态漏洞修复记录
Hadoop常用端口介绍
HDFS
NameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。
·
2024-02-08 08:30
hadoop
大数据
分布式
Hadoop2.7配置
core-site.xmlfs.defaultFS
hdfs
://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hadoop
大数据
hdfs
HDFS
执行balance报错:
hdfs
balance java.io.IOException: Another Balancer is running.. Exiting
现象:1、大数据Hadoop集群,
HDFS
扩容后,为了使各节点数据均衡,执行balance操作。2、启动
hdfs
balance时,一直出现其他的balance在执行中,其实并没有执行。
不会吐丝的蜘蛛侠。
·
2024-02-08 08:29
Hadoop
hdfs
hadoop
java
hadoop调优-
hdfs
配置优化
配置文件
hdfs
-site.xml生产环境建议优化:dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
Hadoop
hadoop
hdfs
big
data
hive自定义UDF依赖第三方jar包
上传jar包到
HDFS
上
hdfs
dfs-putxxxx.jar/tmp/hive/创建永久函数:createfunctionmy_funas'com.test.TestUDF'usingjar'
hdfs
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
hive
hive
jar
hadoop
spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104
报错:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.
hdfs
.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
删除和清空Hive外部表数据
外部表和内部表区别未被external修饰的是内部表(managedtable),被external修饰的为外部表(externaltable);区别:内部表数据由Hive自身管理,外部表数据由
HDFS
SunnyRivers
·
2024-02-08 08:53
Hive
hive
drop
truncate
外部表
删除外部表
sqoop导入数据到
hdfs
Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据:将MySQL,Oracle导入数据到Hadoop的
HDFS
、HIVE、HBASE等数据存储系统导出数据:从Hadoop
鲲鹏猿
·
2024-02-08 06:40
hdfs
sqoop
hadoop
2024-02-07(Sqoop,Flume)
1.Sqoop的增量导入实际工作中,数据的导入很多时候只需要导入增量的数据,并不需要将表中的数据每次都全部导入到hive或者
hdfs
中,因为这样会造成数据重复问题。
陈xr
·
2024-02-08 06:35
随记日志
sqoop
flume
SpringBoot+MyBatisPlus+thymeleaf增删改查
SpringBoot+MyBatisPlus+thymeleaf增删改查一、
基本介绍
建议在写之前会熟练使用vue脚手架,以及掌握vue相关知识本文章会教你构建一个springboot+mybatisplus
dxjzs
·
2024-02-08 06:00
mybatis
vue.js
mysql
2023大数据必看面试题
1、请讲述
HDFS
输入文件的具体步骤?
东方同学
·
2024-02-08 05:38
大数据
面试题
大数据
hadoop
java
51单片机---点亮LED灯(含源码,小白可入)
实验设备:普中51-实验开发板实验目录:1、点亮一个LED灯;2、闪烁LED灯;3、LED流水灯;一、硬件部分涉及LED灯的
基本介绍
,发光二极管,简称为LED,是一种常用的发光器件,其特点是单向导通,意思就是在
King~30+
·
2024-02-08 02:24
51单片机
51单片机
嵌入式硬件
单片机
hive之DDl数据定义
1.Hive在
HDFS
上的默认存储路径Hive的数据都是存储在
HDFS
上的,默认有一个根目录,在hive-site.xml中,由参数hive.metastore.warehouse.dir指定。
嚄825
·
2024-02-07 19:32
hive
hadoop
大数据
java设计模式之中介者模式
中介者模式(MediatorPattern)
基本介绍
中介者模式,用一个中介对象来封装一系列的对象交互。中介者使各个对象不需要显式地相互引用,从而使其解耦松散。而且可以独立地改变它们之间的交互。
劉鵬杰
·
2024-02-07 17:44
JAVA
设计模式
java
设计模式
中介者模式
HDFS
之 数据管理(namespace 和 slaves)
1、namespaceNamespace在
HDFS
中是一个非常重要的概念,也是有效管理数据的方法。Namespace有很多优点:可伸缩性。使
HDFS
集群存储能力可以轻松进行水平拓展;系统性能。
Studying!!!
·
2024-02-07 17:57
中间件
hdfs
hadoop
大数据
HDFS
架构 之 服务视图
1、简介为实现以上特性,
HDFS
包含的各个服务模块都是经过精心设计的,
HDFS
的服务视图如图。
HDFS
的服务视图包含三大部分:核心服务、公共服务和拓展服务。2、核心服务1)Namenode。
Studying!!!
·
2024-02-07 17:27
中间件
hdfs
hadoop
大数据
HDFS
架构 之 元数据架构解析
1.1namenode启动流程1.1.1启动流程1、加载fsimage文件FsImage是一种持久化到磁盘上的文件,里面包含了集群大部分的meta数据,持久化的目的主要是为了防止meta数据丢失,也就是在
HDFS
Studying!!!
·
2024-02-07 17:23
中间件
hdfs
架构
hadoop
多维时序 | MATLAB实现基于CNN-LSSVM卷积神经网络-最小二乘支持向量机多变量时间序列预测
|MATLAB实现基于CNN-LSSVM卷积神经网络-最小二乘支持向量机多变量时间序列预测目录多维时序|MATLAB实现基于CNN-LSSVM卷积神经网络-最小二乘支持向量机多变量时间序列预测预测效果
基本介绍
程序设计参考资料预测效果
基本介绍
机器学习之心
·
2024-02-07 14:17
时序预测
CNN-LSSVM
卷积神经网络
最小二乘支持向量机
多变量时间序列预测
DataX概述
1.概述DataX是阿里开源的的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据开发工程师-宋权
·
2024-02-07 14:01
DataX
hadoop
阿里云datax工具使用详解
datax介绍特征安装前准备工作-系统需求快速开始补充datax介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、
HDFS
王春星
·
2024-02-07 14:01
数据高效导入工具
大数据数据迁移工具选择
快速导数据工具
异构数据源导入工具
大数据工具
datax安装与使用详解
一、dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、
HDFS
、Hive、HBase
jhchengxuyuan
·
2024-02-07 14:00
hadoop
大数据
datax
大数据
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他