E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop系统架构
软件
系统架构
的演变历史介绍
软件
系统架构
的演变历史与计算机技术的发展紧密相连。从最早的单一大型计算机,到个人计算机的兴起,再到互联网和云计算的普及,软件
系统架构
经历了多次重大的变革。
人生万事须自为,跬步江山即寥廓。
·
2024-02-06 20:56
springcloud
软件构建
2020移动互联网寒冬(Android)求职随感,移动端开发框架
要求掌握
系统架构
及相关技术,熟悉高级UI、framework源码,精通插件化、性能优化、Java开发经验。。。视频面试给我的第一感觉就是题太难了,薪资低也就就算了,面试要求还贼高。一面1:插件化。
纸 飞机
·
2024-02-06 19:10
程序员
面试
android
移动开发
java推荐算法_基于内容的推荐算法实现
javapackagecom.oracle.moviecf;importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.
hadoop
.conf.Configuration
RED韵
·
2024-02-06 19:54
java推荐算法
架构设计学习资料汇总
Medium上的这篇文章介绍了作者学习
系统架构
的一些在线资源,可以帮助架构设计的初学者尽快了解架构的基本设计原则,了解常见场景的设计方案。
DeepNoMind
·
2024-02-06 19:48
Spark简介
Spark作为第二代大数据处理工具,跟
hadoop
对比,它是基于内存的,所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99
·
2024-02-06 18:07
13行代码实现:Python实时视频采集(附源码)
完整的相关内容已录制成视频课程,点击跳转:《人脸识别完整项目实战(附源码)》整个《人脸识别完整项目实战》
系统架构
结构如下图所示:image项目概述篇:系统介绍人脸识别项目的
系统架构
设计、项目关键技术说
A遇上方知友
·
2024-02-06 16:08
致IT领域那些忽悠过的概念
这里我要说的是:1:
Hadoop
是大数据解决方案之一,是个代名词,但是不是全部。2:除了少数公司,绝大多数(99.99%)的公
薛晓刚
·
2024-02-06 15:08
数据库
Spring速成(一)
2,Spring相关概念2.1初识Spring2.1.1Spring家族2.1.2了解Spring发展史2.2Spring
系统架构
2.2.1
系统架构
图2.2.2课程学习路线2.3Spring核心概念2.3.1
小金的学习笔记
·
2024-02-06 15:47
Java
spring
java
后端
Hbase 数据迁移
Hbase数据迁移可选方案对比l已验证方案操作说明:nExport&importu导出命令及示例hbaseorg.apache.
hadoop
.hbase.mapreduce.Export“表名”文件路径导出至本地文件系统
运维那些事儿
·
2024-02-06 14:44
hbase
hbase
hadoop
大数据
flink学习记录
flink-conf.yaml配置文件:jobmanager.rpc.address:
hadoop
1jobmanager.rpc.port:6123jobmanager.heap.size:512mtaskmanager.heap.size
戏 剧
·
2024-02-06 14:34
flink
Hadoop
命令手册
翻译:http://
hadoop
.apache.org/docs/stable/
hadoop
-project-dist/
hadoop
-common/CommandsManual.html版本:2.9.0
金刚_30bf
·
2024-02-06 13:29
干货分享 | MatrixOne
系统架构
分享嘉宾:金海矩阵起源研发VP讲稿整理:张德通DataFun志愿者导读:随着数字化转型的深入,数据价值也愈发凸显,数据技术出现了融合的趋势,基于客户的真实痛点,矩阵起源推出了超融合MatrixOneHSTAP数据库。MatrixOne使数据数据库同时具备TP、AP和Streaming三种能力,帮助客户彻底打破数据孤岛问题,成为企业智能化核心的数据基础设施。今天的分享将解析新一代超融合异构云原生数据
MatrixOrigin
·
2024-02-06 13:00
系统架构
数据库
java
2024年备考系统分析师
备考资料1.24年系统分析师备考资料上新了~~(免费送)附带
系统架构
设计师最新考纲资料关注公众号,扣“系统分析师”回车,即可获得系统分析师备考资料!!!
程序员达芬奇
·
2024-02-06 12:35
考证
软考
jmeter性能测试学习笔记
1:什么是性能用户角度:软件反应速度快慢开发角度:
系统架构
和数据的设计运维角度:系统最大的承受能力测试角度:基于前三个综合考虑,全都要生活中测试例子:彩排2:测试的时机——什么情况下做第一个版本——>第一个双
IF300
·
2024-02-06 10:32
学习
热数据存储在HDFS,冷备数据存储于对象存储中
改方案均采用同一套
Hadoop
架构,使用hive均可以读取到,在降低成本的同时提高数据的利用率。2.准备条件c
tuoluzhe8521
·
2024-02-06 10:11
云原生
hdfs
hadoop
大数据
cos
对象存储
决胜大数据时代:
Hadoop
&Yarn&Spark企业级最佳实践(8天完整版脱产式培训版本)...
Hadoop
、Yarn、Spark是企业构建生产环境下大数据中心的关键技术,也是大数据处理的核心技术,是每个云计算大数据工程师必修课。
weixin_30273931
·
2024-02-06 09:08
java
人工智能
移动开发
系统架构
演变详解
文章目录1、单体架构2、垂直架构3、分布式架构4、SOA架构5、微服务6、集群、分布式和微服务的区别1、单体架构在学习Dubbo之后,我们先了解一下
系统架构
的演变过程。
悦.L
·
2024-02-06 08:00
SpringCloud
java
系统架构
linux安装
hadoop
详细步骤(伪分布式)
今天重装了下
hadoop
,特在此记录下!
红烧柯基
·
2024-02-06 08:28
linux
hadoop
linux
[架构之路-137]-《软考-
系统架构
设计师》-软件工程-7-详解UML视图中各种实体之间的关系
前言:在软件设计中,一个设计的基本原则就是:高内聚、低耦合。这句话的本质就是要降低模块与模块,实体与实体之间的关系,特别是相互之间的关系,尽可能把实体对外关系的数量和复杂度降低到最低。实体之间的关系是导致系统复杂系统的关键,本文就是要探讨面向对象中特种实体之间的各种关系。第1章什么是关系关系是指万事万物之间相互作用、相互影响的状态。人与人之间在活动过程中直接的心理上的关系或心理上的距离。UML是用
文火冰糖的硅基工坊
·
2024-02-06 08:54
架构之路
软件工程
uml
结构化设计
架构
系统架构
带你了解软件
系统架构
的演变详解
本文将深入浅出,以小白的视角,描绘软件
系统架构
的绚丽蜕变历程,让我们一同踏上这场感性而技术的冒险之旅。起源:软件的初生时代很久以前,在计算机技术蓬勃发展之前,软件并不是像今天这样抽象而复杂的存在。
繁依Fanyi
·
2024-02-06 08:22
架构
深度学习
系统架构
windows
git
github
ide
架构整洁之道-软件架构-展示器和谦卑对象、不完全边界、层次与边界、Main组件、服务
软件架构-策略与层次、业务逻辑、尖叫的软件架构、整洁架构》有我们提到了展示器(presenter),展示器实际上是采用谦卑对象(humbleobject)模式的一种形式,这种设计模式可以很好的帮助识别和保护
系统架构
的边界
Korbin Luo
·
2024-02-06 07:26
软件架构
架构
架构整洁之道-软件架构-测试边界、整洁的嵌入式架构、实现细节
甚至,测试代码有时在
系统架构
中的地位还要比其他部分更独特一些。 测试也是一种系统组件。 从架构的角度来讲,所有的测试都是一样的。
Korbin Luo
·
2024-02-06 07:26
软件架构
架构
Hadoop
-Yarn-启动篇
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、脚本部分1、start-yarn.sh如果我们想单独启动
隔着天花板看星星
·
2024-02-06 07:16
hadoop
大数据
分布式
想学大数据?先看完这几本书再说
除了这些技术领域,还有一些特定的技术和语言需要你继续研究:
Hadoop
,Spark,Python,和R等等,还有无数实现自动化的工具等等,这些工具几乎每天都会用到,这就需要你不断的学习。
yoku酱
·
2024-02-06 06:55
CentOS 8 安装配置
Hadoop
3.3.6 伪分布式安装方式(适用于开发和调试)
1.配置服务器ssh免密登录,否则后面启动会报错:尝试通过SSH连接到主机出现认证错误的提示配置服务器ssh免密登录:1.生成SSH密钥对(如果尚未生成):执行下面的命令生成密钥对,一直回车即可ssh-keygen-trsa出现下面的提示说明生成成功了:2.第二步,将公钥添加到~/.ssh/authorized_keys文件:cat~/.ssh/id_rsa.pub>>~/.ssh/authori
鱼大虾
·
2024-02-06 05:39
centos
linux
运维
HDFS入门基础
HDFS命令基础语法:【
hadoop
fs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty
·
2024-02-06 05:33
大数据
hdfs
hadoop
大数据
电商推荐系统
一、获取用户对商品的偏好值代码实现packagezb.grms;importorg.apache.
hadoop
.conf.Configuration;importorg.apache.
hadoop
.conf.Configured
nucty
·
2024-02-06 05:31
大数据
mapreduce
hadoop
Apache
Hadoop
Apache
Hadoop
_狭义上说,
Hadoop
指Apache一款java语言开发的开源框架,它的核心组件有:HDFS(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度
VincentLeon
·
2024-02-06 05:28
看了这篇,关于浏览器缓存你还有哪些疑问?
【转载请注明出处】:https://blog.csdn.net/huahao1989/article/details/107730210整个Web
系统架构
在HTTP协议之上,利用HTTP的缓存机制不仅可以极大地减少服务器负载
后端老鸟
·
2024-02-06 03:07
Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装
Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装1简介Ambari跟
Hadoop
等开源软件一样,也是ApacheSoftwareFoundation中的一个项目,并且是顶级项目。
WaiSaa
·
2024-02-06 02:53
关于Spark/
Hadoop
中Master/Slave IP不正确的问题
在配置SparkStandAloneMode的时候,我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置./conf/spark_env.sh文件,只要在这个文件里定义好了SPARK_LOCAL_IP和SPARK_MASTER_HOST,就可以解决这个问题。而我设置了configure文件之后问题依然存在。原因在于MasterNode上有多个网卡,每个网卡
ecce
·
2024-02-06 02:37
hbase基本命令
1、进入hbase的shellhbase提供了一个shell的终端给用户交互[root@
hadoop
3conf]#hbaseshell退出使用quit或者ctrl+c需要关闭
hadoop
的安全模式不然进行一些操作
小月半会飞
·
2024-02-06 01:52
系统架构
21 - 统一建模语言UML(下)
UML图UML中的图分类作用视图用例视图逻辑视图进程视图实现视图部署视图UML中的图“图”是一组元素的图形表示,大多数情况下把图画成顶点(代表事物)和弧(代表关系)的连通图。为了对系统进行可视化,可以从不同的角度画图,这样图是对系统的投影。分类UML2.0提供了13种图:类图、对象图、用例图、序列图、通信图、状态图、活动图、构件图、部署图、组合结构图、包图、交互概览图和计时图。其中,序列图、通信图
银龙丶裁决
·
2024-02-06 00:38
软考系统架构
系统架构
uml
shell中正则表达式
[atguigu@
hadoop
101shells]$cat/etc/passwd|grepatguigu1.常用特殊字符^$.*[]\^:匹配一行的开头$:匹配一行的结束.
看山不是山a
·
2024-02-05 23:07
Linux
正则表达式
linux
运维
大数据之 ZooKeeper原理及其在
Hadoop
和HBase中的应用
链接:https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit
·
2024-02-05 20:29
Hadoop
Start(1) ——Google与
Hadoop
的前世今生
参考文档:《
Hadoop
权威指南(第4版)》网址:http://
hadoop
.apache.org/[1]HDFS:
Hadoop
DistributionFileSystem
Hadoop
分布式文件系统[2
bclz
·
2024-02-05 18:41
docker核心技术
一.从
系统架构
谈起传统分层架构vs微服务微服务改造分离微服务的方法建议:审视并发现可以分离的业务逻辑业务逻辑,在对业务领域不是特别熟悉的时候,按照部门职能进行划分,例如账号、财务等寻找天生隔离的代码模块
海哥python
·
2024-02-05 17:52
云原生
运维
docker
容器
运维
如何对HDFS进行节点内(磁盘间)数据平衡
由于
Hadoop
2.x版本并不支持HDFS的磁盘间数据均衡,因此,会造成老数据磁盘占用率很高,新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!
·
2024-02-05 16:39
hadoop
hdfs
hdfs
hadoop
大数据
hadoop
调优-HDFS集群数据不均衡处理hdfs balancer
会造成datanode数据存储不均衡,一个datanode使用了70%,而有一个只使用了30%.解决:通过执行
hadoop
提供的balancer,来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。
·
2024-02-05 16:08
Hadoop
hadoop
hdfs
big
data
HDFS BALANCER
介绍
Hadoop
的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。
风筝Lee
·
2024-02-05 16:07
hadoop
hdfs
balancer
Hadoop
-HDFS的DataNode介绍及原理
DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love
·
2024-02-05 16:07
hadoop
大数据
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整(hdfs balancer )——经验总结
Hadoop
集群Datanode数据倾斜,个别节点hdfs空间使用率达到95%以上,于是新增加了三个Datenode节点,由于任务还在跑,数据在不断增加中,这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88
·
2024-02-05 16:05
Hadoop
hdfs
spark学习4:spark安装
1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-
hadoop
3.2/conf/2.4.添加动态库在
hadoop
-3.2.2/bin目录下添加
hadoop
.dll
hzp666
·
2024-02-05 14:58
spark
spark
大数据
系统架构
评估
系统架构
评估:
系统架构
评估是对系统设计的整体结构、组件之间的交互方式及其满足功能需求、性能需求、可扩展性、安全性、可靠性、可维护性、成本效益等多方面目标的能力进行深入审查和分析的过程。
qyhua
·
2024-02-05 14:27
系统架构
系统架构
-性能评估
系统架构
-性能评估:性能评估是
系统架构
和技术设计中的关键环节,它关注的是系统的运行效率、处理能力以及在不同负载条件下的响应时间和资源利用情况。
qyhua
·
2024-02-05 14:27
系统架构
计算机毕业设计
hadoop
+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计
流程1.爬取17k的小说数据约5-10万,存入mysql数据库;2.使用mapreduce对mysql中的小说数据集进行数据清洗,转为.csv文件上传至hdfs文件系统;3.根据.csv文件结构,使用hive建库建表;4.一半分析指标使用hive_sql完成,一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库;6.使用Flask+echarts构建可视化大
计算机毕业设计大神
·
2024-02-05 14:48
2020-12-01
我司专业定制研发小程序、商城系统、APP拥有专业的开发团队和专业服务团队,12年开发经验,100+技术服务团队,实力雄厚多年的移动互联网开发运营,积累了丰富的开发、模式设计和
系统架构
的经验非平台运营方
软件开发王煜
·
2024-02-05 13:21
【
系统架构
2】信息化需求的层次
信息化需求包含3个层次,即战略需求、运作需求和技术需求战略需求。组织信息化的目标是提升组织的竞争能力、为组织的可持续发展提供一个支持环境。从某种意义上来说,信息化对组织不仅仅是服务的手段和实现现有战略的辅助工具;信息化可以把组织战略提升到一个新的水平,为组织带来新的发展契机。特别是对于企业,信息化战略是企业竞争的基础。运作需求。组织信息化的运作需求是组织信息化需求非常重要且关键的一环,它包含是哪个
七镜
·
2024-02-05 13:03
6.Linux虚拟机下的
Hadoop
集群搭建之完全分布式配置
Hadoop
及相关组件搭建指导WeChat:h19396218469
hadoop
-3.1.3jdk-8u162-linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg
hadoop
-3.1.3hbase-2.2.2-bin一、问题描述:在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误:Exceptioninthread
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
java
hadoop
hive
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他