E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop系统架构
sqoop导入数据到hdfs
Sqoop是apache旗下的一款”
Hadoop
和关系数据库之间传输数据”的工具导入数据:将MySQL,Oracle导入数据到
Hadoop
的HDFS、HIVE、HBASE等数据存储系统导出数据:从
Hadoop
鲲鹏猿
·
2024-02-08 06:40
hdfs
sqoop
hadoop
Hadoop
之环境配置
1.安装环境ubuntu2.安装jdk3.安装
Hadoop
1.在安装ubuntu时需要注意安装ubuntu创建用户,等待时间比较长,大家需要有点耐心。
鲲鹏猿
·
2024-02-08 06:39
big
data
数据库
数据库架构
数据采集工具Sqoop、Datax、Flume、Canal
libcpmysql-connector-java-5.1.10.jar/sqoop-install-path/lib重命名文件并配置文件mvsqoop-env-template.shsqoop-env.sh#添加环境变量export
HADOOP
_COMMON_HOME
yue-verdure
·
2024-02-08 06:08
大数据
sqoop
flume
大数据
阿里云
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,
Hadoop
,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
Zookeeper搭建集群步骤
[
hadoop
@note1~]$cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
qq_22019789
·
2024-02-08 06:37
zookeeper
java
MapReduce的类型与格式
MapReduce的类型
Hadoop
的MapReduce中,map函数和reduce函数遵循如下格式:map:(k1,v1)--->list(k2,v2)combiner:(k2,list(v2))--
Vechace
·
2024-02-08 05:31
Spark安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/spark-3.0.3-bin-
hadoop
3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
Hadoop
搭建(完全分布式)
bigdata-masterbigdata-slave1bigdata-salve2NameNodeNodeManagerNodeManagerSecondaryNameNodeDataNodeDataNodeResourceManagerNodeManagerDataNode目录一、jdk安装:二、
hadoop
莫噶
·
2024-02-08 04:14
搭建
分布式
hadoop
大数据
现成
Hadoop
安装和配置,图文手把手交你
为了可以更加快速的可以使用
Hadoop
,便写了这篇文章,想尝试自己配置一下的可以参考从零开始配置
Hadoop
,图文手把手教你,定位错误资源1.两台已经配置好的
hadoop
2.xshell+Vmware链接
叫我小唐就好了
·
2024-02-08 03:56
一些好玩的事
hadoop
大数据
分布式
课程设计
运维
voip中的h323和sip
Voip中的h323和sip目录1voip及h323,sip协议简介...11.1voip.11.2h323.11.3sip.22h323,sip的voip
系统架构
及比较...22.1h323架构...22.2sip
book2016
·
2024-02-08 00:54
linux
Spark Standalone 集群配置
ApacheMesos-一个通用的集群管理器,也可以运行
Hadoop
MapReduce和服务应用程序。(已弃用)
Hadoop
YARN-Hado
董可伦
·
2024-02-07 23:01
Spark
spark
大数据
分布式
计算机毕业设计 SSM大学生社团管理系统 学校社团管理系统 社团活动管理系统
作者主页:计算机毕业设计老哥有问题可以主页问我一、开发介绍1.1开发环境开发语言:Java数据库:MySQL
系统架构
:B/S后端:SSM(Spring+SpringMVC+Mybatis)前端:jsp工具
计算机程序老哥
·
2024-02-07 22:11
Hadoop
系统应用之Zookeeper分布式集群部署
一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包(地址)https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/2.上传安装包(SecureCRT&FX)通过软件FX将安装包上传到linux系统的/export/software/目录下3.解压Zookeeper安装包执行
-牧心-
·
2024-02-07 22:31
分布式
hadoop
java-zookeeper
Hadoop
| 集群配置(一)使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令
文章目录参考资料一、前言二、rsync远程同步工具三、使用shell编写分发脚本四、总结参考资料视频链接Linuxscp命令一、前言在
Hadoop
完全分布式集群环境下,里面的各个节点都是通过SSH免密登陆连接的
「已注销」
·
2024-02-07 21:20
#
大数据原理与应用
hadoop
分布式
linux
大数据用户画像
系统架构
设计
文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取Web自助后台总结用户画像是一个非常通用普遍使用的系统,从我们的架构图中可以看出,从数据计算时效性上来讲分离线计算和实时计算。离线计算一般是每天晚上全量计算所有用户,或者按需
充电了么
·
2024-02-07 19:37
【
hadoop
】集群搭建之部署mysql并远程访问(连接)
的roo账号密码并连接mysql(四)更改默认密码并创建testdb数据库(五)将mysqljdbc驱动引入ider中的java项目里(六)通过jdbc连接(访问)mysql(使用ider)(七)创建
hadoop
db_lcz_2014
·
2024-02-07 18:32
hadoop
mysql
大数据
2018-2021我的开源项目总结
corwd-admin本人18年6月份毕业在武汉找了第一份java开发工作4500(面试时被hr压了500,武汉当时行情第一年5000),做的oa、库存管理相关系统,公司内
系统架构
主要是ssh,页面模板使用
wayn1
·
2024-02-07 16:56
学习大数据需要掌握哪些知识?
而且不论是学习
hadoop
,还
大数据学习01
·
2024-02-07 15:16
Tomcat
系统架构
与原理剖析
浏览器访问服务器的流程http请求的处理过程imageimage注意:浏览器访问服务器使用的是Http协议,Http是应用层协议,用于定义数据通信的格式,具体的数据传输使用的是TCP/IP协议Tomcat系统总体架构Tomcat请求处理大致过程Tomcat是一个Http服务器(能够接收并且处理http请求,所以tomcat是一个http服务器)我们使用浏览器向某一个网站发起请求,发出的是Http请
雪砺青松
·
2024-02-07 13:17
CentOS7集群配置免密登录
准备工作提前开启三台虚拟机
hadoop
102、
hadoop
103,
hadoop
104,关于三台虚拟机的安装可以参考:https://mp.csdn.net/mp_blog/creation/editor
在下区区俗物
·
2024-02-07 12:00
Hadoop集群安装部署
linux
运维
大数据
CentOS7搭建
Hadoop
集群
集群环境搭建(3台)-CSDN博客2、配置虚拟机之间免密登录,参考:CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk,参考:CentOS7集群安装JDK1.8-CSDN博客4、下载
Hadoop
在下区区俗物
·
2024-02-07 12:57
Hadoop集群安装部署
hadoop
eclipse
java
2022软考高级你需要了解这些!
科目介绍:软考高级有五个科目,分别是信息系统项目管理师、系统分析师、
系统架构
设计师、网络规划设计师、系统规划与管理师。软考高级科目适合的人群:系统分析师:适合IT行业的工作者
学霸宝典
·
2024-02-07 12:32
请问半吊子 C++选手该如何深入学习 C++?
java是典型的后台语言,能和netty、
hadoop
、hbase-、elastics
枪哥玩转嵌入式
·
2024-02-07 11:21
51单片机
智能小车
嵌入式
单片机
51单片机
单例模式
hadoop
集群搭建踩坑实录
由于不可控以及不可知的原因我搭建的
hadoop
集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过
温文尔雅的流氓
·
2024-02-07 10:39
Hadoop
Hadoop
分布式计算实验踩坑实录及小结
目录
Hadoop
分布式计算实验踩坑实录及小结踩坑实录
Hadoop
学习
Hadoop
简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用
Hadoop
分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_
·
2024-02-07 10:08
HIT
hadoop
分布式
ubuntu
java
kyuubi 接入starrocks | doris
kyuubi接入starrocks一、环境
Hadoop
集群组件版本
Hadoop
3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
大龄码农的业余作品:升讯威在线客服系统:
系统架构
设计
本系列文章详细介绍使用.netcore和WPF开发升讯威在线客服与营销系统的过程。本产品已经成熟稳定并投入商用,并提供了多国语言版本,服务了一些海外客户。本篇主要介绍系统的技术架构,从较高的抽象层次上解释我是怎样设计实现这样一套系统的。首先我们先粗略的提出一些技术要求和技术指标:支持多租户。也就是云服务的形式,不同的客户拥有互不干涉的域,各自管理自己的站点和数据。系统可以横向扩展,具备弹性扩容的能
升讯威在线客服系统
·
2024-02-07 07:39
系统架构
安全
运维
网络
javascript
前端
win10 spark scala 本地运行wordcount
注意每次修改环境变量都要重启cmd本机运行需要
hadoop
common,可以从github下载zip,解包以后设置
HADOOP
_HOME环境变量指向它,然后在PATH里加上
HADOOP
_HOME\bin
疯琴
·
2024-02-07 06:06
大数据
java/scala
flink/spark
同是ZooKeeper,你和架构师的理解差在哪里?
Dubbo,Kafka,
Hadoop
等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗?如果面试官让你给他讲讲ZooKeeper是个什么东西,你能回答到什么地步呢?
l鹿狸i
·
2024-02-07 06:12
Hadoop
-IDEA开发平台搭建
1.安装下载
Hadoop
文件1)
hadoop
-3.3.5将下载的文件保存到英文路径下,名称一定要短。
Snower_2022
·
2024-02-07 05:02
hadoop
eclipse
大数据
【实验1】分布式模式的CentOS 6上安装
Hadoop
(1个master节点,2个slave节点)
实验环境:二、实验内容与步骤(过程及数据记录):1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆
Hadoop
Slave3
-借我杀死庸碌的情怀-
·
2024-02-07 05:31
分布式
centos
hadoop
在多台阿里云服务器上部署
Hadoop
分布式系统及WordCount实验
一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥:mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车(选择默认设置),此时,ssh文件夹中生成了id_rsa.pub和id_rsa两个,然后使用scp命令将公钥(id_rsa.pub)分别拷到对方机器中scpid_rsa.pubh1@对方机器IP:~/.ssh/authorize
Clearlove灬Star
·
2024-02-07 05:01
大数据
阿里云
Hadoop
分布式
Wordcount
合肥工业大学2022大数据技术实验二
实验序号及名称:实验二在
Hadoop
平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在
Hadoop
平台上部署WordCount程序。
一头骇人鲸
·
2024-02-07 05:00
大数据技术
大数据
hadoop
java
hadoop
wordcount代码分析
输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer;用来对字符串进行切importorg.apache.
hadoop
.fs.Path
姹紫_嫣红
·
2024-02-07 05:57
大数据hadoop
Java
【实验2】在
Hadoop
平台上部署WordCount程序
HDFS6.分布式文件系统HDFS上的编程实践6.1安装Eclipse6.2创建Eclipse工程6.3编写一个Java应用程序检测HDFS中是否存在一个文件7.Eclipse上的HDFS操作7.1安装
Hadoop
-Eclipse
-借我杀死庸碌的情怀-
·
2024-02-07 05:27
hadoop
npm
大数据
centos
分布式
如何将日志文件和二进制文件快速导入HDFS?
日志数据在应用程序中一直很常见,
Hadoop
能够处理生产系统生成的大量日志数据,比如网络设备、操作系统、Web服务器和应用程序的日志数据。
weixin_34159110
·
2024-02-07 05:36
大数据
数据库
python
阿里首席架构师科普RPC框架
目前,主流的平台中都支持各种远程调用技术,以满足分布式
系统架构
中不同的系统之间的远程通信和相互调用。远程调用的应用场景极其广泛,实现的方式也各式各样。
Java架构
·
2024-02-07 04:26
数据仓库-Hive基础(二)Hive 的基本概念
什么是HiveHive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
做个合格的大厂程序员
·
2024-02-07 03:42
系统架构
设计师---2014年上午试题1答案详解
某计算机系统中有一个CPU、一台输入设备和一台输出设备,假设系统中有四个作业T1、T2、T3和T4,系统采用优先级调度,且T1的优先级>T2的优先级>T3的优先级>T4的优先级。每个作业具有三个程序段:输入Ii、计算Ci和输出Pi(i=1,2,3,4),其执行顺序为Ii→Ci→Pi。这四个作业各程序段并发执行的前驱图如下所示。图中①、②、③分别为(1),④、⑤、⑥分别为(2)。(1)A.I2、C2
国林哥
·
2024-02-07 02:48
2023年架构设计师认证考试
系统架构
系统架构
设计师---2015年上午试题1答案详解
系统架构
设计师---2016年上午试题1答案详解某航空公司机票销售系统有n个售票点,该系统为每个售票点创建一个进程Pi(i=1,2,…,n)管理机票销售。
国林哥
·
2024-02-07 02:17
2023年架构设计师认证考试
系统架构
视频教程-2020年软考
系统架构
设计师-上午历年真题解析视频培训课程-软考
2020年软考
系统架构
设计师-上午历年真题解析视频培训课程河北师范大学软件学院优秀讲师,项目经理资质,担任操作系统原理、软件工程、项目管理等课程教学工作。参与十个以上百万级软件项目管理及系统设计工作。
weixin_31233223
·
2024-02-07 02:47
系统架构
设计师-21年-上午答案
系统架构
设计师-21年-上午答案更多软考资料https://ruankao.blog.csdn.net/1~101前趋图(PrecedenceGraph)是一个有向无环图,记为:→={(Pi,Pj)|PimustcompletebeforePjmaystrat
冰城的程
·
2024-02-07 02:43
#
高级-系统机构设计师(架构)
职场和发展
软考
系统架构设计师
系统架构
设计师-22年-上午答案
系统架构
设计师-22年-上午答案更多软考资料https://ruankao.blog.csdn.net/1~101云计算服务体系结构如下图所示,图中①、②、③分别与SaaSPaaSIaas相对应,图中①
冰城的程
·
2024-02-07 02:43
#
高级-系统机构设计师(架构)
职场和发展
软考
系统架构设计师
OpenHarmony开源鸿蒙开发之旅
文章目录一、op
系统架构
二、op系统构建1.op源代码目录2.op系统构建3.op开发环境搭建三、op系统的子系统四、op系统芯片移植五、op系统启动流程六、op系统组件七、驱动框架一、op
系统架构
二、
loongembedded
·
2024-02-07 02:12
OpenHarmony
harmonyos
Spark Chapter 8 Spark SQL
DB2,SQLServer在大数据平台上实现大数据计算:Hive/SparkSQL/SparkCore直接使用SQL语句进行大数据分析hive的问题:底层MR,2.x之后可以用spark应用场景SQLon
Hadoop
深海suke
·
2024-02-07 01:34
Hadoop
集群(第10期副刊)_常用MySQL数据库命令
1、系统管理1.1连接MySQL格式:mysql-h主机地址-u用户名-p用户密码举例:例1:连接到本机上的MySQL。首先在打开DOS窗口,然后进入目录mysqlbin,再键入命令"mysql–uroot–p",回车后提示你输密码,如果刚安装好MySQL,超级用户"root"是没有密码的,故直接回车即可进入到MySQL中了,MySQL的提示符是:mysql>。例2:连接到远程主机上的MYSQL。
阿布2
·
2024-02-07 00:08
Hadoop学习之道
hadoop集群
hadoop
mapreduce
集群
数据挖掘
「Java核心技术大会 2023」6月重磅启动,邀你共同探讨Java生态 ~文末福利
Java核心技术大会2023大会简介直播预约:视频号“IT阅读排行榜”PART1特邀启动专场PART2Java语言、平台和趋势专场PART3Java应用开发专场PART4Java应用与
系统架构
专场PART5Java
几分醉意.
·
2024-02-07 00:01
赠书活动
java
开发语言
一个宝藏级微服务开源项目,吊到炸裂!
项目介绍基于Spring+SpringMVC+Mybatis分布式敏捷开发
系统架构
,提供整套公共微服
架构文摘
·
2024-02-07 00:08
数据库
java
编程语言
小程序
spring
boot
2024-02-06(Sqoop)
1.SqoopApacheSqoop是
Hadoop
生态体系和RDBMS(关系型数据库)体系之间传递数据的一种工具。Sqoop工作机制是将导入或者导出命令翻译成MapReduce程序来实现。
陈xr
·
2024-02-06 23:29
随记日志
sqoop
大数据
frostmourne
1、快速入门产品简介使用场景诊断内存泄露诊断方法性能重现误吞的异常数据订正字节码增强快速开始系统支持2、原理&设计相关技术instrumentjnijvmtijavassistjline
系统架构
HowtoattachSystemArchitecture
阿里极风
·
2024-02-06 21:33
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他