E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop深入浅出
hadoop
学习笔记
下载安装伪分布式:1.国内源下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/
hadoop
/common/Indexof/apache/
hadoop
/commonhttps
草琳情
·
2024-02-08 08:54
hadoop
学习
笔记
flink on yarn
Per-JobCluster模式flinkrunflinkrunapplication-tyarn-application配置任务退出时保留Checkpoint从外部checkpoint恢复应用资料使用安装完
hadoop
3.3.4
枪枪枪
·
2024-02-08 07:46
flink
大数据
hadoop
【
深入浅出
Yarn 架构与实现】6-4 Container 生命周期源码分析
本文将深入探讨AM向RM申请并获得Container资源后,在NM节点上如何启动和清理Container。将详细分析整个过程的源码实现。一、Container生命周期介绍Container的启动由ApplicationMaster通过调用RPC函数ContainerManagementProtocol#startContainers()发起请求,NM中的ContainerManagerImpl组件
大数据王小皮
·
2024-02-08 07:27
深入浅出Yarn架构与实现
架构
java
大数据
Mac 安装多版本 protoc / protobuf
)brew安装brewinstallprotobuf#查看安装目录$whichprotoc/opt/homebrew/bin/protoc#2)配置环境变量vim~/.zshrc#protoc(for
hadoop
大数据王小皮
·
2024-02-08 07:26
操作配置
macos
sqoop导入数据到hdfs
Sqoop是apache旗下的一款”
Hadoop
和关系数据库之间传输数据”的工具导入数据:将MySQL,Oracle导入数据到
Hadoop
的HDFS、HIVE、HBASE等数据存储系统导出数据:从
Hadoop
鲲鹏猿
·
2024-02-08 06:40
hdfs
sqoop
hadoop
Hadoop
之环境配置
1.安装环境ubuntu2.安装jdk3.安装
Hadoop
1.在安装ubuntu时需要注意安装ubuntu创建用户,等待时间比较长,大家需要有点耐心。
鲲鹏猿
·
2024-02-08 06:39
big
data
数据库
数据库架构
数据采集工具Sqoop、Datax、Flume、Canal
libcpmysql-connector-java-5.1.10.jar/sqoop-install-path/lib重命名文件并配置文件mvsqoop-env-template.shsqoop-env.sh#添加环境变量export
HADOOP
_COMMON_HOME
yue-verdure
·
2024-02-08 06:08
大数据
sqoop
flume
大数据
阿里云
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,
Hadoop
,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
Zookeeper搭建集群步骤
[
hadoop
@note1~]$cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
qq_22019789
·
2024-02-08 06:37
zookeeper
java
【最大似然估计】详解概率论之最大似然估计
本文收录于《
深入浅出
讲解自然语言处理》专栏,此专栏聚焦于自然语言处理领域的各大经典算法,将持续更新,欢迎大家订阅!
程序遇上智能星空
·
2024-02-08 05:22
深入浅出讲解自然语言处理
机器学习
概率论
机器学习
算法
MapReduce的类型与格式
MapReduce的类型
Hadoop
的MapReduce中,map函数和reduce函数遵循如下格式:map:(k1,v1)--->list(k2,v2)combiner:(k2,list(v2))--
Vechace
·
2024-02-08 05:31
Spark安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/spark-3.0.3-bin-
hadoop
3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
Hadoop
搭建(完全分布式)
bigdata-masterbigdata-slave1bigdata-salve2NameNodeNodeManagerNodeManagerSecondaryNameNodeDataNodeDataNodeResourceManagerNodeManagerDataNode目录一、jdk安装:二、
hadoop
莫噶
·
2024-02-08 04:14
搭建
分布式
hadoop
大数据
现成
Hadoop
安装和配置,图文手把手交你
为了可以更加快速的可以使用
Hadoop
,便写了这篇文章,想尝试自己配置一下的可以参考从零开始配置
Hadoop
,图文手把手教你,定位错误资源1.两台已经配置好的
hadoop
2.xshell+Vmware链接
叫我小唐就好了
·
2024-02-08 03:56
一些好玩的事
hadoop
大数据
分布式
课程设计
运维
读后感
我也响应公司的号召,读了刘墉的《靠自己去成功》,刘墉是台湾的著名作家、画家、演讲家,其中对子女的教育尤其成功,他的文章
深入浅出
,通过一件件小事来感悟人生,教育孩子。
雨薇222
·
2024-02-08 02:14
《商业的本质》导读、序和第1章读书笔记
:第一是杰克.维尔奇本人的魅力,他是20世纪公认的最伟大的管理者之一,被财富杂志评选为世界经理人,他所有的理论都是有实践基础的,实用性非常强,让人感同身受,对于这样的企业家自然会有说服力第二结构严谨,
深入浅出
创业企业的三段论
荷恬
·
2024-02-08 02:23
肖培东撒了个弥天大谎
比如在教学《斑羚飞渡》时,他首先对文章进行整体感知,然后抓住一段,翻来覆去地咀嚼,
深入浅出
的探讨。从开始的学习方法的指导:要学会听,学会朗读,朗读方法指导,思考角度多样,(休息,明天继续)
打灯笼的小星星
·
2024-02-08 01:38
SpringBoot:@Profile注解和Spring EL
浩泽学编程:个人主页推荐专栏:《
深入浅出
SpringBoot》《java对AI的调用开发》《RabbitMQ》《Spring》《SpringMVC》学无止境,不骄不躁,知行合一文章目录前言一、@Profile
浩泽学编程
·
2024-02-08 00:01
#
深入浅出SpringBoot
spring
spring
boot
后端
软件工程
java
容器
Spark Standalone 集群配置
ApacheMesos-一个通用的集群管理器,也可以运行
Hadoop
MapReduce和服务应用程序。(已弃用)
Hadoop
YARN-Hado
董可伦
·
2024-02-07 23:01
Spark
spark
大数据
分布式
Hadoop
系统应用之Zookeeper分布式集群部署
一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包(地址)https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/2.上传安装包(SecureCRT&FX)通过软件FX将安装包上传到linux系统的/export/software/目录下3.解压Zookeeper安装包执行
-牧心-
·
2024-02-07 22:31
分布式
hadoop
java-zookeeper
Hadoop
| 集群配置(一)使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令
文章目录参考资料一、前言二、rsync远程同步工具三、使用shell编写分发脚本四、总结参考资料视频链接Linuxscp命令一、前言在
Hadoop
完全分布式集群环境下,里面的各个节点都是通过SSH免密登陆连接的
「已注销」
·
2024-02-07 21:20
#
大数据原理与应用
hadoop
分布式
linux
2021-02-05
[
深入浅出
Cocoa]iOS程序性能优化罗朝辉(http://blog.csdn.net/kesalin)CC许可,转载请注明出处iOS应用是非常注重用户体验的,不光是要求界面设计合理美观,也要求各种UI
easy_luo
·
2024-02-07 20:30
一文带你
深入浅出
Web的自动化测试工具Selenium【建议收藏】
文章目录前言发现宝藏第01节Selenium概述第02节安装浏览器驱动(以Google为例)第03节定位页面元素1.打开指定页面2.id定位3.name定位4.class定位5.tag定位6.xpath定位7.css选择器8.link定位9.示例有道翻译第04节浏览器控制1.修改浏览器窗口大小2.浏览器前进&后退3.浏览器刷新4.浏览器窗口切换5.常见操作6.示例CSDN页面元素交互第05节鼠标控
东离与糖宝
·
2024-02-07 19:52
python
测试工具
前端
自动化
【SpringMVC】Nice! 终于有人把SpringMVC讲明白了!
因为我觉得这篇文章在有些地方讲的比较通俗易懂,而且不失专业,为了让初学者能够很好的理解SpringMVC,做到真正的入门,我特意写一篇文章来讲解这篇文章中写的好的地方,对于那篇文章的一些晦涩难懂的知识,我希望用我的方式
深入浅出
的讲给大家听
qq_54432917
·
2024-02-07 18:03
SpringMVC
mvc
spring
boot
spring
java
后端
【
hadoop
】集群搭建之部署mysql并远程访问(连接)
的roo账号密码并连接mysql(四)更改默认密码并创建testdb数据库(五)将mysqljdbc驱动引入ider中的java项目里(六)通过jdbc连接(访问)mysql(使用ider)(七)创建
hadoop
db_lcz_2014
·
2024-02-07 18:32
hadoop
mysql
大数据
走在2.0的路上
专家们
深入浅出
的讲解,为我们指引了前进的方向:让我们知道学校团队由哪些人员构成,如何制订一规三表;让我们明白学校的发展规划的制订四个维度缺一不可;让我们懂得教师个人研修计划的制订不能少于三个维度;让我们了解各个能力点看似独立
藤县454吴英兰
·
2024-02-07 16:34
SpringBoot+随机盐值+双重MD5实现加密登录
浩泽学编程:个人主页推荐专栏:《
深入浅出
SpringBoot》《java对AI的调用开发》《RabbitMQ》《Spring》《SpringMVC》学无止境,不骄不躁,知行合一文章目录前言一、salt和
浩泽学编程
·
2024-02-07 16:49
实战笔记
spring
boot
后端
java
MD5
密码学
saltstack
软件工程
学习大数据需要掌握哪些知识?
而且不论是学习
hadoop
,还
大数据学习01
·
2024-02-07 15:16
python 神经网络学习
最新在朋友的推荐下看了《python神经网络编程》,深有启发,本文以
深入浅出
的道理,简单明了的介绍了一种神经网络的原理及python实现过程及全部代码,通过学习,至少基本掌握了相关知识,为后面学习打下基础
追寻内心的梦想
·
2024-02-07 14:35
CentOS7集群配置免密登录
准备工作提前开启三台虚拟机
hadoop
102、
hadoop
103,
hadoop
104,关于三台虚拟机的安装可以参考:https://mp.csdn.net/mp_blog/creation/editor
在下区区俗物
·
2024-02-07 12:00
Hadoop集群安装部署
linux
运维
大数据
CentOS7搭建
Hadoop
集群
集群环境搭建(3台)-CSDN博客2、配置虚拟机之间免密登录,参考:CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk,参考:CentOS7集群安装JDK1.8-CSDN博客4、下载
Hadoop
在下区区俗物
·
2024-02-07 12:57
Hadoop集群安装部署
hadoop
eclipse
java
电机FOC控制
【自制FOC驱动器】
深入浅出
讲解FOC算法与SVPWM技术-知乎(zhihu.com)无刷电机其实可以分为无刷直流电机(BLDC,我们航模上都是用这种)和永磁同步电机(PMSM),结构大同小异,主要区别在于制造方式
honey ball
·
2024-02-07 12:54
单片机
嵌入式硬件
请问半吊子 C++选手该如何深入学习 C++?
java是典型的后台语言,能和netty、
hadoop
、hbase-、elastics
枪哥玩转嵌入式
·
2024-02-07 11:21
51单片机
智能小车
嵌入式
单片机
51单片机
单例模式
所有人都应该学习一点中文字体知识
image最近不经意看到一篇讲文字的文章《字体课在学什么(1):中文字的重心》,
深入浅出
讲述文字的设计科学,深得我心。
陈素封
·
2024-02-07 10:02
hadoop
集群搭建踩坑实录
由于不可控以及不可知的原因我搭建的
hadoop
集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过
温文尔雅的流氓
·
2024-02-07 10:39
Hadoop
Hadoop
分布式计算实验踩坑实录及小结
目录
Hadoop
分布式计算实验踩坑实录及小结踩坑实录
Hadoop
学习
Hadoop
简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用
Hadoop
分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_
·
2024-02-07 10:08
HIT
hadoop
分布式
ubuntu
java
kyuubi 接入starrocks | doris
kyuubi接入starrocks一、环境
Hadoop
集群组件版本
Hadoop
3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
放弃暴富思维《生活中的投资学》
这本书从书名和笔名都非常贴近生活,没错,这本书就是写给生活中普通的小白看的,通读这本书帮你建立正确的投资观,掌握选股的基本方法帮助你在股海中作出正确的投资书中选用生活化的例子:姜家早餐店,理发店,开货船等为读者
深入浅出
的解读衡量好企业的要素
路漫读财
·
2024-02-07 08:38
一线生机
(大脑窒息,自性复活;灵魂的眼睛永远是不会闭上的,分秒自照,分秒自在)能量满满,考验多多;喜从天降,乐极生悲;
深入浅出
,大道至简。
直性是道场
·
2024-02-07 07:31
win10 spark scala 本地运行wordcount
注意每次修改环境变量都要重启cmd本机运行需要
hadoop
common,可以从github下载zip,解包以后设置
HADOOP
_HOME环境变量指向它,然后在PATH里加上
HADOOP
_HOME\bin
疯琴
·
2024-02-07 06:06
大数据
java/scala
flink/spark
同是ZooKeeper,你和架构师的理解差在哪里?
Dubbo,Kafka,
Hadoop
等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗?如果面试官让你给他讲讲ZooKeeper是个什么东西,你能回答到什么地步呢?
l鹿狸i
·
2024-02-07 06:12
Hadoop
-IDEA开发平台搭建
1.安装下载
Hadoop
文件1)
hadoop
-3.3.5将下载的文件保存到英文路径下,名称一定要短。
Snower_2022
·
2024-02-07 05:02
hadoop
eclipse
大数据
【实验1】分布式模式的CentOS 6上安装
Hadoop
(1个master节点,2个slave节点)
实验环境:二、实验内容与步骤(过程及数据记录):1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆
Hadoop
Slave3
-借我杀死庸碌的情怀-
·
2024-02-07 05:31
分布式
centos
hadoop
在多台阿里云服务器上部署
Hadoop
分布式系统及WordCount实验
一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥:mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车(选择默认设置),此时,ssh文件夹中生成了id_rsa.pub和id_rsa两个,然后使用scp命令将公钥(id_rsa.pub)分别拷到对方机器中scpid_rsa.pubh1@对方机器IP:~/.ssh/authorize
Clearlove灬Star
·
2024-02-07 05:01
大数据
阿里云
Hadoop
分布式
Wordcount
合肥工业大学2022大数据技术实验二
实验序号及名称:实验二在
Hadoop
平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在
Hadoop
平台上部署WordCount程序。
一头骇人鲸
·
2024-02-07 05:00
大数据技术
大数据
hadoop
java
hadoop
wordcount代码分析
输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer;用来对字符串进行切importorg.apache.
hadoop
.fs.Path
姹紫_嫣红
·
2024-02-07 05:57
大数据hadoop
Java
【实验2】在
Hadoop
平台上部署WordCount程序
HDFS6.分布式文件系统HDFS上的编程实践6.1安装Eclipse6.2创建Eclipse工程6.3编写一个Java应用程序检测HDFS中是否存在一个文件7.Eclipse上的HDFS操作7.1安装
Hadoop
-Eclipse
-借我杀死庸碌的情怀-
·
2024-02-07 05:27
hadoop
npm
大数据
centos
分布式
如何将日志文件和二进制文件快速导入HDFS?
日志数据在应用程序中一直很常见,
Hadoop
能够处理生产系统生成的大量日志数据,比如网络设备、操作系统、Web服务器和应用程序的日志数据。
weixin_34159110
·
2024-02-07 05:36
大数据
数据库
python
数据仓库-Hive基础(二)Hive 的基本概念
什么是HiveHive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
做个合格的大厂程序员
·
2024-02-07 03:42
Spark Chapter 8 Spark SQL
DB2,SQLServer在大数据平台上实现大数据计算:Hive/SparkSQL/SparkCore直接使用SQL语句进行大数据分析hive的问题:底层MR,2.x之后可以用spark应用场景SQLon
Hadoop
深海suke
·
2024-02-07 01:34
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他