E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop大数据框架知识总结
HBase集群部署
1.HBase安装相关版本:
Hadoop
:2.7.3hbase:1.3.1hbase相关版本下载安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包,下载并解压到/opt目录下2.HBase
橙汁啤酒厂
·
2024-02-12 05:23
大数据
hbase
数据库
大数据
hadoop
vue3初识—
知识总结
看了视频的总结视频的总结前端小野森森-1·2020-7-10vue3提供了compositionAPIvue3兼容vue2,在vue3中也可以使用vue2的optionsAPIsetup函数setup中不能使用this,this指向undefined,setup中默认普通的数据不是响应式的,需要用reactive函数列举一个简单的例子,可以这样写import{ref,watch,reactive,
我就是你的语法糖️
·
2024-02-12 03:56
vue3
vue.js
elementui
javascript
Hadoop
运行环境搭建
模板虚拟机环境准备1)准备一台模板虚拟机
hadoop
100,虚拟机配置要求如下:模板虚拟机:内存4G,硬盘50G,安装必要环境,为安装
hadoop
做准备[root@
hadoop
100~]#yuminstall-yepel-release
nucty
·
2024-02-11 18:53
大数据
hadoop
大数据
理财小
知识总结
主动收入:通过向公司出售我们的时间和精力而获得的工作。被动收入:也叫“睡后收入”,啥也不用干睡觉就能有的收入。可能是出租房子产生的租金,或者是股票、基金赚的钱。资产:给你带来收入和价值的一切东西。资产的三个用途:卖钱、投资和使用。负债:欠了别人,需要偿还的。资产=负债+所有者权益所有者权益就是资产中真正属于你的那一部分,比如你花20块钱买了一只老母鸡,其中1块钱是向小明借的,老母鸡是你的资产,但是
邱晨程
·
2024-02-11 17:08
HBase知识点总结
一、HBase基础HBase是一种建立在
Hadoop
文件系统之上的分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase是BigTable的开源Java版本。
·
2024-02-11 17:17
hbase大数据数据库
离线数仓(一)【数仓概念、需求架构】
前言今天开始学习数仓的内容,之前花费一年半的时间已经学完了
Hadoop
、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会
·
2024-02-11 11:58
离线数仓
大数据
Hive与ClickHouse的区别
Hive是
Hadoop
生态系统中事实上的数据仓库标准。Hive是建立在
Hadoop
生态中的数据仓库中间件,其本身并不提供存储与计算能力。
晓之以理的喵~~
·
2024-02-11 08:18
Hadoop
大数据
hive
hive
clickhouse
hadoop
Hadoop
(三)通过C#/python实现
Hadoop
MapReduce
MapReduce
Hadoop
中将数据切分成块存在HDFS不同的DataNode中,如果想汇总,按照常规想法就是,移动数据到统计程序:先把数据读取到一个程序中,再进行汇总。
dotNET跨平台
·
2024-02-11 08:17
hadoop
mapreduce
spark
大数据
python
flink启动找不到yarn-session.sh命令
主要还是因为自己当初安装flink的几种模式时,是分开复制安装,导致自己以为配置了环境变量,还有一个需要注意:yarn-sisson.sh是flink/bin/的命令,并不是
hadoop
的yarn的命令
故乡的花又开了吗
·
2024-02-11 07:57
flink
flink
MapReduce的uber运行模式
背景在有些情况下,运行于
Hadoop
集群上的一些mapreduce作业本身的数据量并不是很大,如果此时的任务分片很多,那么为每个map任务或者reduce任务频繁创建Container,势必会增加
Hadoop
盗梦者_56f2
·
2024-02-11 01:42
C#系列-C#访问
hadoop
API(9)
在C#中访问
Hadoop
通常涉及到与
Hadoop
分布式文件系统(HDFS)进行交互,以及可能执行MapReduce作业或其他
Hadoop
生态系统组件(如HBase或Hive)。
管理大亨
·
2024-02-10 22:27
C#系列
c#
hadoop
开发语言
hadoop
-HDFS
1.详情1.架构图在这里插入图片描述2.读写的流程图在这里插入图片描述2.操作1.使用MAVEN集成对应的jar包org.apache.
hadoop
hadoop
-common2.7.1org.apache.
hadoop
hadoop
-hdfs2.7.12
炽热_3a57
·
2024-02-10 22:45
大数据毕业设计django+vue.js+scrapy租房推荐系统 租房大屏可视化 租房爬虫
hadoop
spark 58同城租房爬虫 房源推荐系统 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。文章包含:项目选题+项目展示图片(必看)计算机毕业设计吊
B站计算机毕业设计超人
·
2024-02-10 20:52
大数据毕业设计
大数据
课程设计
scrapy
hadoop
大数据毕业设计
计算机毕业设计
爬虫
Hive安装部署
pwd=6666通过XFTP将安装包上传到
hadoop
102的/opt/software目录下安装部署1、解压hive-3.1.3.tar.gz到/opt/module/目录下面进入安装包所在目录cd/
在下区区俗物
·
2024-02-10 20:30
hive
hadoop
数据仓库
关系代数习题补遗
学习目标:1.关系代数表示查询的技巧总结2.主属性和非主属性3.外连接,左连接和右连接4.关系的完备性概念5.关系数据语言的特点及分类在完成关系数据库的习题和补充习题时,发现上一篇
知识总结
虽然能完成大部分题目但还是有些遗漏之处
动力猿本猿
·
2024-02-10 19:55
数据库系统概论
数据库
CentOS7虚拟机 enss33没有ip地址
参考链接:CentOS7虚拟机enss33没有ip地址的解决方法_ens33没有ip地址_weixin_45307968的博客-CSDN博客在搭建
Hadoop
集群时,需要修改ip地址,但是当我查看时发现并没有显示
我想吃新疆炒米粉!
·
2024-02-10 18:31
tcp/ip
hadoop
网络协议
信号部分
知识总结
信号信号描述信号的共性:简单不能携带大量数据满足某一特定条件才能发送信号的本质信号软件层面上的”中断”,一旦信号产生,无论程序执行到哪里,都立即停止,处理信号,处理完成,在继续后续指令。所有的信号,产生、处理都是由内核完成。信号的实现手段导致,信号有很强的延时。对用户而言,依然感觉不到。信号相关的概念未决产生与递达(处理)之间的状态。主要受阻塞(屏蔽)影响递达内核产生信号后提送并且送达进程。递达的
编程小公举
·
2024-02-10 15:37
c++
c语言
visual
studio
code
visual
studio
计算机毕业设计Python+Spark+LSTM微博大屏情感分析 微博大数据分析 微博情感分析 微博爬虫可视化 微博数据分析 微博采集分析平台
lstm情感分析(python实现)数据库:mysql创新点1.python+spark+springboot+vue.js综合开发平台属于我们自研一站式开发平台,该平台搭建一个java工程,不仅可以调用
大数据框架
计算机毕业设计大神
·
2024-02-10 12:42
计算机毕业设计PyFlink+
Hadoop
+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计
流程1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集;2.使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;3.使用hive数仓技术建表建库,导入.csv数据集;4.离线分析采用hive_sql完成,实时分析利用Flink之Scala、FlinkSQL完成;5.统计指标使用sqoop导入mysql数据库;6
计算机毕业设计大神
·
2024-02-10 10:56
Java基础
知识总结
(持续更新中)
Java基础知识(持续更新)类型转化:数字、字符串、字符之间相互转化数字字符串//数字转字符串//method1intnumber=5;Stringstr=String.valueOf(number);//method2intnumber=5;Integeritr=number;//int装箱为对象,再调用对象的toString方法Stringstr=itr.toString();//或者直接St
Keven__Java
·
2024-02-10 09:13
算法题
Java
java
开发语言
算法
eclipse
idea
Hadoop
fs命令
目录前言命令及含义fs-lsfs-rmvfs-mkvfs-getfs-putfs-metatest;前言调用文件系统(FS)Shell命令应使用bin/
hadoop
fs的形式。
November丶Chopin
·
2024-02-10 08:02
专栏02-大数据与数据分析
hadoop
大数据
分布式
2023:既是结束也是开始
1.学习内容总结话不多说,先上图:该图非常具体的描述了这半年来学习的东西,有之前的
知识总结
,也有新的知识学习,在不同的方向持续探索,寻找适合自己的方向,既要
抱抱宝
·
2024-02-10 07:43
总结记录
学习
程序人生
考研
职场和发展
HDFS常用命令
HDFS常用命令hdfs命令最常用的就是:hdfsdfs-[linux的命令]通过查看
Hadoop
的命令与hdfs的命令并不相同,且不存在包含关系。仅仅是
hadoop
fs与hdfsdfs可以等价。
昱东i
·
2024-02-10 06:30
hadoop
linux
大数据
hadoop
could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running
学习使用
Hadoop
-3.2.2APIIDEA中使用Java向hdfs写入文件时出现如下错误:couldonlybereplicatedto0nodesinsteadofminReplication(=
昱东i
·
2024-02-10 06:30
hadoop
hadoop
hdfs
big
data
Android 知识体系
二.
知识总结
目录(doing)
wind_sky
·
2024-02-10 04:51
Hbase安装配置(含分布式ZooKeeper)
CentOS6.0192.168.255.128=》server01192.168.255.130=》server02192.168.255.131=》server03/etc/hosts文件中有这些IP和域名的映射关系配置server01在
hadoop
聊码
·
2024-02-10 04:17
我的个人品牌第一站---PS
最近在学习PS所以决定将所学的
知识总结
梳理后写出来,这样不仅能够锻炼写作还能够更好的巩固知识。PS第一课:初识界面第一课确实有
异淘思维个人成长笔记
·
2024-02-10 03:23
新人数据技术如何快速提升
对于数据平台和工具而言,一般情况下都是在
Hadoop
生态下做开发,但对于一些有特殊要求的团队,Spark和Flink已经得
晓阳的数据小站
·
2024-02-09 23:46
数据开发
数据
java大数据
hadoop
2.9.2 hive操作
1、创建常规数据库表(1)创建表createtablet_stu2(idint,namestring,hobbymap)rowformatdelimitedfieldsterminatedby','collectionitemsterminatedby'-'mapkeysterminatedby':';(2)创建文件student.txt1,zhangsan,唱歌:非常喜欢-跳舞:喜欢-游泳:一般
crud-boy
·
2024-02-09 21:24
java大数据
大数据
hive
hadoop
java大数据
hadoop
2.9.2 Flume安装&操作
1、flume安装(1)解压缩tar-xzvfapache-flume-1.9.0-bin.tar.gzrm-rfapache-flume-1.9.0-bin.tar.gzmv./apache-flume-1.9.0-bin//usr/local/flume(2)配置cd/usr/local/flume/confcp./flume-env.sh.template./flume-env.shvifl
crud-boy
·
2024-02-09 21:54
java大数据
大数据
flume
数据中台 pdf_数据中台到底怎么建设,有人把他说清楚了
本人断断续续从事数据仓库约有五六年经验,在移动公司前三年是负责数据仓库项目实施,后四年开发搞大数据平台,见证了从传统数据仓库转型到大数据平台的全历程,见证了大数据平台从0到1的全部过程,包括第一个MPP数据集市、第一个
Hadoop
weixin_39699121
·
2024-02-09 18:59
数据中台
pdf
Zookeeper原理架构
首先,Zookeeper是Apache的一个java项目,属于
Hadoop
系统,扮演管理员的角色。然后看到官网那些专有名词,实在理解不了。
白纸糊
·
2024-02-09 17:53
大数据
Hadoop
生态圈技术之浅析PageRank计算原理
二、计算环境——
Hadoop
-2.5.2——四台主机——两台NN的HA——两台RM的HA——离线计算框架MapReduce三、计算原理(1)思考
A尚学堂Nancy老师
·
2024-02-09 10:23
macos安装local模式spark
文章目录配置说明安装
hadoop
安装Spark测试安装成功配置说明Scala-3.18+Spark-3.5.0
Hadoop
-3.3.6安装
hadoop
从这里下载相应版本的
hadoop
下载后解压,配置系统环境变量
SparklingTheo
·
2024-02-09 08:52
大数据-linux
macos
spark
大数据
SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25
目录0需求分析1数据准备3数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1
hadoop
1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL——条件判断语句嵌套windows子句的应用
0需求分析需求:表如下user_idgood_namegoods_typerk1
hadoop
1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
大数据 - Spark系列《五》- Spark常用算子
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-09 05:25
spark
大数据
spark
分布式
spark原理总体介绍
部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点,相当于
Hadoop
的Master和Slave节点。
tracy_668
·
2024-02-09 03:48
Zookeeper集群搭建(3台)
准备工作1、提前安装好
hadoop
102、
hadoop
103、
hadoop
104三台机器,参照:CentOS7集群环境搭建(3台)-CSDN博客2、提前下载好Zookeeper安装包并上传到/opt/software
在下区区俗物
·
2024-02-08 21:35
zookeeper
linux
分布式
Hadoop
集群所有进程查看脚本
/bin/bashforiin
hadoop
102
hadoop
103
hadoop
104doecho---------$i----------ssh$i"$*"done2、赋予文件运行权限chmod+xxcall.sh3
在下区区俗物
·
2024-02-08 21:04
hadoop
大数据
linux
并发编程中一种经典的分而治之的思想!!
有点像
Hadoop
中的MapReduce。ForkJoin是由JDK1.7之后提供的多线程并发处理框架。ForkJoin框架的基本思想是分而治之。什么是分而治之?
冰河团队
·
2024-02-08 19:06
docker load -i 导入后 看不到镜像
dockerload-i导入后看不到镜像[root@centos8~]#dockerimagesREPOSITORYTAGIMAGEIDCREATEDSIZEcsctbb.com/
hadoop
3.3.0084faab5baec7hoursago1.68GBcentos8.1.1911470671670cac14monthsago237MBkubeguide
吕楚王
·
2024-02-08 19:29
Docker
大数据从何学起?大数据脑图+学习路线清晰的告诉你!
【大数据开发学习资料领取方式】:加入大数据技术学习交流扣扣群458345782,点击加入群聊,私信管理员即可免费领取第一阶段linux+搜索+
hadoop
体系Linux基础→sh
yoku酱
·
2024-02-08 18:16
Hadoop
深度运维:Apache集群原地升级Ambari-HDP
作者介绍冯武,目前在瓜子从事大数据集群运维管理,主要负责
Hadoop
、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。
Summer_1981
·
2024-02-08 18:42
7.0 MapReduce编程实例教程
注意:MapReduce依赖
Hadoop
的库,但由于本教程使用的
Hadoop
运行环境
二当家的素材网
·
2024-02-08 18:11
Hadoop
教程
mapreduce
eclipse
大数据
Zookeeper的详细介绍及使用场景
Zookeeper是什么Zookeeper分布式服务框架是Apache
Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等
Zal哥哥
·
2024-02-08 15:11
前端
知识总结
js篇
1.js运行机制setTimeout(function(){console.log('1')});newPromise(function(resolve){console.log('2');resolve();}).then(function(){console.log('3')});console.log('4');newPromise(function(resolve){console.log
小小 攻城狮
·
2024-02-08 15:23
前端
javascript
es6
前端异步相关
知识总结
目录一、同步和异步简介同步(按顺序执行)异步(不按顺序执行)异步出现的原因和需求二、实现异步的方法回调函数Promise生成器Generators/yieldasyncawait三、promise和asyncawait区别概念两者的区别四、defer和async区别一、同步和异步简介同步(按顺序执行)指在主线程上排队执行的任务,只有前一个任务执行完毕,才能继续执行下一个任务。也就是调用一旦开始,必
turbo夏日漱石
·
2024-02-08 15:49
前端
前端面试
前端
面试
okhttp
深入理解Spark的前世今生
Spark,是一种通用的大数据计算框架,正如传统大数据技术
Hadoop
的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。
闲云野鹤~~~
·
2024-02-08 14:01
Spark
温习
大数据框架
阿里Flink面试题
1、Flink如何保证精确一次性消费Flink保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Flink开启Checkpoint的时候,会往Source端插入一条barrir,然后这个barrir随着数据流向一直流动,当流入到一个算子的时候,这个算子就开始制作checkpoint,制作的是从barrir来到之前的时候当前算
Coding路人王
·
2024-02-08 14:26
flink
spark
面试
big
data
flink
大数据
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他