E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop离线数仓
大数据开发之
Hadoop
(Yarn)
第1章:Yarn资源调度器思考:1、如何管理集群资源?2、如何给任务合理分配资源?Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
Key-Key
·
2024-01-19 06:09
大数据
hadoop
分布式
linux安装
hadoop
详细步骤
以下是在Linux系统上安装
Hadoop
的详细步骤:下载
Hadoop
文件在
Hadoop
官方网站上下载最新的稳定版本的
Hadoop
文件。
酷爱码
·
2024-01-19 06:08
大数据基础教程
linux
hadoop
运维
hadoop
下载,安装
下载:https://mirrors.tuna.tsinghua.edu.cn/从清华源下载找到apache找到
hadoop
找到对应的版本使用64位版本上传到linux的/usr/local目录下使用tar-zxvf
三木一立
·
2024-01-19 06:33
大数据
hadoop
大数据
分布式
spark读取hive的数据
/dev/make-distribution.sh--tgz--namewith-hive-Pyarn-P
hadoop
-2.7-D
hadoop
.version=2.7.7-Phive-Phive
IT烧麦
·
2024-01-19 04:17
016-Vue-黑马2023:前后端分离开发(在线接口文档),前端工程化、Element、vue编写一个完成页面、Vue路由、vue打包部署到nginx
第三节前后端分离开发1、介绍开发模式前后端混合开发:传统开发模式前后端分离开发:当前最为主流的开发模式页面原型+需求案例:分析出接口文档
离线
开发文档示例:2、YAPI(官网已停用)2023.7停止维护了
清风微凉 aaa
·
2024-01-19 04:32
三
JavaWEB阶段
vue.js
前端
javascript
《锦衣长夜行》游戏宣传
【特色玩法】1.
离线
挂机,经验副本。让你的等级飞速提升。2.丰富造型,风格百变,由你随意搭配。3.完善的社交,情缘系统,结为仙侣,共谱佳话。
saber_772a
·
2024-01-19 02:36
FineBI实战项目一(25):实战项目一总结
实在项目使用mysql做
数仓
库的ODS层,这仅仅是带领大家入门,用mysql做
数仓
存在很多问题。
不死鸟.亚历山大.狼崽子
·
2024-01-19 02:39
FineBI
finebi
递减类贡献问题,考虑兔队线段树:0118A
http://47.92.197.167:5283/contest/454/problem/1我们其实就是要在树上从根到某个点的路径维护从任意地方开始的:而这东西,是典型的兔队线段树形式我们只需要把询问
离线
Qres821
·
2024-01-19 01:36
兔队线段树
数仓
架构图
阿里巴巴的数据团队把表数据模型分为三层:操作数据层(ODS)、公共维度模型层(DM)和应用数据层(DS),其中公共维度模型层包括明细数据层(DWD)和汇总数据层(DWS)。模型层次关系如9.9所示。image.png公共维度模型层(CDM):存放明细事实数据、维表数据及公共指标汇总数据其中明细事实数据、维表数一般根据ODS层数据加工生成:公共指标汇总数据般根据维表数据和明细事实数据加工生成。CDM
liuxiaolin
·
2024-01-19 01:27
HBase第一章:集群搭建
:集群搭建文章目录系列文章目录前言一、环境准备二、上传HBase三、上传HBase四、配置参数五、分发测试六、高可用总结前言Hive的内容基本算是学完了,太深入的东西,现在没有必要死磕,接下来我们学习
hadoop
超哥--
·
2024-01-19 00:57
HBase
hbase
hadoop
大数据
揭秘:实时渲染、
离线
渲染、云渲染和混合渲染的区别
常见的渲染类型有以下几种:实时渲染
离线
渲染云渲染混合渲染它们中间有重叠交叉,也有技术区别。
Imagination官方博客
·
2024-01-19 00:25
HBase学习总结(1):HBase的下载与安装
(HBase是一种数据库:
Hadoop
数据库,它是一种NoSQL存储系统,专门设计用来快速随机读写大规模数据。本文介绍HBase的下载与安装的整个过程。)
蝶Wu天涯
·
2024-01-19 00:25
HBase
HBase
hbase学习笔记-hbase集群安装部署
上传安装包到服务器4、解压安装包到指定的规划目录tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把
hadoop
陈同学:
·
2024-01-19 00:22
hbase
hbase
zookeeper
HBase集群部署
前提条件安装hbse的前提条件是jdk已经搭建完成,虚拟机具有
Hadoop
伪分布式或完全分布式的集群搭建,以及zookeeper环境搭建完成。
Golden life
·
2024-01-19 00:21
hbase
数据库
大数据
【大数据】HBase集群安装部署
一、前提条件服务器配置好,搭建大数据集群服务器看这篇:搭建学习使用的大数据集群环境:windows使用vmware安装三台虚拟机,配置好网络环境安装好对应版本的
hadoop
集群,并启动安装好对应版本的zookeeper
橙子园
·
2024-01-19 00:51
大数据工程师成神之路
hbase
big
data
hadoop
安装部署
Hbase高可用集群部署
Zookeeper集群的正常部署并启动
Hadoop
集群的正常部署并启动配置环境变量vi/etc/profile#Hbase-HAexportHBASE_HOME=/home/xyp9x/hbase-2.0.5
衡超越爱学习~
·
2024-01-19 00:21
Hbase
hbase
hadoop
big
data
HBase学习三:集群部署
集群启停顺序:启动
Hadoop
—>启动HBase—>关闭HBase—>关闭
Hadoop
1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2
Studying!!!
·
2024-01-19 00:50
中间件
HBase
【性能调优】local模式下flink处理
离线
任务能力分析
文章目录一.flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1.模型说明2.2.通讯、数据传输方面2.3.框架、任务堆外内存2.4.托管内存3.任务分析二.单个节点的带宽瓶颈1.带宽相关理论2.使用speedtest-cli测试带宽3.任务分析3.其他工具使用介绍本文相关讨论flink内存对任务性能的影响:通过了解内存模型,了解这些模型都负责那些工作,
roman_日积跬步-终至千里
·
2024-01-18 23:18
#
flink性能调优
#
flink
实战
flink
大数据
Hadoop
的心脏:中央异步调度器AsyncDispatcher代码和设计解析
以Yarn、HDFS和MapReduce为主要组成的
Hadoop
,涉及到大量复杂的、交互的事件处理、状态转换,同时,这些事件调度和状态转换又对实时性和效率提出了极高的要求。
麦兜和小可的舅舅
·
2024-01-18 22:56
yarn
hadoop
hadoop
yarn
dispatcher
异步调度器
Hadoop
RPC Server基于Reactor模式和Java NIO 的架构和原理
文章目录前言JavaNIO简介Reactor设计模式详解1.Reactor设计模式概览2.RPC总服务启动3.Listener4.Reader5.Handler6.Responder结束前言
Hadoop
RPC
麦兜和小可的舅舅
·
2024-01-18 22:26
hadoop
yarn
open-source
hadoop
reactor
yarn
nio
RPC
HDFS WebHDFS 读写文件分析及HTTP Chunk Transfer Encoding相关问题探究
文章目录前言需要回答的首要问题DataNode端基于Netty的WebHDFSService的实现基于重定向的文件写入流程写入一个大文件时WebHDFS和
Hadoop
Native的块分布差异基于重定向的数据读取流程尝试读取一个小文件尝试读取一个大文件读写过程中的
麦兜和小可的舅舅
·
2024-01-18 22:52
大数据架构
实现
hadoop
open-source
hdfs
http
hadoop
Hologres + Flink 流式湖仓建设
Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新2传统实时
数仓
分层方案
Direction_Wind
·
2024-01-18 21:56
hologres
技术调研
flink
大数据
2018-09-28
高爆装备神器,战力飙升;轻松升级,仙侠三界战场,任你闯荡;畅快激战,接收万人膜拜;
离线
挂机,轻松交易,极品装备任意松,豪礼拿不停;更多精彩福利,请前往游戏领取。
xpyhhh
·
2024-01-18 21:16
Altium Designer简介以及下载安装
阅读引言:AltiumDesigner的
离线
安装包在文章最后,注意该软件只能用于个人的学习使用,不能用于商业用途,文章主题图片来自网络。
@daiwei
·
2024-01-18 21:45
物联网
pcb工艺
锂离子电池二阶RC等效电路模型参数
等效电路模型:部分文献
离线
参数辨识结果:另一文献的辨识结果:
tiande_
·
2024-01-18 20:00
经验分享
笔记
学习方法
Baichuan2百川模型部署的bug汇总
2.报错原因是机器没有足够的内存和显存,offload_folder设置一个文件夹来保存那些
离线
加载到硬盘的权重。
lsf_007
·
2024-01-18 20:29
bug
CentOS安装gcc及g++
目录一、在线安装二、
离线
安装1、收集对应.rpm文件2、rpm文件上传3、在该目录下执行安装命令3、测试一、在线安装联网安装比较简单只需使用如下命令即可yuminstallgccyuminstallgcc-c
右璇
·
2024-01-18 19:27
运维
CentOS笔记
centos
linux
运维
CentOS
离线
安装MongoDB
目录1、下载2、上传并解压3、创建目录4、新建配置文件5、启动6、验证7、停止服务7.1快速停止7.2标准的关闭方法1、下载下载MongoDB对应的压缩包,本次使用的是4.0.10版本,点击下载2、上传并解压把压缩包上传到服务器,并进行解压tar-xvfmongodb-linux-x86_64-4.0.10.tgz3、创建目录创建文集相关的存储目录#数据存储目录mkdir-p/data/mongo
右璇
·
2024-01-18 19:55
MongoDB
CentOS笔记
mongodb
数据库
centos
jrebel IDEA 热部署
1下载2022.4.1JRebelandXRebel-IntelliJIDEsPlugin|Marketplace2选择下载好的zip
离线
安装IDEA插件重启IDEA3打开[Preference->JRebel
java 之路
·
2024-01-18 18:47
intellij-idea
java
ide
Hive入门
介绍Hive是一个基于
Hadoop
的数据仓库工具,它可以将结构化数据文件映射成一张表,然后通过类似SQL的查询语句来执行查询。
kongxx
·
2024-01-18 17:11
MacBook Linux安装zookeeper
MacBookLinux安装zookeeperZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
beyond阿亮
·
2024-01-18 17:12
zookeeper
macbook
linux
白山云基于StarRocks数据库构建湖仓一体
数仓
的实践
背景随着每天万亿级别的业务数据流向数据湖,数据湖的弊端也逐渐凸显出来,例如:数据入湖时效性差:数据湖主要依赖于
离线
批量计算,通常不支持实时数据更新,因此无法保证数据的强一致性,造成数据不及时、不准确;查询性能差
StarRocks_labs
·
2024-01-18 17:04
社区投稿
数据库
大数据
伯克利开源 Confluo,吞吐量是 Kafka 的 4 到 10 倍
这些数据被用于在线查询,实现可视化与监控,或者用于
离线
查询,进行故
OSC开源社区
·
2024-01-18 16:37
UNIAPP
离线
打包成apk文件最全攻略
2023/10/17日下午三点半完成早上八点半上班,下午五点半下班,中午休1.5小时,历时两天终于完成,虽然之前有过安卓开发的经历,但很久未碰有些生疏,中间的过程可谓一波三折,下面是主要历程。首先是配置环境,hbuilder的环境配置相对简单,去官网下载就好了,近几年新兴的开发平台,操作十分简便,相比于as繁琐的英文以及导航栏,中文的开发平台可谓一目了然。配置过程具体不做过多介绍,也没有其他复杂操
浼淖
·
2024-01-18 15:54
uni-app
UNI-APP安卓本地打包详细教程(保姆级)
一、开发环境uni-app官方文档地址原生开发者支持1、AndroidStudio下载地址:AndroidStudio官网ORAndroidStudio中文社区2、最新版的HBuilderX3、App
离线
高级API调用攻城狮
·
2024-01-18 15:47
前端
android
android
studio
前端
vue.js
uniapp安卓本地打包成apk
uniapp安卓本地打包成apk环境准备1.HBuilderX最新版2.与HBuilderX版本对应版本的“Android
离线
SDK-正式版”,下载见:https://nativesupport.dcloud.net.cn
程序猿想成程序狮
·
2024-01-18 15:45
uniapp
uni-app
android
前端
十分钟部署清华 ChatGLM-6B,实测效果超预期(Linux版)
因为条件特殊,实验室网络不通,那么如何进行
离线
部署呢?经过一上午的折腾终于搞定了,总结了这么一个部署文档供大家讨论学习(其实,比在线部署还快哟~)。除去下载模型以及依赖包的时间,部署十分钟搞定!!
深度学习算法与自然语言处理
·
2024-01-18 15:25
NLP与大模型
自然语言处理
人工智能
深度学习
大模型
大语言模型
docker
离线
安装 mysql_linux
离线
安装 docker mysql redis mongo
Ubuntu
离线
安装docker1、下载
离线
包,网址:https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64/
离线
安装
金牛肖马
·
2024-01-18 15:11
docker
离线安装
mysql
Docker下安装MySQL,PostgreSQL,SQL Server(包含
离线
和在线安装)
1MySQL1.1
离线
安装1.1.1加载镜像使用ftp工具将安装包上传至服务器最大目录下,这里以根目录为最大目录举例键入加载镜像命令:dockerload-i镜像包名称dockerload-imysql80
广而不精zhu小白
·
2024-01-18 14:40
Linux
数据库
拓展
docker
mysql
postgresql
虚拟机中配置
hadoop
一、可以先在windows系统下下载好需要安装的
hadoop
版本比如:
hadoop
-3.1.3.tar.gz。
※海绵※的笑~
·
2024-01-18 14:40
linux
hadoop
hadoop
大数据
hdfs
【docker】docker-compose
离线
环境下安装mysql
上传mysql
离线
镜像文件到服务器上链接:https://pan.baidu.com/s/19gCYmLcf_YR23T8ypfsg4Q提取码:6666docker加载镜像文件到本地镜像仓库中#加载
离线
镜像文件到本地仓库
598035415
·
2024-01-18 14:38
docker
docker
mysql
容器
docker
离线
安装mysql镜像
链接:https://pan.baidu.com/s/1k9yA4NwRzLq8eHnIA6KhdA?pwd=1024提取码:10241、将mysql-57.gz安装文件拷贝到linux2、安装mysql2.1、进入mysql安装包目录2.2、加载mysql镜像dockerload-imysql571.gz2.3、查看镜像dockerimages启动dockerrun-d-p33333:3306-
竭永泉
·
2024-01-18 14:38
mysql
docker
数据库
docker安装mysql镜像步骤
1、拉去mysql镜像或者下载mysql
离线
镜像2、上传
离线
镜像,执行命令:dockerload-imysql-57.gz3、查看镜像dockerimages4、创建容器,执行命令进行文件挂载docker
DJ_Aholic
·
2024-01-18 14:37
docker
linux
mysql
docker
java
mysql 容器化安装(docker)
离线
和在线
前言:在部署hive或airflow升级过程中,总需要一个对应的数据库存储元数据,一个轻量级的mysql容器刚刚好。轻量、可快速移植、具有隔离性。文章目录1、查看机器版本2、安装docker3、启动docker服务4、docker常用命令docker5、拉取mysql镜像6、启动MySQL容器7、远程连接测试容器化mysql1、查看机器版本#redhat版>cat/etc/redhat-relea
yunpeng.zhou
·
2024-01-18 14:35
Linux
docker
mysql
docker
数据库
Deepin环境常用命令之dpkg
DebianPackager,是’Debian’系操作系统的软件包管理工具之一,所有基于Debian的Linux发行版(包括Deepin/Ubuntu),都能使用dpkg; dpkg可以对下载好的(
离线
长孤秋落
·
2024-01-18 14:16
Deepin
国产操作系统
ubuntu
linux
debian
实时云渲染与
离线
渲染的区别是哪些?
实时云渲染是通过把3D渲染过程放到云端完成,从而打破用户设备限制的方式,它与
离线
渲染有着显著差异。
千野竹之卫
·
2024-01-18 13:06
3dsmax
3d
图形渲染
Linux常用命令大全
1.查看端口号占用lsof-i:端口号lsof-i:8060sudonetstat-nlp|grep80602.查看CPU、核数、磁盘信息[
hadoop
@master1~]$cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009
tuoluzhe8521
·
2024-01-18 13:52
Linux
linux
运维
服务器
反射助你无痛使用Semantic Kernel接入
离线
大模型
本文主要介绍如何使用llama的server部署
离线
大模型,并通过反射技术修改SemanticKernel的OpenAIClient类,从而实现指定端点的功能。
桑榆肖物
·
2024-01-18 13:51
大模型
.NET
python
后端
Semantic
Kernel
大模型
迁移 MySQL 数据到 OceanBase 集群
迁移MySQL数据库到OceanBase集群一、目标二、环境准备三、实施1、使用OBD安装一套OB2、安装mysql实例3、sysbench数据准备4、使用mysqldump
离线
同步数据5、使用datax
weixin_41612487
·
2024-01-18 13:10
Oceanbase
mysql
database
什么是小程序?特点和技术架构详解
传统的原生应用运行起来比较流畅,但是也有天然的基因缺陷:不支持动态化,发布周期长需要开发Android和iOS两套代码,开发成本高相比较之下,Web技术有这方面的优势,但是其劣势也比较明显:无法
离线
使用性能表现差无法方便地调用原生能力因此
IoT砖家涂拉拉
·
2024-01-18 11:03
小程序
PWA
物联网
系统架构
App
web
API
上一页
28
29
30
31
32
33
34
35
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他