hadoop离线数仓

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf
魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

一文说尽江湖中的高速下载大杀器

2）离线下载比如你用百度网盘离线下载QQ群文件，就是用百度公司的服务器帮你下载腾讯公司服务器上的文件，而
野猫行天下·2024-02-19 19:02

《合成孔径雷达成像算法与实现》Figure6.17

clcclearcloseall参数设置距离向参数设置R_eta_c=20e3;%景中心斜距Tr=2.5e-6;%发射脉冲时宽Kr=20e12;%距离向调频率alpha_os_r=1.2;%距离过采样率Nrg=320;%距离线采样数距离向参数计算
76岁拄拐敲代码·2024-02-19 19:02

Clion总结

1.安装过程最好选择离线安装，这样方便如果安装错误，可以卸载。卸载方法：删除解压后的文件夹，删除~/.CLionXX类似文件夹。
XinbinLi·2024-02-19 16:07

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
DolphinScheduler社区·2024-02-19 16:16

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
·2024-02-19 16:01

手把手教你环信对接离线推送,再搞不定把你头打掉

前提条件1.macOS系统,安装了xcode,并且配置好了cocoapods第三方管理工具2.有苹果开发者账号3.有环信开发者账号（注册地址：环信即时通讯云）在苹果开发者中心创建项目,注册推送证书.1.登录苹果开发者中心.AppleDeveloper(请用自己的苹果开发者账号)编辑编辑2.苹果开发者中心创建-Identifiers.(name-empushdemo)(identifier-com.
·2024-02-19 16:59

最赚钱的十大手游 能赚钱的十款手游 能赚钱的手机游戏排行榜

最主要的是有着离线挂机系统，就算不一直在线，也可以有着经验和装备的获取。购物、看电影、点外卖、用氧惠APP！更优惠！氧惠（全网优惠上氧惠）——是与以往完全不同的抖客+淘客app！
氧惠购物达人·2024-02-19 15:19

DDL 毫秒级同步，Light Schema Change 的设计与实现｜新版本揭秘

在OLAP的业务场景中，SchemaChange是一个相对常见的业务需求，当上游数据源维度发生变化时，通常需要将数仓中的表结构进行相应的变更。
·2024-02-19 15:19

Chrome浏览器插件axure-chrome-extension（免费）

所以提供一个离线版本进行安装。
兮风萧萧·2024-02-19 14:36

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

Docker打包离线镜像到本地，上传解压到服务器

在我们部署Docker镜像时，难免会遇到服务器没有网络情况，Centos7离线安装Docker这篇文章中，我们已经离线安装Docker完成，现在需要离线创建容器。
dkbnull·2024-02-19 13:37

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

云原生之容器编排实践-在K8S集群中使用Registry2搭建私有镜像仓库

背景基于前面搭建的3节点Kubernetes集群，今天我们使用Registry2搭建私有镜像仓库，这在镜像安全性以及离线环境下运维等方面具有重要意义。
Heartsuit·2024-02-19 13:01

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48

数据系统架构-10.数仓开发平台

数仓开发平台1.背景数据仓库是存储各种数据的仓库，形同于现实当中存储货物的仓库，不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
·2024-02-19 11:45

揭秘JVS-智能BI数据集管理：让你的数据处理更高效！

数据集管理与界面介绍在整体的数仓架构中，数据集是在线加工的标准数据形态，数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程，建模完成后，可通过手动数据执行或者周期性的
·2024-02-19 11:41

IDEA-常用插件

如果网络访问异常，建议下载安装包，进行离线安装MyBatisLogFree-IntelliJIDEsPlugin|Marketplace重启IDEA后，在too
宣晨光·2024-02-19 11:48

Qt的安装

如果你的网速可以的话，也可以选择离线版本（https://www.qt.io/offline-installers）这个有1.2G
zhouxiaotan·2024-02-19 10:39

Python的第三方库pyttsx3

pyttsx3/pyttsx3项目的文档地址：https://pyttsx3.readthedocs.io/en/latest/pyttsx3是Python中的一个文本到语音转换库，与其他库不同的是，它可以离线工作
y_bccl27·2024-02-19 10:36

【Python实用API】文本转语音库-pyttsx3

文本到语音转换库0、描述1、安装2、基本用法：3、进阶0、描述pyttsx3是Python中的文本到语音转换库，并且它是离线工作的。
代码搬运工的逆袭·2024-02-19 10:58

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

Hive调优——count distinct替换

离线数仓开发过程中经常会对数据去重后聚合统计，而对于大数据量来说，count(distinct)操作消耗资源且查询性能很慢，以下是调优的方式。
爱吃辣条byte·2024-02-15 10:58

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

HTML5与CSS3总结

3.HTML5新特性（面试）1）增加了audio和video音频播放，抛弃了Flash2）新增了canvas画布（绘画，制作动画（如小游戏开发等））3）地理定位4）增加了离线缓存5）硬件加速6）WebSocket
胡小七·2024-02-15 08:31

eclipse离线添加TestNG插件

1下载插件链接：https://pan.baidu.com/s/1WBGVNi5Ua_BncIyP7JYMSA提取码：hpl22.将插件放进对应文件夹1）将文件夹org.testng.eclipse_6.9.8.201510130443放进eclipse的features目录2）将文件夹org.testng.eclipse_6.9.8.201510130443放到eclipse的plugins目录
阳春三月594·2024-02-15 08:03

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

一面数据： Hadoop 迁移云上架构设计与实践

背景一面数据创立于2014年，是一家领先的数据智能解决方案提供商，通过解读来自电商平台和社交媒体渠道的海量数据，提供实时、全面的数据洞察。长期服务全球快消巨头（宝洁、联合利华、玛氏等），获得行业广泛认可。公司与阿里、京东、字节合作共建多个项目，旗下知乎数据专栏“数据冰山”拥有超30万粉丝。一面所属艾盛集团（Ascential）在伦敦证券交易所上市，在120多个国家为客户提供本地化专业服务。公司在2
JuiceFS·2024-02-15 01:48

（免费领源码）Java#MySql#hadoop高校固定资产管理系统74965-计算机毕业设计项目选题推荐

摘要在信息飞速发展的今天，网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布，为此，高校固定资产管理系统开发的必然性，所以本人开发了一个基于Tomcat（服务器）模式的高校固定资产管理系统，该系统以B/S/Java语言、MySql数据库等为开发技术，实现了添加、修改、查看、删除系统数据。本系统采取组件化的方式对系统进行拆分，并对数据库中各个表的增删查改、表与表之间的约束关
2301_3224142804·2024-02-15 00:42

Android导入其它项目慢，Gradel下载失败，另辟蹊径：使用离线gradle加载，附镜像方式

前言离线导入的方式（没有使用本地gradle或不修改默认仓库位置的前提下）适合本地项目和修改别人的项目。不太推荐含有git
Dream's·2024-02-14 23:58
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他