hadoop离线数仓

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58

docker升级到2.1.0.0版本后Kubernetes不可用问题解决方案

查看docker需要的Kubernetes镜像版本image.png下载离线镜像1.木有VPN的用户下载离线镜像gitclonehttps://github.com/maguowei/k8s-
莫轩然·2024-01-25 20:16

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

服务器使用指南

tensorflow3.1`nvidia-smi`nvidia-smi报错解决方案3.2创建你自己的环境使用自己环境示例：3.3安装包：3.3.1condainstall3.3.2pipinstall3.3.3离线安装包的下载
hancoder·2024-01-25 18:57

打包jar服务，如何提取第三方依赖包

很多时候有这个需求，编译源码的时候无法联网，需要把源代码和依赖包一起离线用。那么怎么把可以联网的工程依赖包，下载后提供给无网环境用呢。
passself·2024-01-25 18:50

Linux安装Mysql8，过程详细（离线安装mysql）

因公司需要，需要在服务器上安装一个mysql，但是机器没有外网权限，所以记录一下安装过程，供大家参考。官网下载安装包地址：https://dev.mysql.com/downloads/如图示，选择MySQLCommunityServer如图示，选择对应版本进行下载，此处我的选择是8.0.33点击下载按钮弹出下图，点击红框中的连接，跳过登录，直接下载检查服务器是否已经安装mysql使用命令查看是否
荔枝味的真知棒·2024-01-25 17:19

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

「Java开发指南」MyEclipse如何支持Spring Scaffolding？（二）

MyEclipsev2023.1.2离线版下载2.CRUDScaffoldingScaffolding指的是MyEclipse广泛代码生成功能的超集，从生成一组特定的请求软件组件到生成完全实现的可运行应用程序
界面开发小八哥·2024-01-25 16:36

Ubuntu之离线安装Gitlab,搭建私有代码仓库

Ubuntu之离线安装Gitlab,搭建私有代码仓库文章目录Ubuntu之离线安装Gitlab,搭建私有代码仓库1.官网下载：2.安装Gitlab3.使用1.官网下载：https://packages.gitlab.com
小袁搬码·2024-01-25 15:46

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

docker系列专栏

centos7上rpm离线安装docker18centos7离线安装docker-composedocker修改默认存储路径Dockerfile安装jdk1.8和nginxdocker-compose安装
空尘AI·2024-01-25 14:07

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

linux下离线安装mariadb（mysql）二进制包

apt-getupdate命令发现报如下错误，初步预计是公司网络结构的原因，因此不能直接在线安装：netstat-tap|grepmysql#检测是否已安装mysql1）apt-get或yum在线安装2）二进制包方式离线安装
Juoon·2024-01-25 10:16

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

【GitHub项目推荐--网站归档平台】【转载】

ArchiveBox：网站归档平台ArchiveBox是基于Python的强大网页归档解决方案，可以自动把网页变成静态页面（HTML、PDF、图片），并自动提取和保存文本、音频等内容，可以用来做镜像站、档案馆、离线阅读等
旅之灵夫·2024-01-25 10:46

大数据技术-Hudi学习笔记

方式环境准备数据写入集成Flink-代码编写方式代码地址环境准备编写代码提交运行集成Hive环境准备同步Hive使用HiveCatalog查询Hive外部表实时视图查询增量视图查询MOR表查询Hudi实战CDC数据同步离线批量导入全量接增量离线
笑一笑、·2024-01-25 09:51

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

Keil5 MDK的安装

share_source=copy_web&vd_source=9e3e013d351349501787efa88d17f2e41.下载Keil5MDK软件，双击打开2.在D盘新建文件3.安装4.选择支持包（离线安装
畅的bl0g·2024-01-25 09:32

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce使用说明

下面让我们跟着官网来学习下吧ApacheHadoop3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星·2024-01-25 09:52

Hadoop-YARN概览

一、什么是YARNYetAnotherResourceNegotiator，另一种资源协调者，简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。我们先不看源码，先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件，首先需要知道它在哪台节点上，HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce-源码跟读-客户端篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星·2024-01-25 09:52

hadoop 三种运行方式

一、本地运行方式1创建在hadoop-3.3.5文件下面创建一个wcinput文件夹[antares@hadoop1hadoop-3.3.5]$mkdirwcinput[antares@hadoop1hadoop
Snower_2022·2024-01-25 09:51

Hadoop-MapReduce-跟着日志理解整体流程

一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星·2024-01-25 09:49

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

VSCode离线安装 CodeLLDB 包

1、卸载CodeLLDB插件2、进入到VSCode安装目录，把codelldb-x86_64-windows.vsix放到该目录下，在该目录下按住shift+鼠标右键，打开powershell。3、输入以下命令code--install-extensioncodelldb-x86_64-windows.vsix安装成功如下图显示
sscb0521·2024-01-25 08:37

markdown文档操作步骤

Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出
情话_2ee5·2024-01-25 08:19

常

6.离校大概还有一个月，得好好写论文，写文才能离线。7.爸爸不爱谈论什么节什么节，但是记住我，我
余壹的书房·2024-01-25 08:45

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

基于CentOS7 Hadoop-2.7.2伪分布式部署

1、基本环境Linux版本：CentOS7.0JDK版本：jdk-7u79-linux-x64.tar.gzHadoop版本：hadoop-2.7.2.tar.gzjdk以及Hadoop安装在/usr目录下
程序员小H·2024-01-25 07:23

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

centos 离线安装yum

1先找一套相同cpu的虚拟机下载rpm2如果新的虚拟机没有yum源就替换修改yum源-CSDN博客1.2使用wget下载yum源配置文件(1)备份本地yum源配置文件备份命令：mv/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.bak(2)下载yum源配置文件到本地下载命令：wget-O/etc/yum.repo
林森i·2024-01-25 06:52

StarRocks本地部署

StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种
keyson R·2024-01-25 06:14

certificate-transparency-go用例

文章目录证书的SCT列表验证SCT依赖包加载证书初始化log机构信息离线验证+在线验证证书的SCT列表浏览器对证书链的合法性检查通过后，会再检查服务端证书附件里的SCT列表（SignedCertificateTimestamp
百战天王·2024-01-25 05:26

linux系统mysql8单机多实例+主从复制部署

一、解压mysql压缩包参考我的另一篇博文，tag.gz解压完并且配置完环境变量即可，暂时不要初始化linux单机部署mysql(离线环境解压即可)-CSDN博客二、修改配置文件可能因为版本不同，我的这个配置可能不是通用的
88再见孙悟空·2024-01-25 05:55

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
小猪Harry·2024-01-25 05:09

离线Yum安装 - 离线安装GitLab服务器

参考yum离线安装背景公司内网需要离线安装GitLab服务器,其中依赖的yum源也需要离线安装安装步骤1.安装yum-plugin-downloadonlyyuminstallyum-plugin-downloadonly2
夹胡碰·2024-01-25 05:02

安装rsa依赖库出现ERROR: No matching distribution found for rsa

通过安装离线包的方式安装python-rsa依赖包，出现错误执行命令（require文件夹中是rsa-4.9.tar.gz文件，加粗，后面会用到）pipinstall--no-index--find-link
小测试-小测试·2024-01-25 03:49

React Native bundle打离线包

如何打包呢？react-nativebundle–entry-file,ios或者android入口的js名称，比如index.ios.js–platform,平台名称(ios或者android)–dev,设置为false的时候将会对JavaScript代码进行优化处理–bundle-output,生成的jsbundle文件的名称，比如./ios/index.ios.jsbundle–assets
二斤寂寞·2024-01-25 03:45

Laya-CMD 打包

离线打包方式环境cnpminstalllayaair2-cmd-gcnpminstall-glayanative2路径：在项目主目录中PATH\layaSource发布Weblayaair2-cmd.cmdpublish-cweb
忘川草·2024-01-25 03:10

2021-01-27面试题

简述下html5的离线储存原理，同时说明如何使用？
Viewwei·2024-01-25 02:12

Cesium加载离线地图和离线地形

文章目录前言一、Cesium加载离线地图1.1下载数据2.2数据处理2.3地图发布2.4下载速度改进二、Cesium加载离线地形2.1下载数据2.2数据处理2.3地形发布2.4遇到的问题前言直接把地图数据切片
纯奶牛·2024-01-25 02:43

vs添加mysql.data.dll或者其他扩展dll

方式1：在线方式2：离线下载MySQLConnectorNET8.2.0本地安装，在项目中引用
BigData-0·2024-01-25 02:11
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他