hadoop离线数仓

Hadoop3.x基础（2）- HDFS

来源：B站尚硅谷目录HDFS概述HDFS产出背景及定义HDFS优缺点HDFS组成架构HDFS文件块大小（面试重点）HDFS的Shell操作（开发重点）基本语法命令大全常用命令实操准备工作上传下载HDFS直接操作HDFS的API操作HDFS的API案例实操HDFS文件上传（测试参数优先级）HDFS文件下载HDFS文件更名和移动HDFS删除文件和目录HDFS文件详情查看HDFS文件和文件夹判断HDFS
魅美·2024-02-01 09:22

Hadoop 已死，AI 吞噬世界！

【CSDN编者按】你用上GPT-4了吗？在数据领域，AI正逐步重塑数据处理和分析的各个环节，从ETL、数据治理到数据分析和消费方式均会发生根本性变化。Kyligence联合创始人&CEO，Apache顶级开源项目ApacheKylin的创建者韩卿（Luke.han）将用这篇文章来分享他在AI冲击开源领域之后引发的深度思考，其中涵盖了开源项目的商业化路径、技术变迁对行业格局的影响、AI对数据分析和业
CSDN资讯·2024-02-01 09:50

报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing解决方案

错误如图：解决方案：1.输入cd/opt/zookeeper/bin进入zookeeper文件的bin目录下2.输入./zkCli.sh进入客户端3.删除hbase,输入rmr/hbase4.关闭hbase输入stop-hbase.sh如果未能退出，就使用kill-9进程号强制删除5.重新启动start-hbase.sh此时已经可以正常运行6.如果以上操作还是不成功删除hbase在hdfs的存储路
:）คิดถึง·2024-02-01 09:35

关于Hadoop进行namenode格式化时ERROR conf.Configuration: error parsing conf xxx.xml错误的问题

关于Hadoop进行namenode格式化时ERRORconf.Configuration:errorparsingconfxxx.xml错误的问题在配置完core-default.xml,mapred-site.xml
平江路的鱼·2024-02-01 09:34

idea Statistic使用

插件版本太新了，需要历史版本解决办法：IDEA安装代码统计插件Statistic后左下角图标出不来(亲测)_ideastatistic不展示-CSDN博客下载历史版本idea代码统计statistic的离线下载地址各个版本都有
初叙·2024-02-01 09:25

oracle数仓rac两个节点查询耗时不一致问题处理

问题描述数据库节点1查询比节点2查询慢。现场操作应用发现发现同一sql语句在节点2上只要2分钟左右，在节点1，该条sql执行要超过30分钟。处理过程根据问题，初步判断是由于错误的执行计划，导致性能问题，但实际上对两个节点做trace跟踪发现执行计划都一致，后续通过awr报告和10046事件跟踪发现由于“gccrmultiblock”耗时造成节点一慢，这是oracleRAC大事务处理特性，两边都查有
烟雨归来·2024-02-01 09:23

SparkStreaming---入门

文章目录1.SparkStreaming简介1.1流处理和批处理1.2实时和离线1.3SparkStreaming是什么1.4SparkStreaming架构图2.背压机制3.DStream案例实操1.
肥大毛·2024-02-01 09:12

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据：用户
Key-Key·2024-02-01 08:46

【Apollo】阿波罗自动驾驶技术：引领汽车行业革新

忍不住分享一下给大家：https://www.captainbed.cn/zChatGPT体验地址文章目录前言引领汽车行业革新的五大步骤步骤一：登录云端仿真环境步骤二：打开DreamView步骤三：播放离线数据包步骤四
雪碧有白泡泡·2024-02-01 08:36

【Linux 无网络状态下离线安装 MySQL】

【Linux无网络状态下离线安装MySQL】一、准备安装包可以去MySQL官网进行下载需要的安装包，下面这个链接Mysql的下载地址MicrosoftWindows版本Linux-Generic版本5.7.4
金色的果实·2024-02-01 08:08

大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

上一篇：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码
王哪跑nn·2024-02-01 07:53

大数据 - Spark系列《一》- 从Hadoop到Spark：大数据计算引擎的演进

目录1.1Hadoop回顾1.2spark简介1.3Spark特性1.通用性2.简洁灵活3.多语言1.4SparkCore编程体验1.4.1spark开发工程搭建1.开发语言选择：2.依赖管理工具：1.4.2Spark
王哪跑nn·2024-02-01 07:43

访问ftp服务器文件夹,访问ftp服务器文件夹

访问ftp服务器文件夹内容精选换一换AutoK8SforKunpeng是专门为鲲鹏服务器开发的自动化集群部署的工具，可以支持离线集群部署，支持Windows和Linux多平台运行。
thecakr·2024-02-01 07:10

免费使用支持离线部署使用的 txt2video 文本生成视频大模型(Text-to-Video-Synthesis Model)

免费使用支持离线部署使用的txt2video文本生成视频大模型(Text-to-Video-SynthesisModel)。
代码讲故事·2024-02-01 06:43

HBase介绍

GFS是GoogleFileSystem，开源实现是HDFS（HadoopFileSystem）。MapReduce计算框架的开源实现是HadoopMapReduce。
M.Rambo·2024-02-01 06:09

【OCPP】ocpp1.6协议第3.5章节：本地授权和离线行为-介绍及翻译

目录3.5章节概述3.5本地鉴权和离线行为-译文(LocalAuthorization&OfflineBehavior)3.5.1鉴权缓存-译文(3.5.1.AuthorizationCache)3.5.2
“趁早”·2024-02-01 06:02

2019/2/20Hbase单节点安装

hbase（hbase-2.0.0-bin.tar.gz）解压过程即为安装过程解压=》为了让hbase的存放路径指定ns这个组名（防止出先不认识“ns”的错误）[root@zhiyou01~]#cp/usr/hadoop
阳光正好微风不燥_c509·2024-02-01 05:39

zookeeper集群群起脚本

所以要写个脚本，我的主机名是有规律的hadoop101;hadoop102;hadoop103所以创建脚本的过程如下：到/usr/local/bin目录下touch一个文件，这里我叫zkstartUtil.sh
小北觅·2024-02-01 05:01

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（
kk8_·2024-02-01 04:33

[绝对要收藏]配置hadoop完全分布式环境

##环境：hadoop-2.7.2，jdk1.8.0_144，CentOS-7-x86_64-Minimal-2009.iso1先创建一个主机2修改id，hostname，hosts3关闭防火墙4连接xshell5
Java小白中的菜鸟·2024-02-01 03:04

Sqoop数据迁移工具

概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
小希 fighting·2024-02-01 03:55

Hadoop 生产调优 (七) --------- MapReduce 与 Yarn 生产经验

目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce生产经验1.MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点：计算机性能CPU、内存、磁盘、网络I/O操作优化数据倾斜Map运行时间太长，导致Reduce等待过久
在森林中麋了鹿·2024-02-01 03:17

windows 下面Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativei...

本地运行，注意两点,配置本地的hadoop环境变量，注意hadoop版本是windows版本，在本地跑的时候遇到Exceptioninthread"main"java.lang.UnsatisfiedLinkError
smartjiang·2024-02-01 02:20

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

出现上述问题可能是格式化两次hadoop，导致没有datanode解决方法1：重启linux,再使用start-dfs.sh和start-yarn.sh重启一下hadoop解决办法2：找到hadoop安装目录下
有一束阳光叫温暖·2024-01-31 23:56

Git的使用

Git发展Linus->Linux分布式:每一台电脑,都可以下载完整的代码和历史消息,都是独立的仓库离线方式:可以离线,在没有网络的情况下,继续使用,可以访问所有的历史仓库:存储代码修改历史空间本地仓库
张鹿鹿·2024-01-31 22:56

多表拆解 | 数据PM的工作内容

之前一篇文章介绍了我司数据体系搭建过程，见：埋点、数仓到中台：数据体系的从0到1为了区分数据产品和数据产品经理，下文会用数据产品和数据PM来区分。
PMCAFF产品社区·2024-01-31 21:47

数据建模分析与数仓维度建模规范

数据建模在数仓管理、数据库设计、算法模型训练等领域都有着重要的作用。
i7杨·2024-01-31 20:57

Python入门教程，30分钟玩转Python编程！

一、Python入门二、Python爬虫三、数据分析四、数据库与ETL数仓五、机器学
老-程序员·2024-01-31 18:50

离线地图+GraphHopper搭建离线路径规划

效果：上代码：importLfrom'leaflet'require('../../../util/leaflet.contextmenu.js')require('../../../util/leaflet-ant-path.js')importstartIconfrom'@assets/img/start.png'importguoIconfrom'@assets/img/guo.png'im
是茜茜啊啊·2024-01-31 17:18

leaflet离线地图(百度)+vue+echarts

实现效果：思路：把离线地图瓦片全部下载下来然后自己在内网起个提供瓦片图请求的服务从服务器加载，（或者前端静态资源）。实现步骤：1.下载全能电子地图下载器。下载地图瓦片。
是茜茜啊啊·2024-01-31 17:17

Java基础-多线程（3）

如hadoop分布式集群。所以并发编程的目标是充分的利用处理器的每一个核，以达到最高的处理性能。36.线程和进程的区别？简而言之，进程是程序运行和资源分配的基本
C乖·2024-01-31 16:51

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时
zhisheng_blog·2024-01-31 15:29

uniapp 离线打包

离线打包对于没有AndroidStudio基础的人来说，是很难受的，过程如下。
一个博客·2024-01-31 15:26

数据湖技术Iceberg0.12预研文档

trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中（更换jar升级替换）hadoop3.0.0cdh
我去探险了·2024-01-31 15:36

使用petalinux进行离线编译

由于petalinux编译时需要下载很多依赖文件，由于网络的原因很容易导致失败，所以以2019.2为例整理了一下如何离线编译。
风往北风·2024-01-31 14:09

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划hadoop01/192.168.0.151hadoop02/192.168.0.152hadoop03/192.168.0.153hadoop04/192.168.0.154hadoop05
大道至简非简·2024-01-31 13:04

Hadoop Windows10上用idea进行hadoop客户端远程操作

1.idea上访问Hadoop客户端的uri地址要和core-site.xml中fs.defaultFS的参数一致2.执行自定义的程序之前，要启动Hadoop，否则会报错：Causedby:java.net.ConnectException
大数据新新菜鸟·2024-01-31 12:41

IDEA中Hadoop的环境配置

没有配置HadoopHome：在Windows下解压一份Hadoop安装包Hadoop使用log4j进行日志输出，明显没有配置log4j再次运行，显示了作业的运行情况
hhhhhhhhhhhnb·2024-01-31 12:36

Intelj IDEA 配置Hadoop 远程调试环境

远程hadoop版本：Hadoop3.0.0+cdh6.3.2一、设置本地hadoop环境1、下载hadoop下载hadoop-3.0.0.tar.gz，并解压到D:\BigData\并重命名为hadoop
跟着大数据和AI去旅行·2024-01-31 12:34

离线安装docker | docker中安装rabbitmq | 删除docker中进程

离线安装docker#下载地址适用于centos7https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz#放到自定义目录中后解压
爱学习的Amelia·2024-01-31 11:36

Docker离线安装部署RabbitMQ

一、首先确保系统环境有dockerdocker-version查看如果没有可以看我的另一篇离线安装docker的文章离线安装docker二、在有外网的地方下载好docker镜像1、拉取docker镜像dockerpullrabbitmq
易小染·2024-01-31 11:06

Docker离线安装RabbitMQ

Docker离线安装RabbitMQ1、进入dockerhub，搜索rabbit镜像https://registry.hub.docker.com/_/rabbitmq/2、进入官方的镜像，我们选择带有
ruth13156402807·2024-01-31 11:05

docker离线安装rabbitMq

安装dockercentos离线环境安装docker，跟着这篇文章操作就行，特别简单，我也试过，两分钟就能安装好。安装rabbitMq下载镜像我这儿是用用其他联网的
下雨天u·2024-01-31 11:01

591. 【数据库】starrocks 安装部署集群版

【Linux】ssh-keyscan解决“离线环境”多节点互信任问题，里面的脚本可直接使用。互信任完成之后，就可以使用sync_scripts.sh脚本了
七镜·2024-01-31 10:26

中标麒麟V7本地镜像设置,测试使用本地yum源安装工具

前言某些服务器安装是最小化安装，导致常用的命令也没有提供，并且内网环境下某些依赖软件包不能联网下载，本地镜像包含了使用命令的软件包操作系统：中标麒麟7搭建本地离线镜像源1.上传文件将操作系统iso文件(
Vvv一定会更强·2024-01-31 10:05

Appkey is not configured or configured incorrectly

起因由于uniapp从2.5.1版本更新到3.1.18，相应替换了新版App离线打包SDK中的文件后（libs包下的lib.5plus.base-release.aar、uniapp-release.aar
仿佛若有光318·2024-01-31 09:12

spring security原理与实战

疯狂创客圈高并发环境视频，陆续上线：WindowsRedis安装（带视频）LinuxRedis安装（带视频）WindowsZookeeper安装（带视频）LinuxZookeeper安装（带视频）RabbitMQ离线安装
40岁资深老架构师尼恩·2024-01-31 09:52

SpringSession 独立使用

疯狂创客圈高并发环境视频，陆续上线：WindowsRedis安装（带视频）LinuxRedis安装（带视频）WindowsZookeeper安装（带视频）LinuxZookeeper安装（带视频）RabbitMQ离线安装
40岁资深老架构师尼恩·2024-01-31 09:21

Zuul 修改 请求头、响应头 （死磕）

疯狂创客圈高并发环境视频，陆续上线：WindowsRedis安装（带视频）LinuxRedis安装（带视频）WindowsZookeeper安装（带视频）LinuxZookeeper安装（带视频）RabbitMQ离线安装
40岁资深老架构师尼恩·2024-01-31 09:51
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他