hadoop离线数仓

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（外键）以及该业务过程的度量。一般设计会遵循以下四个步骤：1.选择业务过程及确定事实表类型通常情况下，一个业务过程对应一张事实表。2.声明粒度精确定义每张事实表的每行数据表示什么,按照业务尽可能选择最
大数据左右手·2024-02-07 09:35

解决sublime text3安装Package Control问题

离线安装：下载地址：https://github.com/wbond/pack...1.把下载好的zip包解压，重命名为PackageControl。2.打开Sublime3，菜单->P
拾柒丶_8257·2024-02-07 09:15

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

RCS系统之：机器人状态

在设计RCS系统平台时，机器人总共设计状态有：离线模式；如图，18号机器人呈灰黑色，表示机器人没有上电状态工作模式；如图，10号机器人成绿色，表示机器人处于工作模式，等待上游发送任务；手动模式；如图，10
barton-lee·2024-02-07 09:12

2024年笔记--centos docker离线安装启动失败

FailedtostartDockerApplicationContainerEngine错误如下：[root@el70docker]#systemctlstartdocker.serviceJobfordocker.servicefailedbecausestartoftheservicewasattemptedtoooften.See"systemctlstatusdocker.service
老爸我爱你·2024-02-07 09:32

解决方案：2024年Pytorch（GPU版本）+ torchvision手动安装教程[万能安装方法] win64、linux、macos、arm、aarch64均适用

目录一、Pytorch手动安装1.1、前提准备1.2、创建虚拟环境1.3、搜索Pytorch包1.4、选择下载符合配置的Pytorch包1.4、安装离线包二、torchvision手动安装2.1、查找对应的版本
中杯可乐多加冰·2024-02-07 08:27

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。在数据仓https://mp.weixin.qq.com/s/elPkpgTm6cfAR-AFuJA16w目录一、数据质量体系建设的原因二、数据质量的重要性决策基础客户满意度业务流程效率成本控制法律合规三、常见的数据质量问题数据缺失数据错误数据不一致数据重复数据
爱吃辣条byte·2024-02-07 08:26

搭建oracle+mysql双数据源springboot+vue项目配置记录

主要根据项目需要自行搭建简易双数据源框架，以便自行学习实践相关离线开发，话不多说直接开干1.首先准备所需依赖资源：springboot框架代码结构（搭建项目略）；oracle数据库（建库建表过程略）；mysql
enjoysummer·2024-02-07 08:13

IDEA插件CamelCase插件——驼峰转换

第二种安装方式是使用离线插件进行安装。插
朵朵宝·2024-02-07 08:13

Flink-CDC实时读Postgresql数据

用户可以在如下的场景使用cdc：实时数据同步：比如将Postgresql库中的数据同步到我们的数仓中。数据库的实时物化视图。Postgresql数据库配置Postgresql参数修改#更改wa
pigcoffee·2024-02-07 07:13

JVS物联网、低代码、规则引擎2.5功能新增说明

物联网更新功能新增:1、新增离线存储-页面配置及指令下发对接；用户可以对平台的页面进行自定义配置，通过平台，可以将指令下发给与之相连的设备或系统，这些指令可以是控制指令、配置指令或其他类型的指令。
jonyleek·2024-02-07 06:23

原来还可以使用 DataX 进行数据同步

DataX进行数据同步DataX一、环境要求二、DataX部署三、新建JobDataXDataX是阿里云DataWorks的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。
lytao123·2024-02-07 06:16

Clickhouse到HBase(Phoenix)数据导入 DataX

DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
布尔科技技术团队·2024-02-07 06:44

datax离线同步oracle表到clickhouse实践1

时间：2024.01目录1、安装启动oracle19c容器2、rpm包安装clickhouse3、datax安装4、datax同步目标库根据要同步的表，按照clickhouse建表规范建表编写json文件编写增量同步shell脚本，加入crond定时任务1、安装启动oracle19c容器二、拉取镜像dockerpullregistry.cn-hangzhou.aliyuncs.com/zhuyij
probtions·2024-02-07 06:14

win10 spark scala 本地运行wordcount

注意每次修改环境变量都要重启cmd本机运行需要hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin
疯琴·2024-02-07 06:06

同是ZooKeeper，你和架构师的理解差在哪里？

Dubbo，Kafka,Hadoop等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗？如果面试官让你给他讲讲ZooKeeper是个什么东西，你能回答到什么地步呢？
l鹿狸i·2024-02-07 06:12

mapbox 本地化 离线化

项目中遇到的一些问题，记录一下1、Error{message:'Unimplementedtype:4'}问题：Error{message:'Unimplementedtype:4'}原因：无法加载文字标注，字体没有引入进来2、本地化时：当layer使用了background-pattern、fill-pattern、line-pattern、fill-extrusion-pattern、icon
AllBlue·2024-02-07 06:47

Hadoop-IDEA开发平台搭建

1.安装下载Hadoop文件1）hadoop-3.3.5将下载的文件保存到英文路径下，名称一定要短。
Snower_2022·2024-02-07 05:02

【实验1】分布式模式的CentOS 6上安装Hadoop（1个master节点，2个slave节点）

实验环境：二、实验内容与步骤（过程及数据记录）：1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆HadoopSlave3
-借我杀死庸碌的情怀-·2024-02-07 05:31

在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验

一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥：mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中scpid_rsa.pubh1@对方机器IP：~/.ssh/authorize
Clearlove灬Star·2024-02-07 05:01

合肥工业大学2022大数据技术实验二

实验序号及名称：实验二在Hadoop平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在Hadoop平台上部署WordCount程序。
一头骇人鲸·2024-02-07 05:00

hadoopwordcount代码分析

输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer;用来对字符串进行切importorg.apache.hadoop.fs.Path
姹紫_嫣红·2024-02-07 05:57

【实验2】在Hadoop平台上部署WordCount程序

HDFS6.分布式文件系统HDFS上的编程实践6.1安装Eclipse6.2创建Eclipse工程6.3编写一个Java应用程序检测HDFS中是否存在一个文件7.Eclipse上的HDFS操作7.1安装Hadoop-Eclipse
-借我杀死庸碌的情怀-·2024-02-07 05:27

如何将日志文件和二进制文件快速导入HDFS？

日志数据在应用程序中一直很常见，Hadoop能够处理生产系统生成的大量日志数据，比如网络设备、操作系统、Web服务器和应用程序的日志数据。
weixin_34159110·2024-02-07 05:36

qnx 启动&日志

QNX启动流程_qnx启动-CSDN博客8155-XBL分析(xjx100.cn)[实践篇]13.24QNX镜像编译_qnx编译-CSDN博客DiagnosticLogandTrace——DLT离线日志存储
lei7143·2024-02-07 04:13

数据仓库-Hive基础（二）Hive 的基本概念

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
做个合格的大厂程序员·2024-02-07 03:42

Spark Chapter 8 Spark SQL

DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用SQL语句进行大数据分析hive的问题：底层MR，2.x之后可以用spark应用场景SQLonHadoop
深海suke·2024-02-07 01:34

CentOS7 安装 Harbor

必须条件：拥有docker和dockercompose环境CentO7安装docker和dockercompose使用离线安装模式下载离线包，下载地址解压离线包tar-zxvfharbor-offline-installer-v2.4.1
我有一只肥螳螂·2024-02-07 01:27

u8将数据库服务器的文件,u8数据库服务器如何安装

u8数据库服务器如何安装内容精选换一换此场景下数据库的迁移有如下方法：数据库迁移同样可以使用主机迁移服务SMS，但是只能离线迁移。详情请参见方法一：使用SMS部分。
韦先波·2024-02-07 00:10

Hadoop集群（第10期副刊）_常用MySQL数据库命令

1、系统管理1.1连接MySQL格式：mysql-h主机地址-u用户名－p用户密码举例：例1：连接到本机上的MySQL。首先在打开DOS窗口，然后进入目录mysqlbin，再键入命令"mysql–uroot–p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符是：mysql>。例2：连接到远程主机上的MYSQL。
阿布2·2024-02-07 00:08

4.东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）

东软跨境电商数仓项目–数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）文章目录东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4
Mmj666·2024-02-07 00:01

2024-02-06（Sqoop）

1.SqoopApacheSqoop是Hadoop生态体系和RDBMS（关系型数据库）体系之间传递数据的一种工具。Sqoop工作机制是将导入或者导出命令翻译成MapReduce程序来实现。
陈xr·2024-02-06 23:29

双地图：别再纠结手机使用哪款导航软件了

毕竟这两款软件在使用上我们会发现区别，在各个方面各有各的优点，比如百度地图最大优点在于精度高，更新比较快，毕竟有百度强大数据支撑，适合于生活类的人经常使用；而有些人喜欢使用高德地图，毕竟可以离线使用，还可以根据实际行车路线进行更改
技巧大全·2024-02-06 22:02

教你用SadTalker一键整合包轻松制作专属数字人

SadTalker有独立离线版Ai数字人，也可以在StableDiffusion以插件的形式使用，但是如果显卡小的话还是建议使用独立版，毕竟StableDiffusion也要占用显卡。
PromisingGirl-Du·2024-02-06 21:05

ubuntu如何离线安装nginx？

在离线环境中安装Nginx在Ubuntu上可能需要一些额外的步骤，因为正常的APT包管理过程无法使用。
恒创HengHost·2024-02-06 21:55

linux离线安装系统工具arping

linux离线安装系统工具arpinghttps://download.csdn.net/download/weixin_42736510/18231994?
zby-枣菠鱼·2024-02-06 21:23

Eclipse离线安装maven、jetty、svn插件；附百度网盘资源链接

Eclipse离线安装maven、jetty、svn插件；附百度网盘资源链接链接：https://pan.baidu.com/s/1zt4-K4AvGZ4EnSqp0vfDGA提取码：7980
豆豆子i·2024-02-06 20:19

java推荐算法_基于内容的推荐算法实现

javapackagecom.oracle.moviecf;importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.conf.Configuration
RED韵·2024-02-06 19:54

GaussDB HCS 轻量化部署软件下载指引

一、Support账号准备1.账号说明华为的软件服务在华为support网站发布，注册该账号后，可以申请软件、下载离线文档，查看技术案例等功能2.账号注册步骤1：点击如下官方链接华为运营商技术支持-华为步骤
Gauss松鼠会·2024-02-06 18:24

crash分析ramdump

crash介绍crash主要是用来离线分析linux内核内存转存文件，它整合了gdb工具，具有很强的功能，可以查看堆栈，dmesg日志，内核数据结构，反汇编等等．其支持多种工具生成的内存转储文件格式，
ldinvicible·2024-02-06 18:11

性能实测：分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何

在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了SmartX分布式存储ZBS与全闪集中式存储（EMCPowerStore）执行数仓跑批任务的效率。为了帮助用
志凌海纳SmartX·2024-02-06 18:40

Spark简介

Spark作为第二代大数据处理工具，跟hadoop对比，它是基于内存的，所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99·2024-02-06 18:07

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2024-02-06 16:49

《合成孔径雷达成像原理与实现》Figure6.3

clcclearcloseall参数设置距离向参数设置R_eta_c=20e3;%景中心斜距Tr=2.5e-6;%发射脉冲时宽Kr=20e12;%距离向调频率alpha_os_r=1.2;%距离过采样率Nrg=320;%距离线采样数距离向参数计算
76岁拄拐敲代码·2024-02-06 16:33

《合成孔径雷达成像算法与实现》Figure6.4

clcclearcloseall参数设置距离向参数设置R_eta_c=20e3;%景中心斜距Tr=2.5e-6;%发射脉冲时宽Kr=20e12;%距离向调频率alpha_os_r=1.2;%距离过采样率Nrg=320;%距离线采样数距离向参数计算
76岁拄拐敲代码·2024-02-06 16:33

《合成孔径雷达成像算法与实现》Figure6.5

clcclearcloseall参数设置距离向参数设置R_eta_c=20e3;%景中心斜距Tr=2.5e-6;%发射脉冲时宽Kr=20e12;%距离向调频率alpha_os_r=1.2;%距离过采样率Nrg=320;%距离线采样数距离向参数计算
76岁拄拐敲代码·2024-02-06 16:57

致IT领域那些忽悠过的概念

这里我要说的是：1：Hadoop是大数据解决方案之一，是个代名词，但是不是全部。2：除了少数公司，绝大多数（99.99%）的公
薛晓刚·2024-02-06 15:08

Centos7--详细离线安装mysql8.0.26版本

centos7之离线安装mysql8.0.26版本.一级目录理由:在线安装(wget命令形式)linux的网速不敢恭维,仅供个人学习了解;一:自centos7版本后,系统自带的数据库是mariadb数据库
丶飘零丶·2024-02-06 14:23

centos7 离线安装MySQL8.0.26 记录

删除原有mariadb[root@testmysql]#rpm-qa|grepmariadbmariadb-devel-5.5.52-1.axs7.x86_64mariadb-libs-5.5.52-1.axs7.x86_64[root@testmysql]#rpm-e--nodepsmariadb-libs-5.5.52-1.axs7.x86_64[root@testmysql]#rpm-qa|
熊明才·2024-02-06 14:48

Hbase 数据迁移

Hbase数据迁移可选方案对比l已验证方案操作说明：nExport&importu导出命令及示例hbaseorg.apache.hadoop.hbase.mapreduce.Export“表名”文件路径导出至本地文件系统
运维那些事儿·2024-02-06 14:44
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他