hadoop离线数仓

快速了解 Kafka 基础架构

kafka是一款开源、追求高吞吐、实时性，可持久化的流式消息队列，可同时处理在线（消息）与离线应用(业务数据和日志)。在如今火热的大数据时代，得到了广泛的应用。
波罗学·2024-01-28 21:47

flink架构

它集成了使用所有常见的群集资源管理器，例如HadoopYARN和Kubernetes，但也可以设置为作为独立集群，甚至作为库。
m0_66520412·2024-01-28 20:29

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

数据湖技术之发展现状篇

首先是随着Hadoop生态相关技术的大量应用，批处理架构应运而生，借助离线计算引擎的能力很好的满足了业务对大规模数据分析处理场景的需求。
风筝Lee·2024-01-28 18:56

Android 学习日记----jetpack---androidx.Room

这样，当设备无法访问网络时，用户仍可在离线状态下浏览相应内容。设备之后重新连接到网络后，用户发起的所有内容更改都会同步到服务器。由于Room负责为您处理这些问题，因此我们强烈建议您使用Room
太阳冰心·2024-01-28 16:33

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

[SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema

1、开发环境spark-2.1.0-bin-hadoop2.62、Rdd转换成DataFrame，为字段添加列信息参数nullable说明：Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森·2024-01-28 13:51

离线服务器环境中如何安装python依赖

在本机开发过程中，都是在线安装，相关的依赖通过pip命令即可完成，但是发布到生产，特备是企业项目，对安全要求较高，通常都是离线环境。
拥抱AI·2024-01-28 13:40

oracle数据同步开源,阿里开源数据同步工具--DataX

：是异构数据源离线同步工具能干啥？：能够将MySQLsqlServerOracleHiveHBaseFTP之间进行稳定高效的数据同步。设计思路：网状连接-》星型连接看图：目前支持哪些数据同步？
海纳易拓·2024-01-28 12:09

mysql 同步 工具 开源_开源数据同步工具——datax

开源数据同步工具——dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、
weixin_39942572·2024-01-28 12:08

Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)

Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)本文的Metadata定义SQLonHadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang·2024-01-28 12:38

Impala元数据简介

Impala元数据简介背景Impala是一个高性能的OLAP查询引擎，与其它SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata
stiga-huang·2024-01-28 12:05

开源数据同步工具DataX

开源数据同步工具DataXDataX简介DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。
快乐江小鱼·2024-01-28 12:34

Hadoop的基础操作

Hadoop的基础操作HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。
陆卿之·2024-01-28 12:27

QML圆形图像的制作与图像置灰效果

接下来我就简单码上几句实现圆形图像的方法，以及将彩色图像置灰（放QQ离线）的一下方法：一、将方形图片圆形显示代码如下：Rectangle{id:imgwidth:100height:100radiu
Joven_xxx·2024-01-28 11:17

浅谈Hive和HBase有哪些区别与联系及适用场景

Hive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对Map
尚学先生·2024-01-28 11:19

高性能多机传动变频 SINAMICS S120调试

系统配置新建项目，搜索站地址及CU版本联机在线恢复工厂设定值自动配置离线配置整流单元选择整流单元型号正确填写进线电压离线配置逆变单元
xdpcxq1029·2024-01-28 10:55

《合成孔径雷达成像算法与实现》Figure5.18

clcclearcloseall距离向参数R_eta_c=20e3;%景中心斜距Tr=25e-6;%发射脉冲时宽Kr=0.25e12;%距离向调频率Fr=7.5e6;%距离向采样率Nrg=256;%距离线采样点数
76岁拄拐敲代码·2024-01-28 10:38

《合成孔径雷达成像算法与实现》Figure5.19

clcclearcloseall距离向参数R_eta_c=20e3;%景中心斜距Tr=25e-6;%发射脉冲时宽Kr=0.25e12;%距离向调频率Fr=7.5e6;%距离向采样率Nrg=256;%距离线采样点数
76岁拄拐敲代码·2024-01-28 10:38

《合成孔径雷达成像算法与实现》Figure5.16

clcclearcloseall距离向参数R_eta_c=20e3;%景中心斜距Tr=25e-6;%发射脉冲时宽Kr=0.25e12;%距离向调频率Fr=7.5e6;%距离向采样率Nrg=256;%距离线采样点数
76岁拄拐敲代码·2024-01-28 10:08

《合成孔径雷达成像算法与实现》Figure5.17

clcclearcloseall距离向参数R_eta_c=20e3;%景中心斜距Tr=25e-6;%发射脉冲时宽Kr=0.25e12;%距离向调频率Fr=7.5e6;%距离向采样率Nrg=256;%距离线采样点数
76岁拄拐敲代码·2024-01-28 10:06

Hive常见问题汇总

Hive和Hadoop的关系Hive构建在Hadoop之上，HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的所有的数据都是存储在Hadoop中查询计划被转化为MapReduce任务，在Hadoop
不加班程序员·2024-01-28 09:37

mac上搭建hbase伪集群

/blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+hdfs（hadoop
寂夜了无痕·2024-01-28 08:15

windows10（19044_1706）离线安装wsl和Docker的填坑记录

windows10（19044_1706）离线安装wsl和Docker的填坑记录一、环境windows10（x64内部版本19044_1706）dockerv4.10.1wsl2二、相关资料docker
草青工作室·2024-01-28 08:41

【WSL】WSL环境迁移，WSL下离线安装Ubuntu20.04（win11）

文章目录【WSL】WSL环境迁移，WSL下离线安装Ubuntu20.04（win11）一、WSL功能开启二、导出WSL环境1、查看wsl详细信息列表：2、关闭运行的子系统：3、导出子系统三、导入WSL环境
KumaMU·2024-01-28 08:39

【亲测有效】离线安装WSL windows 10子系统Ubuntu 20.04方法

Step1-EnabletheWindowsSubsystemforLinuxYoumustfirstenablethe"WindowsSubsystemforLinux"optionalfeaturebeforeinstallinganyLinuxdistributionsonWindows.OpenPowerShellasAdministratorandrun:PowerShellCopydi
青柚创客·2024-01-28 08:39

WSL离线安装

online/enable-feature/featurename:Microsoft-Windows-Subsystem-Linux/all/norestart2、wsl启用，重启电脑3.下载wsl离线文件下载地址
qianmu0322·2024-01-28 08:07

WSL (Windows Subsystem for Linux) wsl1+wsl2+对比+在线安装+离线安装+版本转换+右键菜单+外网访问

WSL(WindowsSubsystemforLinux)wsl1+wsl2+对比+在线安装+离线安装+版本转换+右键菜单+外网访问WSL(WindowsSubsystemforLinux),是微软在Windows10
王二小丷·2024-01-28 08:36

【Ubuntu】windows离线安装WSL2

下载AppxBundle文件网上很多PS安装管理员身份打开PowerShellPSE:\>Add-AppxPackage.\CanonicalGroupLimited.Ubuntu22.04LTS_2204.2.47.0_neutral_~_79rhkp1fndgsc.AppxBundle开始菜单确认安装完毕。
一个甜甜的大橙子·2024-01-28 08:32

js设计模式二 - 策略模式

维护麻烦，后期维护需要做删减处理if(state==='SCHEDULE'){//预约中}elseif(state==='ONLINE'){//在线}elseif(state==='OFFLINE'){//离线
大小小丹·2024-01-28 08:27

Hive面试题*精选*！附答案！！！

HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库，它定义了简单的类似SQL的查询语言，称为HQL，允许熟悉SQL的用户查询数据
yhy_only·2024-01-28 07:36

自动驾驶代客泊车AVP决策规划详细设计

为了打磨巡航规划的能力，算法架构应当设计的更为灵活，可以针对使用场景迁入更为先进有效的算法，同时也可以更好的结合现有成熟的仿真平台进行算法的离线调优；此外考虑到产品的设计需求以及硬件算力的限制，算法性能的优化也是十分重要的课题
电气_空空·2024-01-28 07:35

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。
404个问号·2024-01-28 07:02

【前端web入门第一天】01 开发环境、HTML基本语法文本标签

基本使用2.HTML文本标签2.1标签语法2.2HTML基本骨架2.3标签的关系2.4注释2.5标题标签2.6段落标签2.7换行与水平线标签2.8文本格式化标签1.准备开发环境VSCode与谷歌浏览器离线版
小徐要考研·2024-01-28 07:45

linux 基于科大讯飞的文字转语音使用

官方文档地址：离线语音合成LinuxSDK文档|讯飞开放平台文档中心一、SDK下载1、点击上面官方文档地址的链接，可以跳转到以下界面。2、点击“普通版”，跳转到以下界面。
码农客栈·2024-01-28 07:55

【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer；

2022-10-2010:43:59,633ERRORorg.apache.hadoop.hdfs.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气·2024-01-28 06:02

Ubuntu22.04三台虚拟机Hadoop集群安装和搭建（全面详细的过程）

虚拟机Ubuntu22.04Hadoop集群安装和搭建（全面详细的过程）环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop
WuRobb·2024-01-28 06:41

面试整理

数据分析/hadoop/机器学习面试题集锦，可能是最全的了…发表于：2017-09-2115:17阅读：178评论：0无论你是想从事大数据相关职位的职场小白，还是准备往高处走的牛牛。
qq_20962187·2024-01-28 06:09

【你哥电力电子】flyback电路，多路输出分析

广泛应用于高压和离线供电电源，能做到恒功率输出，不需要输出电感，节省体积。
你哥同学·2024-01-28 06:08

Bootstrap5之icons字体图标及简单布局案例

Bootstrap5之icons字体图标及简单布局案例文章目录Bootstrap5之icons字体图标及简单布局案例1.学习文档1.官网2.中文网2.icons之字体图标1.使用Bootstrap5的字体图标1.离线使用
小袁搬码·2024-01-28 06:08

Zookeeper+Kafka+Log4j日志采集与管理系统

本篇文章重点介绍如果搭建一套日志采集与管理系统，重点包含如下几个功能：1)应用节点的状态监控，离线及时告警、断线重连；2)日志级别动态修改，根
ff&yy·2024-01-28 06:28

Hadoop集群部署流程

前置要求需要3台虚拟机，系统为Centos7，分别host命名为node1，node2，node3，密码均为root请确保这三台虚拟机已经完成了JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作在3台虚拟机的/etc/hosts文件中，填入如下内容：（同时这也是三台虚拟机的ip地址）192.168.88.131node1192.168.88.132node2192.168.88.133nod
正在绘制中·2024-01-28 02:09

python在线聊天室(带聊天保存)

pythonSocket在线聊天室(带聊天保存)需求功能1.聊天信息保存功能(服务端会把信息保存到一个txt里面)2.使用pyqt5框架作为一个可视化界面3.具备一个服务端和多个客户端的功能4.具备离线加入黑名单
超维Ai编程·2024-01-28 01:24

详解gdb的使用技巧

在实际应用中，有两种调试方法：在线调试和离线调试。离线调试适用于开发测试环境，可以自由启停进程，设置断点；在线调试一般用于现场问题分析，不能随便启停进程，对于技术要求较高。
程序员姜戈·2024-01-28 01:34

脱机安装系统依赖

项目遇到离线安装系统依赖包的问题，通过查资料发现使用yuminstall--downloadonly--downloaddir=的方法只能下载系统未安装的依赖，并不能下载全量，于是另辟蹊径。
__walden·2024-01-28 00:43

20190824 课堂笔记

20190824课堂笔记设置快捷键设置编译创建项目选择quickstartGAV设置项目设置修改添加hadoop-version,repositoryUTF-81.81.82.6.4clouderahttps
赛尔木·2024-01-27 23:37

Hadoop-分布式

分布式分步+并行处理+汇总结果Hadoop分布式一台计算机存储不了了，也计算不了了Hadoop把多台计算机资源（存储资源：硬盘；计算资源：CPU，内存）连接在一起，形成集群输入文件，拆分成块，多个节点存储计算任务
日月交辉·2024-01-27 23:48

用户行为数据采集

Flume——Hadoop——VMVM环境准备安装JDK安装HadoopHadoop运行模式本地模式伪分布式完全分布式集群启动组件逐一启动。模块启动
日月交辉·2024-01-27 23:18

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

python3安装pip install报错Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirm

本章目录一.centOS7离线安装python3.10运行环境二.CentOS7安装Python3.101.安装编译所需的依赖2.安装Python3.10必需的openssl>=1.1.13.安装Python3.104
坦笑&&life·2024-01-27 20:49
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他