Hive新零售离线数仓

全面解析基于Hadoop模型的数据分析平台框架

本文主要讲解以下两个方面：♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义
丨程序之道丨·2024-01-29 17:04

数据湖技术之应用场景篇

比如说在线数据抽取场景原有模式对线上库表产生较大压力，flink多流join维护的大状态导致的稳定性问题等等，具体场景如下图所示：场景1:在线数据抽取业务一般会从线上mysql库表以离线方式抽取全量数据到
风筝Lee·2024-01-29 16:04

金晖会员福利大起底～服装人一定要知道的福利政策！

随着批发市场的发展和客户群体的变化，金晖依据新零售+会员共享经济理念，推出了【会员制】。顾客成为金晖无糖会员，每个会员拥有专属的会员码，可享受金晖无糖联盟商户的一件批
乐墨花店·2024-01-29 15:36

Chromium源码分析：ContentShell启动流程

http://mogoweb.net/archives/417ContentShell是基于ContentAPI的一个简单的浏览器外壳，下面我将分析chromiumforandroid中的ContentShell
dzhjsofo·2024-01-29 15:28

HiperMOS机器人离线编程软件助力工业机器人应用于加工领域

工业机器人的串联机构与数控车床的并联机构本身的特性不同，决定了业内人士一般不会用机器人来做“精确、可靠的加工”。+/-0.100mm以上的公差使搬运、码垛、装配、焊接等对精度要求不高的生产场景变成了机器人的常见用途。近年来，随着工业机器人初始精度的提高，机器人的公差达到了0.01+毫米以下，工厂可以使用机器人执行原来被认为只有数控机床的精度才能胜任的工作。美中不足的是，机器人本身自带的编程软件满足
HiperMOS·2024-01-29 15:17

考试

看到此信息，感觉头大了几倍，对考试有一种无形的恐惧，尤其是生完二宝后，智商严重下降，俗称“孕傻”，做什么事好像都是离线状态。考试，从小到大经历了无数次，学生时代的考试，是检验对所学知识的掌握程度。
陌染sdq·2024-01-29 15:13

嗨逛全球跨境电商购物平台(嗨逛全球电商最新进展)

模式：三网合一，四网联动新直销，新零售，新电商，打破以往的运营，创新运营。线上与线下完美结合，通过嗨逛全球跨境电商和嗨逛全球的体验店
氧惠好物·2024-01-29 14:15

别急，最近风口浪尖的无人货架还有救

这些企业无一例外的把零售这件事看轻了，无人货架是一个新零售项目，既不同于
未来十年新零售·2024-01-29 14:26

我用真实经历告诉大家粉象生活赚钱靠不靠谱

随着社会与科技的发展，人们的生活日新月异，而新零售概念与分享经济商业模式，在近几年里更是势如破竹，风头无两。2018年，我国宏观经济政策中提到，推动零售的转型升级，提升消费者的获得感。
氧惠评测·2024-01-29 14:38

root + vm vh 实现响应式字体

原文链接==>http://sylblog.xin/archives/52前言一个网页中最多的东西是啥?正常人的第一反映肯定是文字，你要是跟我说是图片，那我只能表示：响应式网页设计中
程序员半夏·2024-01-29 13:36

Hive HWI 配置

前言1、下载安装好hive后，发现hive有hwi界面功能，研究下是否可以运行，于是使用hive–servicehwi命令启动hwi界面报错。
chde2Wang·2024-01-29 11:55

基于大数据平台的kylin安装部署手册

单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3Hadoop环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4检查hive
猿来孺词·2024-01-29 10:26

Sqoop使用详解

目录1.概述2.codegen3.create-hive-table4.eval5.export6.import7.import-all-tables8.job9.list-databases10.list-tables11
猿来孺词·2024-01-29 10:26

Sqoop实用linux脚本

1、通用脚本1.1、Sqoop导入DATADB数据到HIVEsqoop_load_data.sh#!
猿来孺词·2024-01-29 10:26

数据仓库模型设计：从架构到实践的全方位指南

一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。
猿来孺词·2024-01-29 10:51

Linux一条命令换阿里源

Debian/Ubuntu系统：sudocp/etc/apt/sources.list/etc/apt/sources.list.backup#备份原始源列表sudosed-i's/http:\/\/archive.ubuntu.com
吻等离子·2024-01-29 09:00

部队离线指纹电子查岗系统设计要点

专门针对干部定期巡查每个岗位的离线指纹查岗系统，由：离线指纹巡检器、每个岗位巡检点、管理软件等三部分组成。
华西建筑关联专业公司 华鲲智慧·2024-01-29 09:55

【CANoe使用大全】——离线回放数据

‍♂️【CANoe使用大全】系列‍♂️点击跳转文章目录1.概述2.Offline3.综述1.概述本章主要介绍数据的离线回放操作2.Offline导入需要加载的文件导入完成效果：点击开关便可进行数据回放3
77赫兹·2024-01-29 09:44

CANoe使用大全

数据库制作【CANoe使用大全】——Trace窗口【CANoe使用大全】——Graphics窗口【CANoe使用大全】——报文发送（IG）【CANoe使用大全】——Logging窗口【CANoe使用大全】——离线回放数据
77赫兹·2024-01-29 09:14

Hive-DML

Load在将数据加载到表中时，Hive不会进行任何转换。加载操作是将数据文件移动到与Hive表对应的位置的纯复制或移动操作。
KevinDu_134d·2024-01-29 09:20

【Docker笔记】Docker安装及配置

Docker安装步骤docker-compose安装Windows安装Docker安装步骤常见问题解决WSL2installationisincompleteCentOS安装Docker在线安装：官方文档离线安装
木子家有小可爱·2024-01-29 08:21

bert预训练模型下载

查看bert模型所支持的预训练模型有哪些fromtransformersimportBERT_PRETRAINED_MODEL_ARCHIVE_LISTprint(BERT_PRETRAINED_MODEL_ARCHIVE_LIST
木下瞳·2024-01-29 08:13

Hive 报错 Invalid column reference 列名

两张表当我执行selectm.movieid,m.moviename,substr(m.moviename,-5,4)asyears,avg(r.rate)asavgScoreFROMt_movieasmjoint_ratingasronm.movieid=r.movieidGROUPbym.movieidHAVINGavgScore>=4;报错：Invalidcolumnreference'mo
木下瞳·2024-01-29 08:43

java jdk8和jdk17同时存在【环境配置】

1、先进行环境下载：jdk8:https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-archive-downloads.htmljdk17
你小子在看什么……·2024-01-29 08:22

WebSocket设置私信在线离线

WebSocket设置在线离线以及优先展示最近聊天的人1.设置在线状态主要逻辑：1.用户连接之后，首先后端执行onOpen,传入用户的id,然后写入到redis中RedisConfig.java中加入@
迟意..·2024-01-29 07:28

ubuntu18.04安装paddlepaddle开发环境

//www.jianshu.com/p/e70436c3b0072.安装CUDA下载选择系统信息：https://developer.nvidia.com/cuda-10.0-download-archive
奋斗_登·2024-01-29 07:24

Hadoop, HIve, Spark关系简述

Hive：在Had
小白兔奶糖ovo·2024-01-29 07:22

【cdh】hive执行SQL提示缺少3.0.0-cdh6.3.2-mr-framework.tar.gz文件

问题：执行SQL报错提示缺少文件异常信息如下在hdfs上查看的时候连文件夹都没有，所以这个异常会抛出，但是我是基于CDH搭建的，可以直接基于下面操作执行完成之后查看HDFS文件重新执行SQL发现可以正常执行了
谷新龙001·2024-01-29 07:46

记一次Flink自带jar包与第三方jar包依赖冲突解决

flink版本1.14.5hadoop2.6.0为了实现flink读取hive数据写入第三方的数据库，写入数据库需要调用数据库的SDK，当前SDK依赖的protobuf-java-3.11.0.jar，
一枚小刺猬·2024-01-29 06:10

Hive之set参数大全-19

指定用于计算列的唯一值数（NDV，即基数）的算法在Hive中，hive.stats.ndv.algo是一个配置参数，用于指定用于计算列的唯一值数（NDV，即基数）的算法。
OnePandas·2024-01-29 06:39

Hive之set参数大全-20

指定在执行大表半连接操作时的最小表大小，以决定是否启用半连接操作的优化在Hive中，hive.tez.bigtable.minsize.semijoin.reduction是一个配置参数，用于指定在执行大表半连接操作时的最小表大小
OnePandas·2024-01-29 06:03

Hive(HiveServer2 & Beeline)

hive有两种方式写SQL；方式一：bin/hive是hive的shell客户端，可直接写sql方式二：bin/hive--servicehiveserver2后台执行脚本：nohupbin/hive-
%HelloWorld%·2024-01-29 03:41

Hive初体验

首先，确保启动了Metastore服务{runjar就是metastore；hadoop要先启动}可以执行：bin/hive进入到HiveShell环境中，可以直接执行SQL的语句；·创建表（hive里面的字符串就是
%HelloWorld%·2024-01-29 03:09

被一位读者赶超，手摸手 Docker 部署 ELK Stack

支持离线环境部署ELK。支持安装ESik分词器。支持离
程序员xysam·2024-01-29 01:19

docker-compose离线安装

1.官网下载docker-compose文件，要用uname-r看一下自己安装哪个版本docker-composegithub下载地址2.上传到/usr/local/bin目录下3.给予访问权限chmod+x/usr/local/bin/docker-compose4.查看版本号docker-composeversion
LuckyXiaoFan666·2024-01-29 00:34

Hive中left join 中的where 和 on的区别

目录一、知识点二、测试验证三、引申一、知识点leftjoin中关于where和on条件的知识点：多表leftjoin是会生成一张临时表。on后面：一般是对leftjoin的右表进行条件过滤，会返回左表中的所有行，而右表中没有匹配上的数据直接补为null。on后面：如果存在对左表的筛选条件，无论条件真假，仍返回左表中的所有行，只是会影响右表的匹配值。即：on中针对左表的限制条件只会影响右表的匹配内容
爱吃辣条byte·2024-01-28 23:11

数仓-数据安全

文章内容参考：数仓建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地
爱吃辣条byte·2024-01-28 23:41

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[
爱吃辣条byte·2024-01-28 23:40

数仓-数据质量

文章内容参考：数仓建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地。
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC（数据质量监控）常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期，数仓经常会收到集
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据安全治理

一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限（库、表年、字段）闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度：审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估，必要时需要进行链路缩短。数据表的内容一般包括申请人，审批人，节点层级，工单处理内容等
爱吃辣条byte·2024-01-28 23:10

HiveSQL题——用户连续登陆

目录一、连续登陆1.1连续登陆3天以上的用户0问题描述1数据准备2数据分析3小结1.2每个用户历史至今连续登录的最大天数0问题描述1数据准备2数据分析3小结1.3每个用户连续登录的最大天数(间断也算)0问题描述1数据准备2数据分析3小结一、连续登陆1.1连续登陆3天以上的用户0问题描述查询连续登陆3天以上的用户（字节面试题）1数据准备createtableifnotexiststable1(idi
爱吃辣条byte·2024-01-28 23:09

快速了解 Kafka 基础架构

kafka是一款开源、追求高吞吐、实时性，可持久化的流式消息队列，可同时处理在线（消息）与离线应用(业务数据和日志)。在如今火热的大数据时代，得到了广泛的应用。
波罗学·2024-01-28 21:47

Ubuntu官方安装微信——Ubuntu16.04/18.04/20.04/22.04

，本教程适用于Ubuntu16.04/18.04/20.04/22.04安装包下载进入微信下载官网下载微信Linux客户端点击64位下载即可，如果不能下载，使用终端如下命令wgethttp://archive.ubuntukylin.com
HIT_Vanni·2024-01-28 18:32

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

数据湖技术之发展现状篇

首先是随着Hadoop生态相关技术的大量应用，批处理架构应运而生，借助离线计算引擎的能力很好的满足了业务对大规模数据分析处理场景的需求。
风筝Lee·2024-01-28 18:56

iproute 随手记

想要学习iproute请去https://www.zsythink.net/archives/1199讲解的非常好。
kaiyuanheshang·2024-01-28 17:00

win10安装mysql8免安装版

官网地址:link安装mysql解压选择Windows(x86,64-bit),ZIPArchive下载，将会得
迷踪客·2024-01-28 17:57

关于hive 的迁移 之 表结构批量迁移

image.png我们在做数据治理数据仓库的时候，集群数据迁移时必不可少的一项，因为什么呢，比如1刚开始集群搭在亚马逊aws，几十万美金的创业红包用完了，差不多三四个月，2aws的小规模集群也有900TB的数据，迁移到腹黑的阿里云平台，3过几天有人来你公司搞推销，告诉你使用他们阿里云大集团账号上六折折扣，结果迁移到他们的上面，4结果过了半年阿里云开始清查，发现他们的大集团账号违规操作，收回折扣价，
Helen_Cat·2024-01-28 16:44
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他