大数据-HIVE 第36页

如何进行有效的Shopee新店选品

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分

duoduocanmou·2024-02-05 14:56

【大数据面试题】002 Flink 如何实现 Exactly-Once 语义

一步一个脚印，一天一道大数据面试题。在流式大数据处理框架中，Exactly-Once语义对于确保每条数据精确地只被消费一次（避免重复读取和丢失读取）非常重要。

Jiweilai1·2024-02-05 13:54

如何在Shopee平台上进行手机类目选品？

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分析、行业大盘

duoduocanmou·2024-02-05 13:54

在工业制造方面，如何更好地实现数字化转型？

3.数据分析和大数据：利用先

weixin_50515446·2024-02-05 13:52

工作流调度器azkaban(一) 简介与安装部署

为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划

做个合格的大厂程序员·2024-02-05 13:11

【原创文集】+弯道超越

大数据工程学院+18物联本+代跃谁都想走笔直大道，但世上没有永远的笔直大道，只要你一直往前走，你就避免不了遇到坡道和弯路。

无忧_a746·2024-02-05 13:01

三维可视化助力船舶制造：大数据处理、实时协作更高效！

随着科技的不断发展，船舶制造行业也在不断寻求创新和提高效率的途径。其中，HOOPS技术作为一种先进的三维可视化和工程协作技术，正逐渐成为船舶制造领域的关键工具。本文将深入探讨HOOPS技术在船舶制造行业的应用，探讨其带来的优势和创新。HOOPS中文网http://techsoft3d.evget.com/一、HOOPS技术概述HOOPS技术是一种由TechSoft3D公司开发的三维图形库，具有高性

慧都科技3D·2024-02-05 13:00

flask_django_python五金电商网络营销的可视化分析研究

而Python语言也是比较受欢迎，尤其是在人工智能和大数据领域有着广泛的应用。特别是Python的第三方库，让人们能够通过简单的代码解决更

QQ_402205496·2024-02-05 13:58

2021-10-26晨间日记

开卷有益-学习/读书/听书正在读《大数据时代》，开卷读书，闭卷写所得。好习惯打卡早起锻炼，日

混元通灵·2024-02-05 12:22

Linux shell脚本超详细安装mysql

/bin/bash#自动化脚本安装mysql#本文使用的是wget下载mysql包#官方mysql下载的地址：https://downloads.mysql.com/archives/community

蓝颜～岁月·2024-02-05 12:04

大数据时代的主旋律传播毛泽东思想

在当前大数据时代，高校学生学习科研、社会交往以及日常生活的思想行为都已高度网络化、数字化和虚拟化，传统单向度教育方式和经验性管理模式已经难以适应网络信息社会的发展要求。

能_fac6·2024-02-05 11:57

SQL Parser

https://blog.csdn.net/w1047667241/article/details/123110220alibabadruid经过不断迭代，已经解决了很多hive解析的bug，比如2020

TaiKuLaHa·2024-02-05 11:27

ssm/php/node/python智能医院app

智能医院app是一种结合了互联网、大数据、人工智能等技术的医疗服务平台，旨在为患者提供便捷、高效、个性化的医疗服务。通过智能医院app，患者可以随

花花程序设计·2024-02-05 11:54

ssm/php/node/python智慧医疗app

智慧医疗是指通过运用现代信息技术，如大数据、云计算、物联网等，对医疗健康领域的各个环节进行深度融合和创新，实现医疗服务的智能化、个性化和高效化。在这个背景下，智慧医

乐乐程序设计·2024-02-05 11:53

【Elasticsearch】从入门到精通

目前java常见的针对大数据存储的方案并不多，常见的就是mysql的分库分表、es存储这里偏向es存储方案，es不同的版本之间其实差异还挺大的，本篇博文版本Elasticsearch7.14.0Springboot

暮色里de白雪檐·2024-02-05 11:47

HIVE经验汇总

```sql--一日期计算和转换--1.1系统时间SELECTSYSDATE--2021-01-27DATE,SYSTIME--18:01:57,SYSTIMESTAMP--2021-01-2718:01:57DATE,current_date--2020-05-14DATE,current_timestamp--2020-05-1410:26:57.613FROMSYSTEM.DUAL;--1.

长江中下游程序猿·2024-02-05 10:28

【hive日期函数】hive常用日期函数+扩展

日期函数1、from_unixtime：转化unix时间戳到当前时区的时间格式selectfrom_unixtime(1641044052,'yyyyMMdd');--输出：202201012.unix_timestamp：转换到UNIX时间戳--当前时间selectunix_timestamp();--输出：1665803372--yyyy-MM-ddHH:mm:ss日期selectunix_t

呱呱呱i·2024-02-05 10:28

hive 日期函数

目录hiveoutlinehive日期函数格式化时间函数：date_format获取当前日期:current_date获取当前时间戳:current_timestamp2011-12-0713:01:03

塞上江南o·2024-02-05 10:58

海豚dolphinscheduler-shell 执行hivesql任务 Permission denied 异常

一、dolphinscheduler执行shell处理hsql任务时出现没有访问权限关键异常：/tmp/dolphinscheduler/hive.log(Permissiondenied)java.io.FileNotFoundException

潘永青·2024-02-05 10:58

hive code 143

ExaminingtaskID:task_1468807885116_444914_r_000469(andmore)fromjobjob_1468807885116_444914ExaminingtaskID:task_1468807885116_444914_r_000490(andmore)fromjobjob_1468807885116_444914Taskwiththemostfailu

qq_24761901·2024-02-05 10:27

【hive 日期函数大全】Hive常用日期函数整理史上最全

【hive日期函数大全】Hive常用日期函数整理注意：1)hive没有to_char函数2)HIVE日期函数只识别年-月-日不能识别年-月，所以处理月份的时候需要特殊处理1)hive字符创拼接:CONCAT

数仓大山哥·2024-02-05 10:57

hive日期格式转换

固定日期转换成时间戳selectunix_timestamp('2022-05-09','yyyy-MM-dd') ;selectunix_timestamp('20220509','yyyyMMdd') ;selectunix_timestamp('2022-05-09T10:02:41Z',"yyyy-MM-dd'T'HH:mm:ss'Z'");16/Mar/2022:12:25:01+080

chimchim66·2024-02-05 10:26

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录

Sisi525693·2024-02-05 10:26

Hive drop 事务表报错 flushing changes to datastore

13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException

AdamShyly·2024-02-05 10:54

2024-02-04（hive）

1.Hive中的分区表可以选择字段作为表分区。分区其实就是HDFS上的不同文件夹。分区表可以极大的提高特定场景下Hive的操作性能。

陈xr·2024-02-05 10:54

hive表加字段

cascade3.使用场景1.给表添加字段altertabledatabase.tablenameaddcolumns(字段名字段类型comment'字段中文含义')cascade;2.为什么使用cascade在Hive

王一1995·2024-02-05 10:22

2020实体书店销售统计数据

据中金易云大数据平台实时监控的数据，今年上半年，实体书店图书销售码洋同比去年上半年下降了31.47%，为40.39亿，动销品种同比下

爆江·2024-02-05 10:27

优化总结

这也不难理，为什么在无去重需求下，使用UNIONALL而不是UNION2)DISTINCT替代方式GROUPBY：优化原理：我们先说下为什么大数据集下先GROUPBY再COUNT的效率要优于直接COUNT

xuanxing123·2024-02-05 09:13

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

1.业务场景与现状趣头条是一家依赖大数据的科技公司，在2018-2019年经历了业务的高速发展，主App和其他创新App的日活增加了10倍以上，相应的大数据系统也从最初的100台机器增加到了1000台以上规模

阿里云技术·2024-02-05 09:29

SparkSql读取外部Hql文件的公共类开发

SparkSql读取外部Hql文件的公共类开发SparkSQL与Hive的区别简介一、什么是SparkSQL？

岁月的眸·2024-02-05 09:27

在 CDH 中调优 Apache Hive on Spark

Spark上的Hive在提供相同功能的同时提供比MapReduce上的Hive更好的性能。在Spark上运行Hive不需要更改用户查询。

海阔天空&沫语·2024-02-05 09:27

大数据-Spark调优（一）

海恋北斗星·2024-02-05 09:29

大数据笔记--Spark（第五篇）

目录一、Spark的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景，用mapPartitions代替map5、避免使用collect二、Spark的共享变量1、广播变量2、计数器三、VSM算法1、什么是倒排索引表？2、什么是相似度的概念？3、什么是TF-IDF算法4、VSM算法Ⅰ、概念Ⅱ、算法原理Ⅲ、举例一、Spark的调优1、更改序列化为kryoSpark

是小先生·2024-02-05 09:59

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1

王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算、机器学习、图算法组件部署：Hadoop的yarn框架调度、单独部署等等Spark主要语言：Scala（scalable可扩展）：多范式编程语言（面向对象、函数式编程）兼容Java可以运行在JVM，

monster++·2024-02-05 09:28

ubuntu20之ROS-noetic的qt插件安装

然后把过程记录一下以免自己最后忘记1、qt5.9.9的安装：https://download.qt.io/archive/qt/5.9/5.9.9/下载完后在改文件夹打开终端，输

学习我是拒绝的·2024-02-05 09:56

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-05 08:54

kafka基本原理

一、kafka概述1、定义kafka是一个分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理灵越2、消息队列【1】应用场景用于异步、削峰、解耦【2】两种模式（1）点对点模式一对一，消费者主动拉取数据

会飞的大鱼吃小鱼·2024-02-05 08:59

大学生搜题用这三款神器就够了!!! #经验分享#经验分享#媒体

大学生必备，这条笔记大数据一定定要推给刚上大学的学弟学妹！！1.WolframAlphaWolframAlpha堪称“数学解题神器”！

学习93398·2024-02-05 08:23

flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive

简介为了实现hive,trino等组件实时查询hudi表的数据，可以通过使用Hivesync。在Flink操作表的时候，自动同步Hive的元数据。

阿华田512·2024-02-05 08:46

建筑工程答案在哪搜？九个免费好用的大学生搜题工具 #经验分享#知识分享

大学生必备，这条笔记大数据一定定要推给刚上大学的学弟学妹！！1.七燕搜题这是一个公众号解题步骤详细解析，帮助你理解问题本质。其他考试领域也能找到答案。

奔跑sdgfg·2024-02-05 07:18

abap实现大数据-echar调用

abap实现大数据-echar调用前言一、echart代码获取二、abap实现1.定义HTML控件2.构建option3.完整ABAP代码总结前言最近做了个bw+smartbi项目，smartbi虽然好

小猿的hello World·2024-02-05 07:03

Hive与PrestoSQL中的并列列转行

并列列转行1、背景描述2、Hive实现3、PrestoSQL实现1、背景描述通常我们在处理数据时，如果遇到一个字段存储多个值，常常需要把一行数据转换为多行数据，形成标准的结构化数据例如，将下面的两列数据并列转换为三行

对许·2024-02-05 07:27

azkaban编译时报错的解决方案

大数据单机学习环境搭建(11)Azkaban单机部署，关于Azkaban和gradle下载，本文编译不限于单机solo模式。

赫加青空·2024-02-05 07:53

Python调用pyspark报错整理

前言Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接Pycharm执行的脚本执行如下

赫加青空·2024-02-05 07:52

Java开发基础环境的搭建

JDK各版本下载：https://www.oracle.com/technetwork/java/javase/archive-139210.htmlJDK(JavaDevelopmentKit)是整个

重庆淡静·2024-02-05 07:18

3.0 Hadoop 概念

Hadoop整体设计Hadoop框架是用于计算机集群大数据处理的框架，所以它必须是一个可以部署在多台计算机上的软件。部署了Hadoop软件的主机之间通过套接字(网络)进行通讯。

二当家的素材网·2024-02-05 06:38

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方

码农心语·2024-02-05 06:36

14岁的男孩说想学生信，应该给予哪些指导？

现今大数据当道，生信分析也似乎是很多医学或生物科研工作者的一把剑，上可问道—分析实验数据发篇大文章，下可修枝裁芽—处理日常数据来个小美化。而从理论到实践的noerror总是“路漫漫其修远兮”。

生信宝典·2024-02-05 06:57

基于Vue+node.js的宿舍管理系统的设计与实现--80331(免费领源码、附论文）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、全套文

node.js宿舍管理系统摘要信息化社会内需要与之针对性的信息获取途径，但是途径的扩展基本上为人们所努力的方向，由于角度存在偏差，人们经常能够获取不同类型的信息，这也是技术最为难以攻克的课题。针对宿舍管理系统等问题，对宿舍管理系统进行研究分析，然后开发设计出宿舍管理系统以解决问题。宿舍管理系统主要功能模块主要包括管理员和学生用户及宿管人员三大模块的实现，主要实现功能模块有：系统用户管理、宿舍楼信息

vx_BS81330·2024-02-05 06:39

推荐频道

大数据-HIVE