数据仓库（hive）

hive 配置metastore hiveserver2服务开启

安装mysqlcreatedatabasemetastore;配置hivehive-site.xml:javax.jdo.option.ConnectionURLjdbc:mysql://hadoop102
赤土 炙焱·2023-12-25 12:50

用户没有权限操作hadoop User: wu is not allowed to impersonate wu (state=08S01,code=0)

Error:CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://ubuntu:10000:Failedtoopennewsession:java.lang.RuntimeException
赤土 炙焱·2023-12-25 12:50

hive日常报错 | 处理步骤

报错首先，hive最基本的查询语句运行报错了：Causedby:java.net.ConnectException:Yourendpointconfigurationiswrong;Formoredetailssee
赤土 炙焱·2023-12-25 12:50

spark 连接 hive 报错 Identifier principalName is unresolved (not a static field)

spark连接hive的mysql元数据库metastore，不能直接访问，需要通过metastoreserver间接访问因此需要开启元数据服务修改hive-site.xml配置    hive.metastore.uris
赤土 炙焱·2023-12-25 12:20

Rocksdb sst_dump工具的安装和使用

系统安装找到rocksdb仓库：Releases·facebook/rocksdb·GitHub找到对应版本的二进制，比如：https://github.com/facebook/rocksdb/archive
Mint6·2023-12-25 12:03

【美团大数据面试】大数据面试题附答案

TopN求法，大数据量无法完全写入内存解决方案，MapReduce实现方法7.spark部署、调度原理8.spark的stage划分方法9.reducejoin执行过程10.大数据量join优化方法11.hive
话数Science·2023-12-25 11:19

深入理解ASP.NET的内部运行机制

IIS：http://www.cnblogs.com/panchunting/archive/2013/04/11/ASPNET_Architecture.html管道事件：http://blog.csdn.net
MsdnWoo·2023-12-25 11:18

（三）hive学习笔记——1.1hive入门

（三）hive学习笔记——1.1hive入门1.Hive介绍2.Hive的安装3.Hive数据的存储4.配置安装mysql5.配置Hive元数据保存到mysql中6.元数据的结构7.jdbc连接hive8
我是菜鸟程序员·2023-12-25 11:01

Spark 学习笔记——001【spark-mysql+spark-hive】

在本地提交spark-submitspark-sql窗口的进入./spark-sql--masterlocal[4]--jars/home/hadoop/software/mysql-connector-java-5.1.27-bin.jar\--driver-class-path/home/hadoop/software/mysql-connector-java-5.1.27-bin.jarsp
冰冷热带鱼·2023-12-25 11:01

数据处理演进：EtLT崛起，ELT正在告别历史舞台

虽然Hadoop时代主要依赖ELT（Extract、Load、Transform）方法，但实时数据仓库和数据湖的兴起使得ELT变得过时。EtLT已成为将数据实时加载到数据湖和实时数据仓库的标准架构。
涤生大数据·2023-12-25 10:00

Hive-DDL详解（超详细）

文章目录前言HiveQL的数据定义语言（DDL）1.创建数据库2.切换到指定数据库3.创建表格(1)基本形式:(2)示例:4.查看表格结构5.删除数据库和表格(1)删除数据库:(2)删除数据表:总结前言本教程将介绍
大数据魔法师·2023-12-25 10:26

【Flink SQL API体验数据湖格式之paimon】

前言随着大数据技术的普及，数据仓库的部署方式也在发生着改变，之前在部署数据仓库项目时，首先想到的是选择国外哪家公司的产品，比如：数据存储会从Oracle、SqlServer中或者Mysql中选择，ETL
以茉萱·2023-12-25 08:01

Centos7 安装swoole扩展

安装环境centos7.2php7.2.51、下载安装包下载地址https://github.com/swoole/swoole-src/archive/v2.0.6.tar.gz$sudowgethttps
萧格·2023-12-25 08:06

223页10万字大数据中心总体架构及数据仓库顶层设计解决方案WORD

提供智慧城市、智能制造、数据治理、信息化等领域的系统框架、总体架构、数据流架构资料，包括数据治理、信息化、精益生产改善知识。本文文档69页，因篇幅限制，以下仅展示部分资料，需要完整资料，点击右上角红色按钮关注+私信，喜欢文章，欢迎转发评论点赞。本文引用资料来源于网络，侵权立删。更多内容，查看公众号：智慧方案文库。目录第1章 概述第2章 数据中心建设原则第3章 数据中心
智慧方案文库·2023-12-25 08:23

在windows笔记本中安装tensorflow1.13.2版本的gpu环境2

1.1Anaconda安装1.2tensorflow-gpu安装1.3python编译器-pycharm安装1.1Anaconda安装从镜像源处下载anaconda，地址：Indexof/anaconda/archive
bug生成中·2023-12-25 06:43

Qt Creator可视化交互界面exe快速入门1

Qt的安装链接：Indexof/archive/qt5.14版本之前都是可以直接离线安装，即下载完整安装包之后在本地安装。最新及5,15版本之后的都不支持直接的离线安装了，需要通过下载器来进行安装。
bug生成中·2023-12-25 06:43

西电数据挖掘实验三 关联规则挖掘 投票记录

1.实验内容1、数据来源http://archive.ics.uci.edu/ml/datasets/Congressional+Voting+Records2、使用Apriori算法，支持度设为30%
oges·2023-12-25 06:43

hive行转列、列转行

selectcol1,col22fromtable1lateralviewexplode(col2)tmp_tblascol22处理后可得数据：col1col22a1aa1b语法解释：EXPLODE(col)：将hive
山上的小竹子·2023-12-25 06:59

【大数据】数据仓库之模型层和ETL介绍

概述ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。分层的作用STG层在维度建模阶段已经确定了源系统，而且对源系统进行了数据评估。
summer108·2023-12-25 06:06

Linux中安装Maven3.6.1

下载maven安装包首先需要切换到自己需要安装的目录我自己是把配置都放到了：/usr/local/maven路径下cd/usr/local/maven下载maven安装包：wgethttps://archive.apache.org
枸杞配码·2023-12-25 05:50

Hive的视图和索引

Hive的视图和索引1、HiveLateralView1、基本介绍LateralView用于和UDTF函数（explode、split）结合来使用。
新鲜氧气·2023-12-25 03:03

经验杂谈——CUDA以及CUDNN安装配置（WIN10为例）

NVIDIA控制面板右键如同所示：2.我们将看见控制面板的主页点击帮助3.显示如下，点击组件我们可以看见该显卡支持CUDA最高版本号二.此时已知该显卡支持的最高版本号，进入官网下载CUDAToolkitArchive
小小杨树·2023-12-25 02:10

Mac安装配置MySQL

1.MySQL->MySQLCommunityServer然后SelectOperatingSystem:macOS选择macOS11(x86,64-bit),DMGArchive文件下载2.打开刚下载的
涓涓细流汇聚成海·2023-12-24 23:00

大数据学习笔记——数据仓库hive重要的总结

1、外部表和内部表Hive表分为两类，即内部表和外部表。
新宿一次狼·2023-12-24 23:27

大数据高级开发工程师——Hive学习笔记（3）

文章目录Hive提高篇Hive的使用Hive的常用函数1.系统内置函数2.数值计算取整函数:round向下取整函数:floor向上取整函数:ceil向上取整函数:ceiling取随机数函数:rand3.
讲文明的喜羊羊拒绝pua·2023-12-24 23:26

Hive学习笔记（一）—— Hive的入门

文章目录Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据存储位置1.4.3数据更新1.4.4
Alienware^·2023-12-24 23:56

【Hadoop学习笔记】（二）——Hive的原理及使用

一、Hive概述Hive是一个在Hadoop中用来处理结构化数据的数据仓库基础工具。
wanger61·2023-12-24 23:25

四、Hadoop学习笔记————各种工具用法

hive基本hql语法Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如
weixin_30528371·2023-12-24 23:25

Hive学习笔记（1）——Hive原理初探

文章目录前言一、hive的特点二、hive体系架构及基本原理三、Hive的存储四、总结前言相信大家通过学习MapReduce，已经认识到hadoop利用多台廉价机器集群进行并行计算的优势，了解了HDFS
Zhou.Y.M·2023-12-24 23:55

Hadoop基础学习十一（hive语法）

文章目录1.map阶段2.reduce阶段3.where2.join3.groupby4.orderby5.sortby6.if（判断条件，成立的返回值，否则的返回值）7.casewhenxxthenyyelsezzend8、函数1）split2）concat_ws3）datediff4）concat5）向下取整函数floor6）日期增加函数date_add7）类型转换函数cast8）explod
一只小呆呆·2023-12-24 23:55

学习笔记Hive（一）—— Hive简介

一、Hive设计思想（了解）Facebook用户社交数据存储与处理Facebook是美国的一个社交网站，于2004年2月4日上线。主要创始人为美国人马克·扎克伯格。
别呀·2023-12-24 23:55

【Hive笔记】1——Hive入门

1.什么是Hivehive是由Facebook开源用于解决海量结构化日志的数据统计Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供sql查询功能。
sdut菜鸟·2023-12-24 23:55

Hadoop学习笔记（17）Hive的数据类型和文件编码

一、Hive的常用内部命令1、有好几种方式可以与Hive进行交互。此处主要是命令行界面（CLI）。
柏冉看世界·2023-12-24 23:24

Hive学习笔记 —— Hive的数据类型

Hive本质上是一个数据库，可以创建表，表有列组成，而列支持的主要类型有：基本数据类型、复杂数据类型、时间数据类型。
慢行慢行·2023-12-24 23:24

大数据从入门到精通(超详细版)之Hive的分区表，带你理解Hive当中的高阶玩法！！！

前言嗨，各位小伙伴，恭喜大家学习到这里，不知道关于大数据前面的知识遗忘程度怎么样了，又或者是对大数据后面的知识是否感兴趣，本文是《大数据从入门到精通（超详细版）》的一部分，小伙伴们如果对此感谢兴趣的话，推荐大家按照大数据学习路径开始学习哦。以下就是完整的学习路径哦。↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓大数据从入门到精通文章体系！！！！！！！！！！！！！！↑↑↑↑↑↑↑↑↑↑
木 木 水.·2023-12-24 23:52

测试工程师常见面试题（高级）

4、什么是数据仓库？数据仓库测试应该考虑什么？以及如何进行数据仓库的测试？5、flink是什
打了鸡血的点狗·2023-12-24 22:25

数据仓库-IP段关联计算优化-从优化原理到优化手段一一道来

为什么要优化？营销活动指标体系需要用日志数据进行多维度分析，其中一个维度就是通过IP段获取到用户的所属地域进行分析，但IP段与其它字段的映射方式不同，IP段是一个范围，关联时是一对多关系，在资源集中使用时段，1万左右的数据量的耗时可达一小时以上，严重影响指标的及时性，所以要进行优化，来解决任务耗时高的问题。优化手段1减少参与计算的数据量当前IP表中记录总数为772845条，但中国所使用的IP段仅有
高阳很捷迅·2023-12-24 19:46

hive tez出现java堆内存溢出进行调优

运行hive任务的时候出现了错误，日志如下：ERROR:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.tez.TezTask.Vertexfailed
旺旺_865f·2023-12-24 17:36

Start kafka connect

启动kafkabroker先下载从官网下载kafkaconsole包，wget"https://archive.apache.org/dist/kafka/0.11.0.1/kafka_2.12-0.11.0.1
yehongyu_2018·2023-12-24 17:50

【Hive_04】分区分桶表以及文件格式

1.1分区表基本语法（1）创建分区表（2）分区表读写数据（3）分区表基本操作1.2二级分区1.3动态分区2、分桶表2.1分桶表的基本语法2.2分桶排序表3、文件格式与压缩3.1Hadoop压缩概述3.2Hive
温欣2030·2023-12-24 16:41

十八、本地配置Hive

1、配置MYSQLmysql>alteruser'root'@'localhost'identifiedby'Yang3135989009';QueryOK,0rowsaffected(0.00sec)mysql>grantallon*.*to'root'@'%';QueryOK,0rowsaffected(0.00sec)mysql>flushprivileges;QueryOK,0rowsaf
弦之森·2023-12-24 16:40

控制map个数与性能调优参数

本文转自：涤生手记本系列几章系统地介绍了开发中Hive常见的用户配置属性（有时称为参数，变量或选项），并说明了哪些版本引入了哪些属性，常见有哪些属性的使用，哪些属性可以进行Hive调优，以及如何使用的问题
xuanxing123·2023-12-24 13:13

Hive分区表简介

Hive中的分区表分为两种：静态分区和动态分区。1.静态分区:可以根据PARTITIONEDBY创建分区表，一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。
K_un·2023-12-24 12:39

Hive优化(十三)-小文件进行合并

小文件进行合并在Map执行前合并小文件，减少Map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat没有对小文件合并功能。
bigdata张凯翔·2023-12-24 12:08

电商数仓项目----笔记五(数仓架构和建模)

ODS：数据源DWD：加工数据DWS：统计数据ADS：分析数据DIM：维度层（大家都有可能用得上的部分）ER模型数据仓库之父BillInmon提出的建模方法是从全企业的高度，用实体关系（EntityRelationship
zmx_messi·2023-12-24 11:35

基于Hue，Dolphinscheduler，HIVE分析数据仓库层级实现及项目需求案例实践分析

目录一、数仓各个层级及作用1，ODS层（OperationDataStore-源数据层）2，DW层（DataWarehouse-数据仓库层）(1)DWD(DataWarehouseDetail-明细数据层
Len°·2023-12-24 11:32

《PySpark大数据分析实战》-04.了解Spark

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-06.安装环境准备

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-02.了解Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:02
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他