E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive性能调优
java全栈体系结构-架构师之路(持续更新中)
Java全栈体系结构数据结构与算法实战(已更)微服务解决方案数据结构模型(openresty/tengine)实战高并发JVM虚拟机实战
性能调优
并发编程实战微服务框架源码解读集合框架源码解读分布式架构解决方案分布式消息中间件原理设计模式
云策数据
·
2023-12-16 04:24
Java架构师p5-p7
java
开发语言
Java全栈架构师
Java架构师
Java全栈
Java互联网架构师
Java知识体系
pyspark on yarn
直接下载
hive
组件的客户端配置就可以,它里面包含了hdfs和yarn的配置。如下所示:
[email protected]
骑着蜗牛向前跑
·
2023-12-16 03:34
大数据
pyspark
on
yarn
python
大数据
JVM
性能调优
概述篇面试题讲讲你理解的性能评价及测试指标?(瓜子)生产环境中的问题生产环境发生了内存溢出该如何处理?生产环境应该给服务器分配多少内存合适?如何对垃圾回收器的性能进行调优?生产环境CPU负载飙高该如何处理?生产环境应该给应用分配多少线程合适?不加log,如何确定请求是否执行了某一行代码?不加log,如何实时查看某个方法的入参与返回值?调优基本问题1-为什么要调优?防止出现OOM,进行VM规划和预调
Please Sit Down
·
2023-12-16 02:30
JVM
Java
jvm
段错误详细解读
它具有许多优点,例如安全性、可定制性和可靠性https://fostmar.online/arc
hive
s/173/段错
单丽尔
·
2023-12-16 02:48
算法
数据结构
c++
c#
hive
获取某日期是今年第几天
一、函数:datediff(stringenddate,stringstartdate)求开始和结束时间相差的天数二、举例1:获取2021-08-01为今年的第几天
hive
>selectdatediff
三水青一人尤
·
2023-12-16 00:31
hive
hive
记录
hive
/spark取最新且不为null的方法
听标题可能听不懂我想表达的意思,我来描述一下我要做的事:比如采集同学对某一网站进行数据采集,同一个用户每天会有很多条记录,所以我们要取一条这个用户最新的状态,比如用户改了N次昵称,我们只想得到最后一次修改的结果,但是用窗口函数row_number按时间排序的话,可能最后一条某些字段没采集到,但是之前是有采集到的,所以应该在按时间倒序排的基础上,遇到null值,再往前取,直到所有字段尽可能取到最新的
wxl_winston
·
2023-12-16 00:26
hive
hadoop
数据仓库
ambari
hive
on Tez引擎一直卡住
hive
ontez使用.
dogplays
·
2023-12-16 00:25
hive
ambari
hive
hadoop
Linux(centos, ubuntu) 快速安装anaconda;5秒安装anaconda
示例:wgethttps://repo.anaconda.com/arc
hive
/Anaconda3-20
别出BUG求求了
·
2023-12-15 22:55
linux
linux
centos
ubuntu
大数据学习(一)-------- HDFS
已经有了很多框架方便使用,常用的有hadoop,storm,spark,flink等,辅助框架
hive
,kafka,es,sqoop,flume等。常见应用推荐系统,用户画像等。
大数据流动
·
2023-12-15 21:01
Unity3D -- Unable to read header from arc
hive
file:
问题描述:加载AssetBundle的时候报了Unabletoreadheaderfromarc
hive
file:xxx.问题解析:这里的问题是xxx文件不是AssetBundle文件,所以去查一下加载的文件对不对即可
honey199396
·
2023-12-15 20:55
Unity3D
AssetBundle
archive
file
Ubuntu Server 20.04.6安装Anaconda3
下载安装包去下面的网页找到自己想要安装的对应版本的链接:https://repo.anaconda.com/arc
hive
/我安装的版本链接如下:https://repo.anaconda.com/arc
hive
D-A-X
·
2023-12-15 20:32
环境搭建与配置
ubuntu
linux
Anaconda3
linux文件打包和压缩
7.2文件打包和压缩7.2.1tartar(英文全拼:tapearc
hive
)命令用于备份文件。tar是用来建立,还原备份文件的工具程序,它可以加入,解开备份文件内的文件。
Guff_hys
·
2023-12-15 19:47
服务器
linux
网络
后端
架构
分布式
centos
运维笔记:Linux(CentOS8)免编译安装mysql5.7.33最新版本
最新版本下载参考官方文档:https://downloads.mysql.com/arc
hive
s/community/所有版本的官方安装文档:https://dev.mysql.com/doc/refman
the丶only
·
2023-12-15 19:17
运维笔记
mysql
数据库
linux
centos
运维
spark链接
hive
时踩的坑
使用spark操作
hive
,使用metastore连接
hive
,获取
hive
的数据库时,当我们在spark中创建数据库的时候,创建成功。
YuPangZa
·
2023-12-15 18:00
大数据中踩过的坑
spark
hive
大数据
三步教你轻松安装配置 Linux Anaconda 环境
一、下载安装脚本1.进入Anaconda官网获取下载链接:2.远程拉取安装脚本wgethttps://repo.anaconda.com/arc
hive
/Anaconda3-2023.07-1-Linux-x86
ReturnTmp
·
2023-12-15 17:55
运维笔记
linux
conda
机器学习
大数据基础知识
为了一场紧急考试,没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、
Hive
、Mapreduce、Impala
偶余杭
·
2023-12-15 17:22
【Docker实战】基于Dockerfile搭建LNMP+wordpress
然后对此服务进行相关的
性能调优
和管理工作二、架构:nginx172.111.0.10docker-nginxmysql172.111.0.20docker-mysqlPHP172.111.0.30docker-PHP
koeda1(粉丝冲刺一个亿)
·
2023-12-15 17:45
docker
运维
容器
docker
生活本来可以很安逸,你为什么还要努力学习?
原创:凯恩说蜂巢
HIVE
5天前你为什么要努力学习,是游戏不好玩?还是电影不好看?你今天吃的苦,都是日后脚下的路。不是大学毕业了就不需要学习了,不是有工作了就不需要学习了。
田_52ab
·
2023-12-15 16:50
《JAVA与模式》之观察者设计模式及自定义监听器
本文参考了网上的另外一篇博客:http://www.cnblogs.com/java-my-life/arc
hive
/2012/05/16/2502279.html,描述的较为详细。
Beauxie
·
2023-12-15 15:25
Java基础
java
观察者设计模式
自定义监听器
如何截取
Hive
数组中的前N个元素?
文章目录1、需求描述2、使用索引3、使用posexplode()4、转换为字符串操作1、需求描述需求:截取任意给定数组中的前N个元素,返回截取后的子数组假设我们有如下三种类型的
Hive
数组:selectarray
对许
·
2023-12-15 15:23
#
Hive
#
Hadoop生态圈
hive
第77讲:二进制方式搭建MySQL数据库5.7版本以及错误日志管理
1.二进制安装MySQL5.7版本1.1.下载MySQL5.7版本的二进制文件[root@mysql~]#wgethttps://downloads.mysql.com/arc
hive
s/get/p/23
Jiangxl~
·
2023-12-15 15:53
《MySQL
DBA封神打怪之路》
数据库
mysql
adb
云计算
运维
数据结构
Hive
自定义函数
,单行输出UDAF:多行进入,单行输出UDTF:单行输入,多行输出(explode有类似效果)自定义UDAF实战假设用户表记录工号(empid)名称(name),自然日(date),如果上班就有数据在
hive
数据与后端架构提升之路
·
2023-12-15 15:05
HIve
hive
hadoop
数据仓库
Hive
SQL间隔连续问题
连续问题问题一算过去30天有哪些用户是连续7天登录我们APP的,如何写SQL思路:用rank算出连续编号,然后用日期减去rank编号差值求解SELECTDISTINCTuser_idFROM(SELECTuser_id,login_date,date_sub(login_date,intervalrank()over(partitionbyuser_idorderbylogin_date)day)
数据与后端架构提升之路
·
2023-12-15 15:35
HIve
hive
sql
以csv为源 flink 创建paimon 临时表相关 join 操作
环境:各组件版本如下kyuubi1.8.0flink1.17.1paimon0.5正式版本
hive
3.1.3阅读此文前,需涉及前置的知识点如下kyuubi整合flinkyarnapplication
流月up
·
2023-12-15 15:00
大数据
flink
大数据
csv
paimon
临时表
join
Linux-文件压缩解压
我们常常使用tar将多个文件归档为一个总的文件,称为arc
hive
。然后用gzip或bzip2命令将arc
hive
压缩为更小的文件。tar创建一个tar归档。
努力的布布
·
2023-12-15 15:24
Linux
Linux系统教程
linux
服务器
运维
Python与MySQL交互:MySQL Connector模块(七)
19案例2MySQLConnector模块MySQLConnector是MySQL官方的驱动模块,兼容性好[下载地址](MySQL::DownloadMySQLConnector/Python(Arc
hive
dVersions
try again.
·
2023-12-15 14:10
MySQL
python
mysql
20.
Hive
中的beeline和jdbc(
hive
学习3)
Beeline
Hive
Server2支持一个新的命令行Shell,称为Beeline,它是基于SQLLineCLI的JDBC客户端。
文茶君
·
2023-12-15 14:54
hive
/spark用法记录
1.cast()更改数据类型cast(column_nameastype)2.get_dt_date()自定义日期操作函数(返回不带横线的日期)selectget_dt_date();–获取当前日期,返回20170209selectget_dt_date(get_date(-2));–获取当前日期偏移,转为不带横杆的格式selectget_dt_date(‘2017-02-02’,-2);–201
eight_Jessen
·
2023-12-15 14:17
sql
编程基础
hive
spark
hadoop
opencv学习笔记六十九:人脸识别综合实践
1、下载人脸数据集,典型的有ORL,yale,我这里下载的是ORL人脸数据集,下载网址https://www.cl.cam.ac.uk/research/dtg/attarc
hive
/facedatabase.html
东城青年
·
2023-12-15 14:39
opencv
实时人脸识别
人脸识别综合实践
基于ELK的亿级实时日志分析平台实践
在计算PV、UV的场景下,根据业务需求我们通常以离线方式(MR/
HIVE
)隔天进行报表相关数据生
Sql强
·
2023-12-15 14:55
Hbase
性能调优
client端HTable.setAutoFlush(false)关闭客户端自动刷新HTable.setWriteBufferSize(writeBufferSize)设置HTable客户端的写buffer大小,与上面的参数配合使用。当达到设置的writeBufferSize时,才会触发提交到服务端的请求。(不适合实时读写业务)Put.setWriteToWAL(false)关闭WAL日志客户端向
onwingsofsong
·
2023-12-15 14:51
计算机毕业设计Python+Spark知识图谱微博舆情预警系统 微博舆情分析 微博推荐系统 微博可视化 微博数据分析 微博大数据 微博爬虫 微博预测系统 大数据毕业设计 大数据毕业设计 机器学习
开发框架前端:vue.jselement-ui后端:springbootmybatis中间件:sparkhadoop
hive
flink数据库:mysql关系型数据库neo4j图数据库算法:协同过滤推荐算法
计算机毕业设计大神
·
2023-12-15 12:19
Qt下载地址
下载地址(1)windoes平台Qt的下载与安装:Qt5.15之前的版本可以离线安装,直接下载离线安装包即可:下载地址:https://download.qt.io/arc
hive
/qt/Qt从5.15
临渊慎行
·
2023-12-15 12:35
QT
qt
【基础知识】大数据概述
发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、
hive
、impala
偏振万花筒
·
2023-12-15 12:39
大数据
浅谈ClickHouse性能监控与调优
本文将详细讲解如何监控ClickHouse的性能指标、日志和查询统计信息,以及如何进行故障排查和
性能调优
。一、监控性能指标1.系统表ClickHouse提供了一些内置的系统表,可以用来监控性能指标。
~奔跑的简默~
·
2023-12-15 12:58
ClickHouse系列
clickhouse
大数据
性能优化
CentOS 7 安装&卸载 MySQL 8 详细图文教程
root用户密码8.开启远程访问权限二、如何卸载MySQL一、Mysql安装1.下载Linux版MysqL安装包下载官网:MySQL::DownloadMySQLCommunityServer(Arc
hive
d
Stars.Sky
·
2023-12-15 11:58
MySQL
mysql
centos
数据库
iOS Xcode arc
hive
后没有dsym文件
BuildSettings->BuildOptions->DebugInformationFormat中,选择DWARFwithdSYMFile才会生成符号表文件
达若漠沙
·
2023-12-15 11:45
大数据之
hive
:行列转换系列总结
目录1、行转列(一)主要使用:示例2、列转行(一)示例3、行转列(二)示例4、列转行(二)示例1、行转列(一)主要使用:CONCAT(stringA/col,stringB/col…):返回输入字符串连接后的结果,支持任意个输入字符串;CONCAT_WS(separator,str1,str2,…):它是一个特殊形式的CONCAT()。第一个参数是剩余其他参数间的分隔符。COLLECT_SET(c
浊酒南街
·
2023-12-15 09:28
大数据系列三
hive
hadoop
数据仓库
sql
《PySpark大数据分析实战》-07.Spark本地模式安装
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-15 07:31
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
【
Hive
】
一、
Hive
是什么
Hive
是一款建立在Hadoop之上的开源数据仓库系统,将Hadoop文件中的结构化、半结构化数据文件映射成一张数据库表,同时提供了一种类SQL语言(HQL),用于访问和分析存在Hadoop
想当运维的程序猿
·
2023-12-15 07:23
hive
hadoop
数据仓库
MySQL下载、安装、配置详细教程
系统环境变量配置3.1配置3.2测试1下载官方网址:https://www.mysql.com/跳转到如下页面:按提示操作跳转到这个界面:这里下载5.7.362安装MYSQL官网提供的下载包是zipArc
hive
~无止境
·
2023-12-15 07:20
MySQL
mysql
数据库
mysql 中OPTIMIZE TABLE语句用法详解
这个命令会对MyISAM、InnoDB和ARC
HIVE
存储引擎的表进行操作。
半桶水专家
·
2023-12-15 07:19
数据库
mysql
【
Hive
_01】
hive
关于数据库和表的语法
1、
Hive
常见使用技巧1.1交互式与非交互式1.2
hive
参数配置方式2、DDL数据定义2.1创建数据库(1)创建数据库(2)查询数据库(3)修改数据库(4)删除数据库(5)切换当前数据库2.2表(1
温欣2030
·
2023-12-15 06:12
【大数据】
hive
数据库
hadoop
《PySpark大数据分析实战》-03.了解
Hive
对大数据技术栈Hadoop、
Hive
、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-15 06:42
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
hive
客户机执行sql脚本无法显示表头
hive
客户机执行sql脚本无法显示表头临时跑数在sql脚本前加以下语句set
hive
.cli.print.header=true;日常跑数不想每次跑数前都执行以下1、在home路径下创建.
hive
rc
人生苦短,我爱数据分析
·
2023-12-15 06:37
hive
sql
hadoop
hive
聚合函数之JOIN原理及案例
1.数据准备原始数据创建dept.txt文件,并赋值如下内容,上传HDFS。部门编号部门名称部门位置id10行政部170020财务部180030教学部190040销售部1700创建emp.txt文件,并赋值如下内容,上传HDFS。员工编号姓名岗位薪资部门7369张三研发800.00307499李四财务1600.00207521王五行政1250.00107566赵六销售2975.00407654侯七
Appreciate(欣赏)
·
2023-12-15 06:03
hive
hive
数据仓库
hive
聚合函数之排序
1全局排序(OrderBy)OrderBy:全局排序,只有一个Reduce。(1).使用OrderBy子句排序asc(ascend):升序(默认)desc(descend):降序(2).OrderBy子句在select语句的结尾基础案例实操(1)查询员工信息按工资升序排列select*fromemporderbysal;(2)查询员工信息按工资降序排列select*fromemporderbysa
Appreciate(欣赏)
·
2023-12-15 06:03
hive
hive
hadoop
数据仓库
hive
自定义函数及案例
一.自定义函数1.
Hive
自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。
Appreciate(欣赏)
·
2023-12-15 06:03
hive
hive
数据仓库
【
Hive
_02】查询语法
1、基础语法2、基本查询(Select…From)2.1全表和特定列查询2.2列别名2.3Limit语句2.4Where语句2.5关系运算函数2.6逻辑运算函数2.7聚合函数3、分组3.1GroupBy语句3.2Having语句3.3Join语句(1)等值与不等值Join(2)表的别名(3)内连接(4)左外连接(5)右外连接(6)满外连接(7)多表连接(8)笛卡尔集(9)联合(union&unio
温欣2030
·
2023-12-15 06:53
【大数据】
hive
hadoop
数据仓库
hive
常用SQL函数及案例
1函数简介
Hive
会将常用的逻辑封装成函数给用户进行使用,类似于Java中的函数。好处:避免用户反复写逻辑,可以直接拿来使用。重点:用户需要知道函数叫什么,能做什么。
Appreciate(欣赏)
·
2023-12-15 06:50
hive
hive
sql
hadoop
上一页
48
49
50
51
52
53
54
55
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他