spark更改分区

Hive 查看partition 以及msck 修复分区

checktable的partitionhive>showpartitionstable_name;如果是外部表，不小心把表给删除了，可以适用下命令重新关联表和数据[MSCKREPAIRTABLE]全量修复分区
dgsdaga3026010·2025-01-18 17:48

HIVE合并小文件

8.分区分桶，合并小文件为什么小文件需要合并？
难以触及的高度·2025-01-18 16:12

Vue+ArcGIS API for JS实现地图邮编分区以及定位的区域高亮

前言最近公司开发国际物流系统，如果使用国内地图，类似百度，腾讯，高德地图，那么国外的地理信息不会那么全，而且获取邮编api只对国内生效，所以考虑使用esri公司的arcgis地图，但是这个地图在国内社区并不完善，踩过很多坑，在网上也找不到相关的解决办法。在此分享给需要做类似需求的小伙伴，希望能帮到大家。官网：https://www.esri.com/zh-cn/arcgis/products/de
小伙伴123456·2025-01-18 13:46

在RuoYi若依中生成代码并自定义功能

目录一、代码生成的三层架构二、页面内容2.1下拉列表2.2自定义表单和表格三、数据传递3.1页面传值给后台3.2后台传值给页面四、业务逻辑4.1减少访问4.2功能：更改序号-逻辑五、数据访问5.1带上@
阿符阿·2025-01-18 13:45

android原生乐视made,乐视Pro3 lineage16 安卓9.0 极致省电 纯净原生 完美root Xposed 经典版...

乐视Max2和Pro3支持PT项目，也就是说必须刷入支持PT版本TWRP后Vendor分区才可以正常启动LOS16.0特色介绍源于lineage16.0最新源码制作，稳定靠谱默认添加开机语音中文，时区为正常北京超级纯净
小6加油·2025-01-18 12:12

lineage os android 9,LineageOS 16.0 发布，基于 Android 9

通过对StylesAPI进行一些细微更改，它现在与Android中最终成为默认实现
哈里叔叔·2025-01-18 12:12

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

在pyspark中保存rdd的内存到文件的时候，会遇到文件夹已经存在而失败，所以如果文件夹已经存在，需要先删除。搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

Jetson Nano部署TensorRT加速的YOLO V8

JetsonNano部署YOLOV8刷JetPack镜像Step1：格式化SD卡Step2：下载镜像文件Step3：烧录镜像文件Python环境配置Solution1：更改默认的Python环境Solution2
Hylan_J·2025-01-18 04:43

python捕获异常

try:name="aaa"id="aaa"exceptExceptionase:print("任务报错")print(str(e))print(str(traceback.print_exc()))spark.sql
青云游子·2025-01-18 02:58

Spark任务提交流程

当包含在applicationmaster中的spark-driver启动后，会与资源调度平台交互获取其他执行器资源，并通过反向注册通知对应的node节点启动执行容器。
尘世壹俗人·2025-01-18 01:21

spark读取、写入Clickhouse以及遇到的问题

最近需要处理Clickhouse里面的数据，经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。具体Clickhouse的讲解本篇不做讲解，后面专门讲解这个。
Alex_81D·2025-01-18 01:18

linux系统安全配置教程和安全基线核查教程

文章目录root用户远程登录限制更改ssh默认端口设置安全的用户口令策略设置安全的用户锁定策略登录超时安全设置应用安装运行策略系统日志审计策略设置history时间戳远程连接安全配置恶意代码防范：日志外发配置日志留存设置正确配置防火墙或安全组
o你的昵称o·2025-01-17 23:58

2011寒假-数据库学习笔记

第一课:数据库类型1.1平面文件适用于:1，数值小且简单2，数值不经常变化3，希望能够使用简单的文本编辑器来更改数值4，希望保存以前数值的简单历史清单,5，希望使用工具快速比较两个文件例如:INI文件(
weixin_33967071·2025-01-17 21:14

2024年最新Python：Page Object设计模式_python page object，BTAJ大厂最新面试题汇集

知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
m0_60707708·2025-01-17 20:36

Windows的Redis查看自己设置的密码并更改设置密码

查看密码由于我的Redis安装很久了，所以忘记是否有设置密码，查看步骤如下：启动redis，启动流程可以看这篇文章：https://blog.csdn.net/changyana/article/details/127679871在redis安装目录下打开redis-cli.exe，一般在同级目录下：输入configgetrequirepass可以看到第2行的返回值为空，所以表示自己没有设置密码。
ChangYan.·2025-01-17 20:03

Python操作字节流中的Excel文档

Python能够轻松地从字节流中加载文件，在不依赖于外部存储的情况下直接对其进行读取、修改等复杂操作，并最终将更改后的文档保存回字节串中。
·2025-01-17 20:41

2024年总结：大转向

职业转向今年我在职业上尝试做了一个转向，具体的结果可能需要比较长的时间来检验我选择是否正确，所以转向的细节我就不全部展开了，可以确定是我依然会专注在Infra和BigData，比如今年我发布了SparkSQL
·2025-01-17 20:11

Java爬虫——使用Spark进行数据清晰

1.依赖引入  org.apache.spark  spark-core_2.13  3.5.3 org.apache.spark spark-sql_2.13 3.5.32.数据加载从MySQL数据库中加载
Future_yzx·2025-01-17 20:59

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在
大模型大数据攻城狮·2025-01-17 19:56

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop、Spark
_Jordan·2025-01-17 16:56

Java 大视界 -- Java 开发 Spark 应用：RDD 操作与数据转换

ApacheSpark是一个强大的分布式计算框架，提供了高效的数据处理能力，广泛应用于大数据分析与机器学习。Spark提供了多种高级API，支持批处理和流处理。
一只蜗牛儿·2025-01-17 12:26

uniapp——差量编译

在传统的编译过程中，如果源代码发生任何更改，整个项目或者大量相关的文件可能需要重新编译，即使只有一小部分代码发生了变化。这种方式在大型项目中会导致较长的编译时间。差量
modaoshi51991·2025-01-17 12:52

kafka直接对接nginx

flume把日志文件发送该kafka，flume作为生产者，但是这种方式的缺点就是可能效率会比较慢，除此之外还可以使用kafka直接对接nginx，nginx作为生产者，把log日志直接对接到kafka的某些分区中
Lu_Xiao_Yue·2025-01-17 10:04

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

使用SQL和事务将表中数据复制到另外表中，删除旧数据

提交或回滚事务：根据操作结果决定是否提交更改或者回滚。示例代码（以SQLServer为
Daniel的万事通杂货铺·2025-01-17 07:40

如何用PostgreSQL SQL和事务将一张表中数据复制到另外一张相同的表，然后删除旧数据

提交或回滚事务：根据操作结果决定是否提交更改或者回滚。示例代码（以Pos
Daniel的万事通杂货铺·2025-01-17 07:40

postsql rollback实例

在PostgreSQL中，ROLLBACK语句用于撤销当前事务中的所有更改。
Daniel的万事通杂货铺·2025-01-17 07:40

大数据框架之kafka详解

2Kafka的消息系统语义3Kafka生产过程分析3.1写入方式3.2分区（Partition）3.3副本（Replication）3.4Producer写入流程3.5消费者组3.6消费方式扩展：纠删码技术
xingchensuiyue·2025-01-17 06:30

swap分区扩容操作

文章目录1.基本介绍2.swap分区的增删2.1扩充swap分区（常用）方法一：通过swap分区文件扩充swap空间方法二：通过传统分区增加swap空间2.2缩减swap分区方法一：通过swap分区文件缩减
不屈的铝合金·2025-01-17 05:28

【MySQL】InnoDB引擎

之前在写存储引擎的时候只是简单的介绍了下引擎是干什么的以及一些引擎的特点,这篇重点包括InnoDB引擎的逻辑存储结构,架构,事务原理和MVCC文章目录1.逻辑存储结构2.架构2.1内存结构2.1.1缓冲池2.1.2更改缓冲区
星鸦wyk·2025-01-17 05:24

oracleADG增加备库，由一主一从变为一主多从

oracleADG增加备库新增备库主机：192.168.66.44主机名：dgdsid：orcl网络别名：orcl_sd下文中称之为“备2”1，更改现在的主备文件hosts文件，tnsnames.ora
小渣渣呦·2025-01-17 05:52

ZAB 和 Paxos 算法的联系与区别？思维导图 代码示例（java 架构)

解决拜占庭将军问题：尽管Paxos主要针对非拜占庭故障（如网络分区或节点崩溃），但两者都旨
用心去追梦·2025-01-17 05:51

Kafka介绍

消费者可以订阅一个或多个主题，并从每个主题的分区
Zero_pl·2025-01-17 04:43

CDP中的Hive3之Hive Metastore（HMS）

Impala、Spark、Hive和其他服务共享元存储。与HMS的连接包括HiveServe
对许·2025-01-17 02:31

【YashanDB知识库】Hive 命令工具insert崖山数据库报错

【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，初始化所有的原数据表和数据新建表之后，插入数据时候报错，hadoopcode30041
·2025-01-17 00:46

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

Apache PAIMON 学习

新一代实时数据湖技术，ApachePAIMON兼容ApacheFlink、Spark等主流计算引擎，并支持流批一体化处理、快速查询和性能优化，成为加速AI转型的重要工具。
潇锐killer·2025-01-16 22:54

Google Firebase ANE 使用教程

GooleFirebaseANE使你可以轻松的在app里面集成google统计和admob到adobeair制作的游戏和应用中您可以使用它与AiriOS和AndroidApp使用相同的actionscript代码，不需要任何更改
lilili啊啊啊·2025-01-16 17:07

应急救援路径规划中的蚁群算法与路径评价研究【附代码】

数据驱动决策✨专业领域：数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具：Python/R/Matlab数据分析与建模Hadoop/Spark
拉勾科研工作室·2025-01-16 17:36

Java 大视界 -- Java 开发 Spark 应用：RDD 操作与数据转换（四）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 16:59

大数据新视界 -- 大数据大厂之 Impala 性能飞跃：分区修剪优化的应用案例（下）（22 / 30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 16:25

大数据新视界 -- 大数据大厂之 Impala 性能飞跃：动态分区调整的策略与方法（上）（21 / 30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 16:54

大数据新视界 --大数据大厂之 Spark Streaming 实时数据处理框架：案例与实践

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 15:21

【1】 Kafka快速入门-从原理到实践

Producer（五）Consumer（六）Zookeeper四、Kafka的重点概念（一）消息（二）偏移量（Offset）（三）副本（Replica）（四）消费者组（ConsumerGroup）（五）分区策略五
不知名美食探索家·2025-01-16 15:15

MySQL 简介与总结

可扩展性：MySQL支持主从复制、分区和集群等功能
MyNoSql·2025-01-16 14:37

第六集如何安装CentOS7.0，3分钟学会centos7安装教程

从光盘引导系统按回车键继续进入引导程序安装界面，选择语言这里选择简体中文版点击继续选择桌面安装下面给系统分区选择磁盘，点击完成选择基本分区，点击加号swap分区,大小填内存的两倍在选择根分区，使用所有可用的磁盘空间选择文件系统
date分享·2024-09-16 09:42

高级 ECharts 技巧：自定义图表主题与样式

通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
SnowMan1993·2024-09-16 09:45

【PG】常见数据库、表属性设置

PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。
江无羡·2024-09-16 09:44
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他