大数据：hive

大数据之-hdfs+hive+hbase+kudu+presto集群(6节点)

prestohttps://prestosql.io/docs/current/index.htmlkudurpm包地址https://github.com/MartinWeindel/kudu-rpm/releaseshivehttp

管哥的运维私房菜·2025-02-16 22:50

使用Docker搭建Flink集群

目录使用Docker搭建Flink集群docker-compose一键搭建步骤附录参考资料使用Docker搭建Flink集群在学习大数据框架的时候，需要一个真实的环境。

O_1CxH·2025-02-16 20:34

国家网络安全宣传周 | 2024年网络安全领域重大政策法规一览

《旅游大数据安全与隐私保护要求（

网安加社区·2025-02-16 17:45

高可用（HA）架构

(HA)解决方案http://zhuanlan.51cto.com/art/201612/524201.htm互联网架构“高可用”http://www.blogjava.net/ivanwan/archive

weixin_34344403·2025-02-16 17:41

【计算机毕设选题】2025计算机毕业设计选题推荐-高通过率选题指南（二）

随着信息技术的飞速发展，计算机毕业设计的形式也日益多样化，从传统的网站（Web）开发到新兴的小程序、APP构建，再到大数据分析与处理，每一种形式都代表着不同的技术挑战与实现路径。

计算机YiDian·2025-02-16 16:39

Mongodb主从模式最佳方案

其强大的性能和灵活的数据结构使得它特别适合处理大数据和高并发访问。本文将介绍MongoDB的主从模式，并提供最佳方案和示例代码，帮助你更好地理解这种模式的运作原理。什么

Christian Bai·2025-02-16 15:31

go hive skynet_MMORPG游戏服务器技术选型参考-Go语言中文社区

游戏服务器一般追求稳定和效率，所以偏向于保守，使用的技术手段也是以已经过验证、开发人员最熟悉、能HOLD为主要前提。1、典型按场景分服设计开发语言：c++数据库：mysql架构：多个网关：维持与玩家间的SOCKET连接，可处理广播、断线重连等逻辑。一个或多个账号登陆验证服务器：处理登陆、排队等逻辑。多个场景服务器：处理在本地图上能解决的逻辑，如：打怪、玩家间战斗、接任务、完成任务等各种不需要跨地图

weixin_39908948·2025-02-16 15:01

DeepSeek推荐未来好就业的十大专业

一、人工智能与数据科学专业聚焦人工智能、大数据技术、计算机科学与技术、机器学习、数据科学与大数据技术等专业，构成了这一前沿领域的核心。

东锋1.3·2025-02-16 15:59

云桌面主流架构解析与应用场景分析

引言随着云计算、大数据和虚拟化技术的快速发展，云桌面作为一种高效、安全、便捷的办公方式，逐渐被企业、教育和政府等多个领域广泛采用。

一休哥助手·2025-02-16 15:25

Linux安装Anaconda、Miniconda

Anaconda下载：https://repo.anaconda.com/archive/MinicondaDocument：https://docs.conda.io/projects/miniconda

让我安静会·2025-02-16 14:19

微信视频号中的“多位朋友看过”是真的有朋友看过，还是系统分析过大数据后推荐的？

cda2024·2025-02-16 14:17

云计算、大数据、人工智能、物联网、虚拟现实技术、区块链技术

物联网一、物联网的基本概念二、物联网的特征(一)物体感知(二)信息传输(三)智能处理三、物联网关键技术(一)射频识别技术(二)产品电子编码(三)短距离通信技术(四)互联网(五)感知控制技术(六)无线网络技术(七)中间件技术(八)智能处理技术四、物联网的应用领域虚拟现实技术一、VR的基本概念二、VR的特征(一)沉浸性(二)人交互性(三)多感知性(四)想象性(五)自主性三、VR的技术应用(一)在影视娱

2301_79098963·2025-02-16 13:16

阿里云MWC 2019发布7款重磅产品，助力全球企业迈向智能化

当地时间2月25日，在巴塞罗那举行的MWC2019上，阿里云面向全球发布了7款重磅产品，涵盖无服务器计算、高性能存储、全球网络、企业级数据库、大数据计算等主要云产品，可满足电子商务、物流、金融科技以及制造等各行业企业的数字化转型需求

数据库技术分享者·2025-02-16 13:43

Spark 和 Flink

Spark和Flink都是目前流行的大数据处理引擎，但它们在架构设计、应用场景、性能和生态方面有较大区别。

信徒_·2025-02-16 12:04

尚硅谷课程【笔记】——大数据之Zookeeper【一】

课程视频：【尚硅谷Zookeeper教程】一、Zookeeper入门概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责同志已经在Zookeeper上注册的哪些观察者做出

赶紧写完去睡觉·2025-02-16 11:02

集群与分片：深入理解及应用实践

分片的定义分片的类型集群与分片的关系集群的应用场景负载均衡高可用性分片的应用场景大数据处理数据库分片集群与分片的架构设计系统架构设计数据存储设计案例分析Hadoop集群Elasticsearch分片性能优化策略集群性能优化分片性能优化挑战和解决方案总结参考资料引言在现代计算系统中

一休哥助手·2025-02-16 09:07

hive spark读取hive hbase外表报错分析和解决

问题现象使用Sparkshell操作hive关联Hbase的外表导致报错；hive使用tez引擎操作关联Hbase的外表时报错。

spring208208·2025-02-16 07:21

如何学习Elasticsearch（ES）：从入门到精通的完整指南

如果你对大数据搜索和分析感兴趣，并且想要掌握Elasticsearch这一强大的分布式搜索引擎，那么你来对地方了！

狮歌~资深攻城狮·2025-02-16 06:17

如何学习HBase：从入门到精通的完整指南

如果你对大数据存储感兴趣，并且想要掌握HBase这一强大的分布式数据库，那么你来对地方了！本文将为你提供一个系统的学习路径，帮助你从零开始逐步深入理解HBase。

狮歌~资深攻城狮·2025-02-16 06:15

Go 语言的优势和学习路线图

目前Go语言支持Windows、Linux等多个平台，也可以直接在Android和iOS等移动端执行，从业务角度来看，Go语言在云计算、微服务、大数据、区

weixin_jie401214·2025-02-16 04:07

【Python】解决PyTorch报错：PytorchStreamReader failed reading zip archive: failed finding central的解决方案

在使用PyTorch时，遇到“PytorchStreamReaderfailedreadingziparchive:failedfindingcentral”错误通常是由于损坏的模型文件或不兼容的文件版本导致的

I'mAlex·2025-02-16 03:27

架构师技术图谱

分布式漫谈分布式系统大数据存储微服务可落地的DDD(6)-工程结构推荐系统框架消息队列编程语言设计模式重构集群

modouwu·2025-02-16 03:24

python 读取各类文件格式的文本信息:doc,html,mht,excel

未来人工智能，大数据方向，区块链的识别和进阶都将以python为中心来展开。咳咳咳！好像有点打广告的嫌疑了。当前互联网信息共享时代，最重要的是什么?是数据。最有价值的是什么？是数据。

北房有佳人·2025-02-16 03:24

python中常见的生成器内容

节省内存：因为不会一次性存储所有值，所以在处理大数据时效率很高。访问的形式

哈哈哈哈q·2025-02-16 03:23

解释归档和非归档模式之间的不同和他们的各自的优缺点？思维导图代码示例（java 架构)

归档模式（ArchiveMode）和非归档模式（NoArchiveMode）是数据库管理系统中两种不同的日志记录方式，主要用于控制如何处理重做日志文件。

用心去追梦·2025-02-16 01:41

大数据java篇——复制

1.文件夹复制packageCopy;importjava.io.File;importjava.io.FileInputStream;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;publicclassDirCopyDemo{publicstaticStringsrcRoot;publicstaticvoid

sp_ur·2025-02-15 22:16

【大数据安全分析】网络异常相关安全分析场景

在大数据安全分析领域，威胁情报关联和账号异常分析已经取得了较好的效果，而网络异常分析同样具有重要的价值。

扫地僧009·2025-02-15 18:20

国标GB28181网页直播平台EasyGBS国标GB28181软件与GB28181应用场景分析

随着5G、AI、云计算、大数据、物联网等新兴技术的快速发展，各行各业都在积极探索智能化、现代化的管理与运营模式。

科技小E·2025-02-15 17:13

《小区综合管理服务平台设计与实现》任务书

本项目旨在通过结合云计算、大数据分析等技术手段，为用户提供包括但不限于物业报修、费用缴纳、公告通知、安防监控等功能在内的全方位服务体验。一、课题主要内容1.需求分析目标用户群体：明确平

zp8126·2025-02-15 17:40

深入HBase——引入

引入前面我们通过深入HDFS到深入MapReduce，从设计和落地，去深入了解了大数据最底层的基石——存储与计算是如何实现的。这个专栏则开始来看大数据的三驾马车中最后一个。

黄雪超·2025-02-15 16:58

数字化转型三大核心要素：数据、技术、人才

无论是云计算、人工智能、大数据分析还是物联网，这些前沿技术的应

千千标寻·2025-02-15 14:15

windows 安装nvidaia驱动和cuda

drivers/lookup/这里查出来的都是最高支持什么版本的cuda安装时候都默认精简就行官网下载所需版本的cuda包https://developer.nvidia.com/cuda-toolkit-archive

njl_0114·2025-02-15 14:14

探索数据云的无缝桥梁：Apache Spark 与 Snowflake 的完美结合

spark-snowflakeSnowflakeDataSourceforApacheSpark.项目地址:https://gitcode.com/gh_mirrors/sp/spark-snowflake项目介绍在大数据处理的浩瀚宇宙中

窦育培·2025-02-15 12:32

如何学BI大数据

职业规划建议1.短期目标（1-2年）积累经验：通过实习或初级岗位（如数据分析师、商业分析师）积累经验。提升技能：深入学习SQL、Python、BI工具，掌握数据分析和可视化技能。建立作品集：完成个人项目或参与开源项目，展示数据分析能力。2.中期目标（3-5年）专业化发展：根据兴趣选择细分方向，如数据可视化、BI开发或数据运营。提升软技能：加强沟通、项目管理能力，提升商业敏感度。行业深耕：选择感兴趣

想做富婆·2025-02-15 11:27

记一次hivemetastore启动报错

1，启动hivemetastore后报错日志2，排查lib下的mysql的驱动也在，这里和mysql的驱动大小一样3，把hive-site.xml中无关的配置都删掉，重启metastore还是报错4，最后排查

不吃饭的猪·2025-02-15 09:37

Hive服务启动之 metastore配置和 hiveserver2

Hive服务启动之metastore服务配置和hiveserver2 配置hive的时候都需要配置hive-site.xml，配置过程中可以选择hive直连或者使用metastore服务间接连接，那么他们之间有什么区别呢

龍浮影·2025-02-15 08:33

maven插件学习(maven-shade-plugin和maven-antrun-plugin插件)

整合spark3.3.x和hive2.1.1-cdh6.3.2碰到个问题，就是spark官方支持的hive是2.3.x，但是cdh中的hive确是2.1.x的，项目中又计划用spark-thrift-server

catcher92·2025-02-15 08:00

hive的metastore和hiveserver2服务的启动

1、描述nohup:放在命令开头，表示不挂起，也就是关闭终端进程也继续保持运行状态/dev/null：是Linux文件系统中的一个文件，被称为黑洞，所有写入改文件的内容都会被自动丢弃2>&1:表示将错误输出重定向到标准输出上第一个2表示错误输出，另外0表示标准输入，1表示标准输出&:放在命令结尾,表示后台运行一般会组合使用:nohup[xxx命令操作]>file2>&1&，表示将xxx命令运行的结

要开心吖ZSH·2025-02-15 08:00

5. clickhouse 单节点多实例部署

环境说明：主机名：cmc01为例操作系统：centos7安装部署软件版本部署方式centos7zookeeperzookeeper-3.4.10伪分布式hadoophadoop-3.1.3伪分布式hivehive

Toroidals·2025-02-15 05:35

mysql、redis和MongoDB三大数据库的优点和区别

NoSQL的全称是NotOnlySQL，也可以理解非关系型的数据库，是一种新型的革命式的数据库设计方式，不过它不是为了取代传统的关系型数据库而被设计的，它们分别代表了不同的数据库设计思路。MongoDB：它是一个内存数据库，数据都是放在内存里面的。对数据的操作大部分都在内存中，但MongoDB并不是单纯的内存数据库。MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高

DreamCity07·2025-02-15 04:58

制造企业智慧物流架构解决方案

智慧物流：利用物联网、大数据、云计算等技术，实现物流过程的自动化、智能化和可视化，提升物流效率和服务质量。

有限无限资料库·2025-02-15 04:55

mysql大数据量分页查询

一、什么是‌MySQL大数据量分页查？MySQL大数据量分页查‌是指在使用MySQL数据库时，将大量数据分成多个较小的部分进行显示，以提高查询效率和用户体验。

懒洋洋大魔王·2025-02-15 00:56

上传素材自动美化页面？文心快码全栈编程智能体帮你搞定！

结合百度积累多年的编程现场大数据、外部优秀开源数据，可为开发者生成更符合实际研发场景的优秀代码，提升编码效率，释放“十倍”软件生产力。

·2025-02-14 18:57

从选品到售后！5个AI工具打通电商全链路自动化

像JungleScout这类智能选品工具，深度运用AI大数据分析

·2025-02-14 17:54

Hive空字符串‘‘与NULL值对比

Hive里null值和空字符串是两个不同的东西。NULL值【\N】，较为常见，就是所谓的空值，字段没有值。空字符串【''】，通常多为人为指定。

Lens5935·2025-02-14 16:23

java获取hive表所有字段,Hive Sql从表中动态获取空列计数

我正在使用datastaxspark集成和sparkSQLthrift服务器,它为我提供了一个HiveSQL接口来查询Cassandra中的表.我的数据库中的表是动态创建的,我想要做的是仅根据表名在表的每列中获取空值的计数

拾亿年·2025-02-14 16:23

hivemetastore 连接过多导致sql查询慢

MetaStore(DB)修改对应的处理连接数maxConnectionsPerPartition建议设置成100(不能超过最大值300)，重启Hive服务。

sunxunyong·2025-02-14 16:52

【大数据AI人工智能大模型实战】从0到1 全流程搭建一个商品、店铺、直播推荐 Feeds 流系统详细方案步骤和代码实例 3

从0到1全流程搭建一个商品、店铺、直播推荐Feeds流系统详细方案步骤和代码实例关键词：推荐系统、Feeds流、商品推荐、店铺推荐、直播推荐、实时计算、离线计算、数据流处理1.背景介绍在当今的电子商务和社交媒体时代，个性化推荐系统已经成为提升用户体验和增加平台粘性的关键技术。特别是在电商平台中，一个高效的商品、店铺和直播推荐Feeds流系统可以显著提高用户的购物体验，增加商品曝光率，并最终提升平台

AI天才研究院·2025-02-14 11:46

大数据、云计算、人工智能等技术深度融合的智慧快消开源了。

智慧快消视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程，实现芯片、算法、应用的全流程组合，从而大大减少企业级应用约95%的开发成本。基于多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体，是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。基

AI服务老曹·2025-02-14 10:37

Flink 实践教程-入门（10）：Python作业的使用

作者：腾讯云流计算Oceanus团队流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器，是基于ApacheFlink构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台

腾讯云大数据·2025-02-14 07:17

推荐频道