大数阶层

【Spark+Hive大数据】基于spark抖音数据分析预测舆情系统（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅

目录【Spark+Hive大数据】基于spark抖音数据分析预测舆情系统（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅一、项目背景二、研究目的三、项目意义四、项目功能五、项目创新点六
奥特曼it·2025-04-27 05:25

Doris 与 ClickHouse 在业务中的隐藏陷阱：那些官方文档没告诉你的细节

Doris和ClickHouse聚合操作在业务不同阶段的对比与实践在大数据分析领域，Doris和ClickHouse都是非常受欢迎的MPP数据库，它们在聚合操作上的设计理念和实现方式各有特点。
布拉德·甘·拉敎·2025-04-27 04:22

智能投顾平台的架构设计与实现

第一步：背景介绍1.1问题背景智能投顾的概念：智能投顾，又称为智能投资顾问，是指利用大数据、人工智能、机器学习等技术，通过对用户投资偏好、风险承受能力、资产配置需求等信息的分析，为用户提供个性化投资建议的服务
AGI大模型与大数据研究院·2025-04-27 03:17

数据湖架构：从Delta Lake到Hudi实战对比

数据湖架构：从DeltaLake到Hudi实战对比随着大数据技术的飞速发展，数据湖架构逐渐成为企业处理大规模、多样化数据的首选方案。
喜欢编程就关注我·2025-04-27 01:35

大数据开发教程——构建Hadoop开发环境

什么是Hadoop？Hadoop是由Apache基金会开发和维护的一个开源的分布式计算和存储框架。Hadoop为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。Hadoop使用Java开发，所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统(HadoopDF
比屋大数据·2025-04-26 21:41

Long类型后端到前端精度丢失问题

在开发中，后端经常需要处理一些大数值的Long类型数据（id等）。但当这些数据通过接口传递到前端时，可能会出现精度丢失的问题。
qq_44199605·2025-04-26 19:00

Flume Source原理与代码实例讲解

在大数据时代,日志数据作为企业的重要资产,如何高效地收集和传输海量日志数据成为了一个迫切需要解决的问题。
AI天才研究院·2025-04-26 19:56

Hive架构

大数据主题Hive架构Hive是一种以SQL风格进行任何大小数据分析的工具，其特点是采取类似关系数据库的SQL命令。
漂漂1·2025-04-26 17:43

基于SpringBoot+Vue的大学奖学金评定管理系统设计和实现（源码+部署讲解+答辩辅导等）

目前专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌技术栈范围：SpringBoot、Vue、SSM、Jsp、HLMT、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据
计算机大鹅老师·2025-04-26 16:06

每日一道leetcode（补充二）

1456.定长子串中元音的最大数目-力扣（LeetCode）题目给你字符串s和整数k。请返回字符串s中长度为k的单个子字符串中可能包含的最大元音字母数。英文中的元音字母为（a,e,i,o,u）。
XiaoyaoCarter·2025-04-26 16:04

深入探索Spark-Streaming：从Kafka数据源创建DStream

在大数据处理领域，Spark-Streaming是一个强大的实时流处理框架，而Kafka作为高性能的分布式消息队列，二者结合能实现高效的数据处理。
不要天天开心·2025-04-26 14:22

Kafka与Spark-Streaming：大数据处理的黄金搭档

Kafka是分布式消息系统，最初由LinkedIn开发，后成为Apache项目。它就像个数据篮子，生产者把数据（鸡蛋）放进去，消费者从中取数据。Kafka优势明显，分布式架构让它易于扩展；高吞吐量和低延迟，每秒能处理几十万条消息，延迟仅几毫秒；消息持久化到磁盘，还支持备份，保证数据不丢失；并且支持多订阅者，故障时能自动平衡消费者。它有多种角色，如Broker、Topic、Partition等，共同
不要天天开心·2025-04-26 14:22

云计算、大数据、人工智能、物联网、虚拟现实技术、区块链技术(2)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！一、云计算的基本概念二、云计算的分类(一)IaaS(二
2401_84592149·2025-04-26 10:29

《大数据场景中的性能与资源权衡：迭代器与内存列表的选择之道》

《大数据场景中的性能与资源权衡：迭代器与内存列表的选择之道》在大数据处理领域，性能与资源利用是不可避免的权衡问题。Python提供了多种工具来处理数据，其中迭代器和内存列表是两种重要的选择。
清水白石008·2025-04-26 10:27

如何自学java

引用类型修饰符：访问修饰符、非访问修饰符运算符：赋值、算数、自增自减、比较、逻辑、位、三元运算符及其优先级控制流程：条件判断、循环语句数组、字符型类与对象面向对象三大特征：继承、封装、多态日期、正则、大数运算
布尼卡·2025-04-26 10:26

云手机：小红书矩阵搭建方案

云手机概述：1.亚矩阵云手机是一个基于ARM虚拟化技术的云手机平台，通过云计算、大数据、人工智能、边缘计算等技术，全面支持安卓各型号手机应用的使用与管理服务。
阿隆ALong·2025-04-26 09:54

中电金信：四川农担X中电金信大数据智能风控平台 护航金融服务乡村振兴

其中，与中电金信联合打造的四川农担大数
中电金信·2025-04-26 07:11

AI人工智能深度学习算法：循环神经网络的理解与使用

AI人工智能深度学习算法：循环神经网络的理解与使用1.背景介绍1.1深度学习的兴起随着大数据时代的到来,海量的数据为机器学习算法提供了源源不断的燃料。
AI天才研究院·2025-04-26 07:39

中电金信携腾讯云发布“数智化司库联合方案” 加速大数据创新

#牛客在线求职答疑中心(35799)#s#牛客在线求职答疑中心#sapvt项目面试#和牛牛一起刷题打卡(51733)#牛客#和牛牛一起刷题打卡#牛客又开刷题活动啦，每天刷刷题就能领短袖和周边，还有京东卡！我也赶紧来打个卡~如果已经接了一个offer，还要继续面吗想请问一下各位，现在已经接了鹅子的offer，字节那边的三面还要继续吗，到时候要怎么和HR说呢感觉好#我想象的工作vs实际工作(29749
2301_79125642·2025-04-26 07:37

第21篇：Milvus在金融行业的应用

金融行业一直是技术创新的前沿，随着大数据和人工智能技术的发展，向量数据库在金融领域中的应用越来越广泛。
Gemini技术窝·2025-04-26 07:06

立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务

作者：厦门立马耀网络科技有限公司大数据开发工程师陈宏毅背景介绍行业蝉选是蝉妈妈出品的达人选品服务平台。
阿里云大数据AI技术·2025-04-26 07:36

基于Milvus的密集向量和稀疏向量混合搜索

基于Milvus的密集向量和稀疏向量混合搜索技术引言在当今大数据时代，高效的信息检索技术至关重要。
风清扬【coder】·2025-04-26 07:34

Vue3 - 详细实现虚拟列表前端虚拟滚动列表解决方案，vue3长列表优化之虚拟列表，解决列表动态高度不固定高度及图片视频图文异步请求加载问题，虚拟列表DOM大量数据同时加载渲染卡顿太慢及下滑列表闪烁

详解实现虚拟列表高度不固定(不定高)且复杂含有图片视频等复杂虚拟列表教程，决列表每项高度不确定及img图像或视频的加载方案，利用缓冲区技术解决用户浏览时渲染不及时列表闪烁白屏/列表加载闪屏，解vue3实现虚拟列表优化大数据量的渲染效率提升页面加载速度
王二红·2025-04-26 06:57

【项目实战】TDengine入门介绍

TDengine是一款开源的分布式时序数据库一款开源、高性能、云原生的时序数据库(TimeSeriesDatabase,TSDB)一款强大而易用的时序数据库一款创新性的大数据处理产品一款高性能、分布式的物联网
本本本添哥·2025-04-26 04:48

【面试宝典】100道Spark高频题库整理(附答案背诵版)

Spark是一个开源的大数据处理框架，它被设计来进行高速度、通用性和易用性的大规模数据处理。Spark最初由加州大学伯克利分校的AMPLab开发，后来成为Apache软件基金会的顶级项目。
想念@思恋·2025-04-26 04:47

系统架构设计师论文

资源库：编程资源集合：神器库、猿题库与疑难杂症解决方案-CSDN博客2024年2024年上半年试题一：论大数据lambda架构2024年上半年试题二：论模型驱动架构设计方法及其应用2024年上半年试题三
银帅18335030971·2025-04-26 03:13

每日一道leetcode（补充版）

1679.K和数对的最大数目-力扣（LeetCode）题目给你一个整数数组nums和一个整数k。每一步操作中，你需要从数组中选出和为k的两个整数，并将它们移出数组。返回你可以对数组执行的最大操作数。
XiaoyaoCarter·2025-04-26 03:40

c++快速幂

它能有效地减少计算次数，特别是在对大数进行幂运算时，速度更快。快速幂算法的基本原理是：将指数表示为二进制形式，然后通过对二进制位数进行迭代分解，进行幂次运算。
玛卡巴卡哈哈·2025-04-26 03:38

TDengine 集群高可用方案设计（一）

一、引言在大数据和物联网飞速发展的时代，数据量呈爆炸式增长，如何高效地存储、管理和分析这些数据成为了关键问题。
计算机毕设定制辅导-无忧学长·2025-04-26 02:05

白鲸开源与亚马逊云科技携手推动AI-Ready数据架构创新

在昨日举办的2025亚马逊云科技合作伙伴峰会圆桌论坛上，白鲸开源创始人兼CEO郭炜作为嘉宾，与亚马逊云科技及其他行业领袖共同探讨了“AI-Ready的数据架构：ISV如何构建面向生成式AI的强大数据基座
DolphinScheduler社区·2025-04-26 01:54

HDFS Shell命令基础入门实战

它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（LargeDataSet）的应用处理带来
一个爱好编程的业余人士·2025-04-26 00:46

金融租赁系统全流程自动化服务升级

通过智能审批引擎与大数据分析技术的双核驱动，系统将传统流程中"人工跑断腿"的环节（比如进件审核、合同生成）压缩成数字化流水线。
红点聊租赁·2025-04-25 22:32

金融租赁系统科技赋能与场景实践

内容概要当传统金融租赁遇上物联网和大数据，就像给老式蒸汽机车装上了智能导航系统——兴业金融租赁的数字化转型正是这场"科技换挡"的典型示范。
hd75232·2025-04-25 22:31

新书速览|Hadoop与Spark大数据全景解析（视频教学版）

《Hadoop与Spark大数据全景解析:视频教学版》01本书内容《Hadoop与Spark大数据全景解析:视频教学版》结合作者多年在大数据领域的开发实践经验，采用“理论+实战”的形式，以大量实例全面介绍
全栈开发圈·2025-04-25 21:59

Java大数据去重，返回第一个重复的数据，统计每个数据出现的次数

/***给定10w个数据，统计每个数据出现的次数*@paramarray*@return*///key是关键字，value是出现的次数publicstaticMapfunc1(int[]array){Mapmap=newHashMapfunc2(int[]array){Setset=newTreeSetset=newTreeSet<>();for(inti=0;i
sugar high·2025-04-25 20:45

大数据去重处理思路及实践

在处理数据过程中经常会遇到数据去重处理，数据量小的可以通过查询去重来处理，对于数据量比较大的，通过数据库来处理，相对比较麻烦，主要在于硬件支持。下面笔者分享一个数据处理思路：1.工具（1）通过penetestbox提供的linux环境（2）notepad++（3）大文本编辑器EmEditor2.处理思路及要求（1）数据格式统一，需要处理的数据格式是一致的。字段类型一致，字段一致。（2）通过linu
我是simeon·2025-04-25 20:15

python数据去重_python 大数据去重

count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台；社区覆盖了云计算、大数据
weixin_39890431·2025-04-25 20:15

大数据去重——位图

100亿整型数据去重？整型数据为32位最多有2^32(42亿多），所以100亿整型数据一定有重复的，2^32个整形用位表示，需要(2^32)bit==512MB,需要512MB内存表示。下面是去重算法：#include#include#defineMAX(0xffffffff)/*根据num将对应的MAP的bit位置1*/voidsetBuf(char*buf,unsignedintnum){*(
天涯-晴天·2025-04-25 19:44

第五十二篇 浅谈ETL系统设计

1.1现代ETL系统三级模型2.核心子系统实现方案2.1增量抽取的工业级实现2.2缓慢变化维(SCD)的工程实现2.3分布式数据清洗架构3.生产级优化策略3.1高性能加载技术3.2企业级错误处理机制4.大数据集成模式
随缘而动，随遇而安·2025-04-25 17:27

CUDA中的并行计算与C++

在当今大数据和云计算时代，如何有效地利用这些硬件资源以提高计算性能已成为一个重要挑战。
AI天才研究院·2025-04-25 15:43

在 Spring Boot 项目中如何使用索引来优化 SQL 查询？

下面是详细的步骤和实践指南：核心目标：让数据库能够通过扫描索引（小范围、有序的数据结构）快速定位到所需数据行，而不是扫描整个表（大数据量下非常慢）。
冰糖心书房·2025-04-25 14:06

大数据挖掘与机器学习：区别与联系全解析

大数据挖掘与机器学习：区别与联系全解析关键词：大数据挖掘、机器学习、区别、联系、数据处理、算法应用摘要：本文旨在全面解析大数据挖掘与机器学习的区别与联系。
大数据洞察·2025-04-25 08:25

利用Python生成漂亮的词云，云的形状由你定

前言在大数据时代，你竟然会在网上看到的词云，例如这样的。看到之后你是什么感觉?想不想自己做一个？很多人学习python，不知道从何学起。
Python_sn·2025-04-25 07:51

【Hive入门】Hive分区与分桶深度解析：优化查询性能的关键技术

引言在大数据领域，ApacheHive作为构建在Hadoop之上的数据仓库工具，因其类SQL的查询语言(HiveQL)和良好的扩展性而广受欢迎。然而，随着数据量的增长，查询性能往往成为瓶颈。
IT成长日记·2025-04-25 06:46

Spark SQL核心解析：大数据时代的结构化处理利器

在大数据处理领域，Spark以其强大的分布式计算能力脱颖而出，而SparkSQL作为Spark生态系统的重要组成部分，为结构化和半结构化数据处理提供了高效便捷的解决方案。
北屿升：·2025-04-25 04:28

QT C++ 串口发送大数据

项目场景：有时需要串口发送数据大量数据比如七八百个字节，收端需要接收数据后如何把数据给拼凑起来。使用工具QT、C++解决方案：发端代码：如果每次发送1000字节而不是4096字节，收端会触发两次槽函数，第一次接收1000，第二次一次性接收4096，所以干脆直接每次发送4096字节的数据。但是因为触发次数只有两次，只能实现8K之内发送多少就接收多少，具体如何突破限制，欢迎大家予以指教。voidMai
Kai`·2025-04-25 03:25

大数据联邦架构如何实现跨源数据的高效整合与统一访问

大数据联邦架构应运而生，它通过构建统一的数据访问层，屏蔽了异构数据源的差异，为用户提供了一致的数据访问体验。
数字魔方操控师·2025-04-25 02:49

大数据平台组件部署说明（pulsar、Openlookeng、Hadoop集群、hive、python、Flink、JDK、Zookeeper、MySQL、Redis等）

大数据平台组件部署说明1.安装前准备JDKopenlookeng和pulsar要求JDK1.8+，参考附录9.1安装教程。
长空~·2025-04-25 02:44

智慧园区数字化平台总体规划与建设方案

《智慧园区数字化平台总体规划与建设方案》以“构建智慧、高效、安全的园区数字化平台”为核心，通过云计算、大数据、物联网等技术，规划工业云平台、智慧办公、智能工厂、智慧能源、智慧政务五大核心平台。
数智资源·2025-04-24 22:19

spark和Hadoop之间的对比和联系

**生态系统层面**-**协同工作**：Spark和Hadoop都是大数据处理生态系统中的重要组成部分。在很多企业的大数据平台中，它们可以共同工作。
痕517·2025-04-24 22:13
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他