海量数据处理

使用AI大模型进行企业数据分析与决策支持

以下是使用AI大模型进行企业数据分析与决策支持的具体方式和优势：一、AI大模型在数据分析中的应用超级数据处理能力海量数据处理：AI大模型能够同时处理海量数据，包括结构化数据、非结构化数据等，满足企业大规模数据分析的需
MarkHD·2024-09-08 09:40

海量数据处理商用短链接生成器平台 - 3

第三章商用短链平台实战-账号微服务+流量包设计第1集账号微服务和流量包数据库表+索引规范讲解简介：账号微服务和流量包数据库表+索引规范讲解索引规范主键索引名为pk_字段名;pk即primarykey;唯一索引名为uk_字段名；uk即uniquekey普通索引名则为idx_字段名；idx即index的简称account表CREATETABLE`account`(`id`bigintunsignedN
从零开始学习人工智能·2024-02-14 13:14

海量数据处理商用短链接生成器平台 - 4

第六章架构核心技术-池化思想-异步结合性能优化最佳实践第1集RestTemplate里面的存在的问题你知道多少-Brokenpipe错误项目就更新到第六章了，剩下的内容放百度网盘里面了，需要的来取。链接：https://pan.baidu.com/s/19LHPw36dsxPB75z_FHS64Q?pwd=8h89提取码：8h89简介：RestTemplate里面的存在的问题你知道多少还原代码（暂
从零开始学习人工智能·2024-02-14 13:14

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣
Dimple七·2024-02-14 06:41

分布式环境下，互斥性与幂等性问题，分析与解决思路

随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
life_niu·2024-02-12 20:23

高级数据结构与算法 | 布谷鸟过滤器（Cuckoo Filter）：原理、实现、LSM Tree 优化

基本介绍布隆过滤器局限变体布谷鸟哈希布谷鸟过滤器实现数据结构优化项VictimCache备用位置计算半排序桶插入查找删除应用场景：LSM优化CuckooFilter基本介绍如果对布隆过滤器不太了解，可以看看往期博客：海量数据处理
凌桓丶·2024-02-10 16:16

[数据结构] 位图&布隆过滤器

文章目录1.位图1.1位图概念1.2位图实现1.3位图应用2.布隆过滤器2.1布隆过滤器概念2.2布隆过滤器插入2.3布隆过滤器查找删除2.4布隆过滤器优缺点3.海量数据处理1.位图1.1位图概念C++
一氧化二氢的执着·2024-02-07 01:32

【C++干货铺】哈希结构的应用：位图 | 布隆过滤器 | 海量数据处理

目录位图位图的概念位图的实现位图的应用布隆过滤器布隆过滤器的提出布隆过滤器的概念布隆过滤器的插入布隆过滤器的查找布隆过滤器的删除布隆过滤器的优点布隆过滤器的缺陷哈希切分位图位图的概念一道面试题给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】解决方案：从头到尾遍历这40亿个数。时间复杂度排序()+二分查找其实这里最大的问题是这40亿个整数将近
小白不是程序媛·2024-02-04 16:33

海量数据处理商用短链接生成器平台 - 2

第二章短链平台项目创建+git代码管理+开发分层规范第1集短链平台实战-Maven聚合工程创建微服务项目**简介：Maven聚合工程创建微服务项目实战**Maven聚合工程拆分dcloud-common公共依赖包dcloud-appFlink+Kafka实时计算dcloud-account账号+流量包微服务dcloud-data数据可视化微服务dcloud-gateway业务网关dcloud-li
从零开始学习人工智能·2024-02-04 15:52

海量数据处理商用短链接生成器平台

第一章海量数据处理商用短链接生成器平台介绍第1集什么是短链接生成器短链接生成器是一种工具，可以将较长的链接转换成较短的链接。这种工具在许多场景中都很有用，包括营销、社交媒体分享和数据报告等。
从零开始学习人工智能·2024-02-04 15:19

火山引擎ByteHouse：分析型数据库如何设计列式存储

作为云原生数据仓库的ByteHouse，也采用列式存储设计，保证读写性能、支持事务一致性，又适用大规模的数据计算，为用户提供极速分析体验和海量数据处理能力，提升企业数字化转型能力。
字节数据平台·2024-01-31 22:37

分布式系统互斥性与幂等性问题的分析与解决

原文链接随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
leiwingqueen·2024-01-27 18:18

踏破寒冬，SQLynx 2.1.3版如约而至，引爆数据库新风潮！国产Navicat替代品震撼登场，解放数据库开发者的选择困境，重塑数据库格局，替代品引领创新浪潮！

这款SQL工具免安装，支持团队协同开发，远程访问，高效海量数据处理，个人版免费。时逢冬至，严寒悄然而至，SQLynx团队在此为开发者们送上全方位提升的SQL开发暖心体验！
吃海的虾酱·2024-01-27 08:48

JAVA的面试题四

分布式：①垂直拆分:根据功能模块进行拆分②水平拆分:根据业务层级进行拆分（2）高并发：用户单位时间内访问服务器数量,是电商行业中面临的主要问题（3）集群：抗击高兵发的有效手段,同时集群内部实现高可用（4）海量数据处理
菜鸟程序员z·2024-01-25 00:51

SeaTunnel 海量数据同步工具的使用（连载中……）

一、概述SeaTunnel是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，前身是WaterDrop（中文名：水滴），自2021年10月12日更名为SeaTunnel。
programmer_山风·2024-01-21 03:49

客户案例｜知名证券机构核心大数据平台升级之路

Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。
云掣YUNCHE·2024-01-21 01:17

架构05- 理解架构的演进

架构的演进：大型网站架构的技术挑战主要源于庞大的用户数量、高并发访问和海量数据处理。当一个简单的业务需求需要处理数
我还是个少年·2024-01-16 09:37

redis — redis cluster集群模式下如何实现批量可重入锁？

该集群主要支持搞并发和海量数据处理等优势，当Redis在集群模式下运行时,它处理数据存储的方式与作为单个实例运行时不同。这是因为它应该准备好跨多个节点分发数据,从而实现水平可扩展性。
RachelHwang·2024-01-13 09:46

冰河开始对Dubbo下手了！

部分核心知识已总结到我出版的两本书籍——《海量数据处理与大数据技术实战》和《MySQL技术大全：开发、优化与运维实战》中。
冰河团队·2024-01-12 08:52

TDengine 签约西电电力

在这个过程中，电力物联网领域产生的数据采集量呈现爆炸式增长，应对海量数据处理需求成为推动行业改革的重要任务。近日，TDengine与西电电力达成签约合作，助力其智慧能源系统的优化发展。TD
涛思数据（TDengine）·2024-01-11 15:12

海量数据处理数据结构之Hash与布隆过滤器

前言随着网络和大数据时代的到来，我们如何从海量的数据中找到我们需要的数据就成为计算机技术中不可获取的一门技术，特别是近年来抖音，快手等热门短视频的兴起，我们如何设计算法来从大量的视频中获取当前最热门的视频信息呢，这就是我们今天即将谈到的Hash和布隆过滤器。以下是Hash和布隆过滤器的一些常见应用：使用word文档时，如何判断某个单词是否拼写正确？网络爬虫程序时，怎么让它不去爬相同的url页面(将
abcd552191868·2024-01-11 12:11

Spark大数据分析与实战笔记（第二章 Spark基础-05）

前言在大数据处理和分析领域，Spark被广泛应用于解决海量数据处理和实时计算的挑战。作为一个快速、可扩展且易于使用的分布式计算框架，Spark为开发人员提供了丰富的API和工具来处理和分析大规
想你依然心痛·2024-01-07 06:33

架构设计内容分享(七十一)：架构必备：10WQPS超高并发架构的10大思想

目录如何理解高并发系统1.业务分治思想+微服务拆分2.数据分治思想+分库分表3.读写分离思想+主从分离4.池化思想5.缓存思想6.异步思想+消息队列削锋7.服务保护思想：熔断降级8.限流思想9.扩容思想+切流量10.海量数据处理思想
之乎者也··2024-01-02 11:59

Hash表的初步认识

简介哈希表(hashtable）也叫作散列表,作为数据结构的一种,它的优点在于无论是插入操作还是查找操作,它的时间复杂度是o(1),正是因为这个优点,在海量数据处理的场景都会有它的身影.这其中的Hash
山有梧桐·2024-01-01 15:39

海量数据处理面试题

1、常见海量数据处理方法hash、bit-map（位图法）、bllomfilter、数据库优化、倒排索引、外排序、Trie树、堆、双层桶、mapReduce法、分治2、hash法在海量数据处理中，Hash
Alukar·2024-01-01 05:10

位图及有关海量数据处理

bitset1.给40亿个不重复的无符号整数，没排过序，给一个无符号整数，如何快速判断一个数是否在这40亿个中①.如果用排序加二分查找，40亿个数需要16g内存，内存开不出这么大连续空间②.每个值映射一个比特位，需要开多少个比特位?并非40亿个，而是2^32个(42亿9千万)，开空间开的不是数据个数，而是数据范围0.5g采用位图解决数据是否在给定的整型数据中，结果是在或者不在，刚好是两种状态，那么
C1238888·2023-12-23 16:14

数据结构与算法之美学习笔记：38 | 分治算法：谈一谈大规模计算框架MapReduce中的分治思想

分治算法应用举例分析分治思想在海量数据处理中的应用解答开篇内容小结前言本节课程思维导图：MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS（hdfs）和Bigtable(hbase
浊酒南街·2023-12-21 03:51

【期末复习向】top-k方法

top-k方法常用于解决许多海量数据处理相关的问题，例如在1亿个数据中找出访问次数前1000的热点数据，在海量搜索字符串中找出搜索频率排在前十的搜索字符串等等。而在分类问题中，top-k也有其应用。
诺坎普的风间·2023-12-19 06:04

位图、布隆过滤器、海量数据处理

文章目录位图布隆过滤器海量数据处理正文开始前给大家推荐个网站，前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。
不是笨小孩i·2023-12-19 05:15

不会做项目惨遭部门领导批评，连刷35天分布式小册轻松拿下

互联网发展到今天，用户数量越来越多，产生的数据规模也越来越大，应用系统必须支持高并发访问和海量数据处理的需求。
啊码·2023-12-19 03:28

阿里巴巴-EasyExcel 基于Java的简单、省内存的读写Excel

课程介绍本博客主要讲解在java应用中如何利用EasyExcel技术完成对excel文件的导入和导出操作;黑马阿里EasyExcel实战教程，阿里开源技术实现MySQL和Excel之间海量数据处理_哔哩哔哩
软工菜鸡·2023-12-18 10:25

订单系统的设计与海量数据处理实战

概述订单系统可以说是整个电商系统中最重要的一个子系统，因此订单数据可以算作电商企业最重要的数据资产。订单系统从代码上来说可分为两部分：订单程序和历史订单处理程序。数据存储进行分库分表。订单系统业务分析对于一个合格的订单系统，最基本的要求是什么？数据不能出错。用户的每一次购物，从下单开始到支付、发货，再到收货，流程中的每个环节，都需要同步更新订单数据，每次更新操作可能都需要同时更新好几张表。这些操作
Firechou·2023-12-16 15:40

Google的三种大数据处理系统

Google的搜索引擎是针对搜索引擎所面临的日益膨胀的海量数据存储问题，以及在此之上的海量数据处理问题而设计的。众所周知，Google存储着世界上最庞大的信息量（数千亿个网页、数百亿张图片）。
yoku酱·2023-12-16 01:25

一篇博客搞定海量数据处理之布隆过滤器（附测试代码+核心思想讲解）

布隆过滤器1.布隆过滤器1.1什么是布隆过滤器1.2布隆过滤器的核心思想是什么1.3布隆过滤器优缺点是什么1.3.1优点：1.3.2缺点：1.3.3补充1.4影响布隆过滤器性能的因素有什么1.4.1影响因素1.4.2改进措施1.5布隆过滤器的使用场景2.代码实现2.1插入算法3.相关面试题3.1给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算
X.Dragon·2023-12-15 00:02

哈希应用 位图与布隆过滤器 及海量数据处理问题

文章目录位图布隆过滤器海量数据面试题思路分析位图先介绍一个题：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。解决方案：遍历，时间复杂度O(N)排序(O(NlogN))，利用二分查找:logN把数据放入map或者unordered_map中，树形结构查找位图解决面对这个问题我们首先想到的就是前三种。但是前三种做法的前提就是需要把数据移到内存上才可以
e我所欲也·2023-12-15 00:24

Java实现布隆过滤器

Java实现布隆过滤器背景海量数据处理以及缓存穿透这两个场景让我认识了布隆过滤器，我查阅了一些资料来了解它，但是很多现成资料并不满足我的需求，所以就决定自己总结一篇关于布隆过滤器的文章。
@Meto·2023-12-14 13:16

海量数据处理技术回顾：为什么分布式会遇到 CAP 难题？

在前面模块的几个案例中，我们都需要处理海量的数据，需要用到海量的存储介质，其实海量数据本质上就是一种磁盘资源敏感的高并发场景。我们说过，为了应对资源不足的问题，我们常采用水平伸缩，即分布式的方案。数据存储的分布式问题是所有分布式技术中最具挑战性的，因为相对于“无状态”（stateless）的计算逻辑（可执行程序），数据存储是“有状态”（stateful）的。无状态的计算逻辑可以在任何一台服务器执行
小熊学Java·2023-12-14 12:47

算法通关村——海量数据处理办法

从40个亿中产生一个不存在的整数题目：给定一个输入文件，包含40亿个非负整数，请设计一个算法，产生一个不存在该文件中的整数，假设你由1GB的内存来完成任务。用位图去存储大数据在数据量很大时，采用位方式（俗称位图）存储数据是常用的思路。我们可以使用bitmap的方式来表示数出现的情况。具体来说，是申请一个长度为4294967295（32位无符号整数的十进制最大值，即0xFFFFFFFF）的bit类型
Molche·2023-12-05 15:33

Logstash使用指南

Logstash通过海量数据处理和多种多样的数据格式支持延伸了我们对数据的洞
有梦想的攻城狮·2023-12-04 18:43

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

前言最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。
Alukar·2023-12-01 05:17

短 URL 生成器设计：百亿短 URL 怎样做到无冲突？

Java全能学习面试指南：https://javaxiaobear.cn我们先来看看，当高并发遇到海量数据处理时的架构。
小熊学Java·2023-11-30 19:47

哈希思想应用【C++】(位图，布隆过滤器，海量数据处理面试题)

目录一，位图1.位图概念2.实现3.测试题位图的优缺点二，布隆过滤器1).布隆过滤器提出2).概念3).布隆过滤器的查找4).布隆过滤器删除(了解)5).布隆过滤器优点6).布隆过滤器缺陷三，海量数据面试题1）哈希切割一，位图我们首先由一道面试题来理解位图给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】1.遍历，时间复杂度O(N)2.排序(
花果山~程序猿·2023-11-30 17:26

大数据之 Hadoop

MapReduce对海量数据处理map函数进行数据的提取、排序，实现mapper，四个形参（输入
小裕哥略帅·2023-11-30 13:41

MapReduce的基础知识

MapReduceHadoopMapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）MapReduce是一种面向海量数据处理的一种指导思想
huan1993·2023-11-30 07:44

AntDB数据库：从海量数据处理，到5G计费商用核心

AntDB数据库自2008年研发面世以来，首先被应用于运营商的核心系统，满足运营商海量数据处理的需求。随着数字科技的不断发展，AntDB也在不断地更新迭代，逐渐地为更多行业与客户提供更全面的服务。
亚信安慧AntDB数据库·2023-11-30 03:01

阿里云数据中台核心引擎

核心引擎MaxCompute阿里离线数据计算平台（离线数仓）原名ODPS,阿里巴巴自主研发的海量数据处理平台MaxCompute处理存储在TableStore的数据（不负责收集数据到TableStore
hsabrina·2023-11-30 00:30

ODPS SQL优化总结

ODPS(OpenDataProcessingService)是一个海量数据处理平台，基于阿里巴巴自主研发的分布式操作系统(飞天)开发，是公司云计算整体解决方案中最核心的主力产品之一。
小二上酒8·2023-11-28 14:09

企业文档文件管理软件推荐：提升管理效率与数据安全性

ZohoWorkDrive企业网盘是一种高效的文件管理工具，它不仅可以为组织搭建统一、高效、安全、智能的内容管理体系，还能够提供大规模支撑、海量数据处理、非结构化数据治理、智能挖掘与洞察等服务能力。
ZOHO卓豪·2023-11-26 22:37

哈希思想的应用

哈希表适用于海量数据处理，索引，数据压缩等方面有广泛应用123.位图主要用于海量数据处理，索引，数据压缩等方面有广泛应用。位图的应用场景包括：1.给定1
万众☆倾倒·2023-11-26 16:05

Java数据结构第一讲-排序算法

常见数据结构和算法实现(排序/查找/数组/链表/栈/队列/树/递归/海量数据处理/图/位图/Java版数据结构)数据结构和算法作为程序员的基本功，一定得稳扎稳打的学习，我们常见的框架底层就是各类数据结构
程序员 jet_qi·2023-11-26 01:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他