海量数据处理

MySQL数据库

数据库基础1.什么是数据库数据库是有效管理数据的地方.数据库vs文件文件的安全性问题文件不利于查询和管理文件操作不方便文件不利于海量数据处理数据库介质磁盘内存2.主流数据库SQLServerOracleMySQLSQLiteH2PostgreSQL3
福地洞天·2023-04-16 12:01

Kafka 是如何实现事务的

转载：原文地址Kafka是一个高度可扩展的分布式消息系统，在海量数据处理生态中占据着重要的地位。数据处理的一个关键特性是数据的一致性。
秋慕云·2023-04-15 02:44

四大算法思想：贪心，分治，回溯，动态规划

目录1贪心算法1.1介绍1.2案例（最短路径）2分治算法2.1介绍2.2基本思想2.3解题步骤2.4应用场景2.5分治与递归的联系2.6案例（海量数据处理）2.6.1题目要求2.6.2解题思路3回溯算法
hellosc01·2023-04-14 21:10

分布式系统架构理论与组件

互联网大型网站往往面临高并发访问、海量数据处理等问题，必须保证系统高可用、易伸缩等等。分布式架构采用多台机
JavaShark·2023-04-10 21:45

海量数据的常见处理算法

海量数据的处理算法海量数据处理，就是基于海量数据上的存储、处理、操作。海量就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是无法一次性装入内存。
YY迪迪·2023-04-09 22:59

海量数据处理的常见套路，都在这里了

先来看一下都有哪些题目：•如何从大量的URL中找出相同的URL？（百度）•如何从大量数据中找出高频词？（百度）•如何找出某一天访问百度网站最多的IP？（百度）•如何在大量的数据中找出不重复的整数？（百度）•如何在大量的数据中判断一个数是否存在？（腾讯）•如何查询最热门的查询串？（腾讯）•如何统计不同电话号码的个数？（百度）•如何从5亿个数中找出中位数？（百度）•如何按照query的频度排序？（百度
傲雪滨锋·2023-04-09 18:37

71-归并排序的衍生问题

1.海量数据处理，此时要排序的数据大小为100G，内存只有1G，如何将100G数据进行排序？先将100G的大文件拆分为200个文件，每份0.5G（内存中有倒腾的余地）。
hyperNZ·2023-04-09 11:28

八大排序算法及海量数据处理

排序算法基础排序，时间复杂度O(n2)直接插入排序(稳定)冒泡排序(稳定)选择排序(不稳定)进阶排序，时间复杂度O(nlogn)快排(不稳定)归并(稳定)堆排(不稳定)1.直接插入排序(稳定)：从i=1开始遍历，提取nums[i]作为标准，排序[insertIndex,i-1]区间，排序完成之后，将nums[i]插入到insertIndex+1位置时间复杂度：O(n2)，最好On空间复杂度：O(1
ks39·2023-04-08 14:53

06_Elasticsearch 7.4.2集群部署以及X-Pack 安全配置（Es、kibana）【超详细版】

本文章收录于【Elasticsearch系列】，将详细的讲解Elasticsearch整个大体系，包括但不限于ELK讲解、ES调优、海量数据处理等。
华星详谈·2023-04-08 08:45

hadoop集群机架感知对性能调优的理解

1.查询机架信息指令：default-rack如上信息为默认的加价信息，即无机架配置2.机架感知基础Hadoop作为大数据处理的典型平台，在海量数据处理过程中，其主要限制因素是节点之间的数据传输速率。
香山上的麻雀·2023-04-08 05:00

【c++】——海量数据处理各种面试题（位图的实现和应用，布隆过滤器的应用，哈希切分）

目录一.位图1.1位图的概念1.2位图的使用场景题目一题目二题目三题目四二.布隆过滤器2.1布隆过滤器的概念2.2布隆过滤器优点2.3布隆过滤器缺点2.4布隆过滤器使用场景问题五问题六问题七一.位图1.1位图的概念位图是内存中连续二进制bit，然后对海量整数的去重和查询。在位图中，位图的下标是整数，所以整数映射到位图是位图的下标，位图存储的内容是0和1，0代表这个下标这个数是不存在的，1代表下标这
努力学习的少年·2023-04-07 21:04

C++下“哈希”，“位图”，“布隆过滤器”的简单介绍

目录1.unordered系列关联式2.C++下“hash“的简单模拟实现以及实现中遇见的问题3.哈希的应用位图位图模拟实现布隆过滤器SetN的大小删除需求布隆过滤器代码4.海量数据处理面试题位图应用布隆过滤器哈希切割
sakeww·2023-04-07 21:03

【C++、数据结构】位图、布隆过滤器、哈希切割（哈希思想的应用）

文章目录前言1.位图1.1海量数据处理思路分析：1.2位图的具体实现：1.3用位图解决问题：应用一：应用二：应用三：2.布隆过滤器2.1布隆过滤器的概念：2.2布隆过滤器的测试：2.3布隆过滤器的删除：
yy_上上谦·2023-04-07 21:25

哈希的应用 位图+布隆过滤器+海量数据处理

索引位图1.什么是位图2.实现思路3.位图的实现4.位图的应用布隆过滤器1.布隆过滤器思路2.布隆过滤器的实现3.布隆过滤器小结与应用海量数据处理（哈希切分）位图1.什么是位图先看一道面试题：给60亿个不重复的无符号整数
每天少点debug·2023-04-07 21:21

C++海量数据处理：位图和布隆过滤器

关于这道题目我们首先想到的解法就是排序二分查找，或者借助关联式容器进行求解，但是40亿个数据的数据量是非常巨大的（16G），没有办法放入内存中，所以在面对这种海量数据处理的时候，我们今天来学习位图和布隆过滤器的相关知识
又偷吃我氮泵_·2023-04-07 21:20

ElasticSearcho从入门到放弃:(一)简介, lucene,概念, 安装

文章目录一、ElasticSeach简介1.介绍2.ES可以做什么2.1信息检索2.2企业内部系统搜索2.3数据分析引擎3.ES特点3.1海量数据处理3.2开箱即用3.3作用传统数据库的补充4.ES对比
浅弋、璃鱼·2023-04-05 01:04

今日简史 6/10

警句：1、我们现在正在培育一种驯化的人类，其产生的数据量惊人，而且能够像海量数据处理装置中的高效芯片一样运行，然而这些
寒冬之城·2023-04-04 20:30

分布式环境下，互斥性与幂等性问题，分析与解决思路

随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
MarkerHub·2023-04-03 17:09

C++ 第十节 ——哈希 unordered_map/unordered_set的封装 位图 布隆过滤器 海量数据处理

我们本节继续讲解STL里的内容。哈希表又叫做散列表，它可以用来封装unordered_map和unordered_set。我们还是按照老规矩来，先介绍其用法，再介绍其原理，并引到哈希上来。目录unordered_map/unordered_set的用法unordered_map/unordered_set的底层原理1、直接定址法：2、除留余数法闭散列：二次探测开散列Unordered_map和Un
jxwd·2023-04-03 13:06

哈希应用、海量数据处理：布隆过滤器

1.布隆过滤器概念布隆过滤器是有布隆(BurtonHowardBloom)在1970年提出的一种紧凑型的、比较巧妙的概率型数据结构，特点是高效的插入和查询，可以用来告诉你"某个数据一定不存在或可能存在“，它是多个哈希函数，将一个数据映射到位图结构中，这种方法不仅可以提高查询效率，也可以节省大量的内存空间。2.布隆过滤器的操作2.1插入插入原理：采用n个字符串哈希函数，分别计算字符串的哈希地址并映射
Hey小孩·2023-04-03 12:42

DB2数据库

DB2是IBM公司研制的一种关系型数据库系统，它主要应用于大型应用系统，具有很强的海量数据处理能力，具有较好的可伸缩性教学地址可支持从大型机到单用户环境，包括DB2工作组版（DB2WorkgroupEdition
星光落入你灰蒙蒙的眼·2023-04-03 09:25

【小滴课堂】独孤求败-小滴云架构大课十八式-xdclass2022

一线案例驱动教学分18大篇章-降龙十八式，包括但不限于架构师综合设计模型/操作系统和底层网络/中间件数据结构算法/高并发底层/JVM和GC主流框架源码/消息队列/分布式缓存/系统性能优化/分布式微服务架构/海量数据处理质量保障
xdclass_565·2023-04-01 17:51

小滴课堂-海量数据处理商用短链平台大课[chenma0506]

短链平台技术栈微服务技术：新版SpringCloudAlibaba全家桶+SpringBoot2.5+Nacos2.x+MybatisPlus缓存+MQ中间件+调度：Redis6.X+RabbitMQ+Zookeeper+Kafka+XXLJob海量数据分库分表+文件存储：Mysql8.0+ShardingSphere多维度分库分表+阿里云OSS实时计算+数据处理+存储可视化：Flink1.13+
Xdclass_xiaoecf·2023-04-01 16:16

独孤求败-小滴云架构大课十八式-xdclass2022

一线案例驱动教学分18大篇章-降龙十八式，包括但不限于架构师综合设计模型/操作系统和底层网络/中间件数据结构算法/高并发底层/JVM和GC主流框架源码/消息队列/分布式缓存/系统性能优化/分布式微服务架构/海量数据处理质量保障
m0_59182483·2023-04-01 16:05

YupDB 2.0 底层架构全面升级

YupDB2.0底层架构全面升级YupDB将借鉴SharedNothing架构（MPP）的思想，对底层架构进行全面升级，从而提高复杂查询的处理能力，更加适合海量数据处理。
shaonanxu·2023-03-31 22:19

Mysql框架＜二＞ 行式存储与列式存储

偏向事务处理方向的适合：增删改查，事务处理不适合：海量数据处理OLAP联机分析处理OLAP:on-lineanalyticalprocessing为分布式数据库主要应用场景，
四库全书的酷·2023-03-31 16:36

慕了，我要是早点看到这篇写 Kafka 的分区管理的文章就好了

另外，多个订阅者可以从一个或者多个分区中同时消费数据，以支撑海量数据处理能力。顺便说一句，由于消息是以追加到分区中的，多个分区顺序写磁盘的总效率要比随机写内存还要高（引用ApacheKafka–
写代码的珏秒秒·2023-03-30 20:46

前高德地图系统架构师、中山大学博士后加盟INE，顾问团队再添技术新大牛

在分布式系统架构设计，海量数据处理，大数据算法及应用等领域具备丰富经验。肖子龙INE技术
三刀六个洞·2023-03-30 08:28

Mysql海量数据处理（亿级）

以下都是真实的工作遇见的问题和解决，希望能给各位提供一些思路和解决方案。欢迎留言探讨。环境：Linux服务器mysql5.7问题：某个业务表数据量有2亿多条，由于一开始设计的时候就做了分表，所以当前单表数据有一千多万。MySQL单表到一千多万的时候，整体性能就会下降，特别是count这类查询具体如下：图中可以很明显的看出，即使走索引字段，但是count字段也是要30秒以上，如果再稍微卡一下，那就更
名字全都被占用了·2023-03-30 03:02

seatunnel 高性能分布式数据集成平台

seatunnel的特性五、seatunnel的工作流程六、seatunnel支持的插件七、环境依赖八、安装与配置九、生产应用案例一、介绍seatunnel是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品
明月清风，良宵美酒·2023-03-30 00:00

腾讯云计算型GPU云服务器应用于哪些场景？

海量计算处理GPU云服务器超强的计算功能可应用于海量数据处理方面的运算。如搜索、
java知多少·2023-03-29 21:04

分布式系统到底是什么

随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型网站的架构也在不断发展。
wh柒八九·2023-03-29 19:27

分布式技术原理与实战45讲--00 开篇词：搭建分布式知识体系，挑战高薪 Offer

互联网发展到今天，用户数量越来越多，产生的数据规模也越来越大，应用系统必须支持高并发访问和海量数据处理的需求。
g_z_q_·2023-03-29 05:02

SpringCloudAlibaba基于nacos+feign+SpringCloudGateway组合来实现灰度发布

前言：当今，随着web2.0移动互联网的兴起，用户量的暴涨，各类网站应用的、各种APP规模也实现跨越式增长，随之而来的是各种高并发，海量数据处理的头疼问题，此时的系统架构为了使用时代，也被迫推陈出新。
坚强的码农·2023-03-29 03:11

Java实现布隆过滤器

布隆过滤器海量数据处理以及缓存穿透这两个场景让我认识了布隆过滤器，我查阅了一些资料来了解它，但是很多现成资料并不满足我的需求，所以就决定自己总结一篇关于布隆过滤器的文章。
在下令狐·2023-03-27 07:24

布隆过滤器

海量数据处理以及缓存穿透这两个场景让我认识了布隆过滤器，我查阅了一些资料来了解它，但是很多现成资料并不满足我的需求，所以就决定自己总结一篇关于布隆过滤器的文章。
每年进步一点点·2023-03-27 07:18

hadoop--伪分布式部署

2.3大数据相关技术2.4海量数据存储2.5海量数据清洗2.6海量数据处理3.集群环境准备3.1准备虚拟机3.2修改为静态IP3.3配置文件3.4配置文件内容3.5重启网络3.6查看IP3.7mobaxTerm
诗人在流浪·2023-03-26 18:14

自学大数据第十天~Hbase

随着数据量的增多,数据的类型也不像原来那样都是结构化数据,还有非结构化数据;Hbase时google的bigtable的开源实现,BigtableHbase文件存储系统GFSHDFS海量数据处理MRMR
CodeMartain·2023-03-25 17:17

海量数据处理问题

https://blog.csdn.net/v_JULY_v/article/details/6279498第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
Phoebe_Liu·2023-03-24 17:37

07_手工画图剖析Elasticsearch的分布式架构图和内部运转图

本文章收录于【Elasticsearch系列】，将详细的讲解Elasticsearch整个大体系，包括但不限于ELK讲解、ES调优、海量数据处理等。
华星详谈·2023-03-23 19:30

Java 海量数据处理方法总结

Java程序员面试宝典笔记Hash法Bit-map法Bloomfilter法数据库优化法倒排索引法外排序法Trie树堆双层桶法MapReduce法Hash法散列hash函数尽可能简单函数的值域必须在散列表的范围内尽可能减少冲突Bit-map法位图法的基本原理是使用位数组成来表示某些元素是否存在.本方法适用于海量数据的快速查找/判重/删除等等.与其说是算法,不如说是一种紧凑的数据结构.Bloomfi
bananafish·2023-03-17 02:50

文件服务器 架构,文件服务器架构规划

高性能计算云解决方案(HPCCloud)是一种高效、可靠、灵活、安全的计算服务，能够为工业设计仿真、数字建模模拟、海量数据处理等场景提供卓越的计算服务，帮助客户降低TCO，缩短产品上市周期，提升企业产品竞争力来自
学霸猫·2023-03-11 11:42

海量数据处理问题

一、方法论对于固定大小的海量数据，通常可以采用分文件+哈希统计+内存处理（堆/快速/归并排序）的方法。对于字符串数据，可以对字符串进行哈希，哈希值%n(n为分文件数量)，这样来说同一个字符串必然分配到一个文件当中，然后如果哈希均匀的话，就能够保证每个文件可以放入内存当中，在内存当中采用通用方法进行处理获得每个文件的结果，然后写到磁盘中，最后汇总或者直接在内存中汇总。对于数字，可以直接x%n（n为分
hjx_zju·2023-03-11 05:53

linux下达梦数据库安装与使用

DM8采用全新的体系架构，在保证大型通用的基础上，针对可靠性、高性能、海量数据处理和安全性做了大量的研发和改进工作，极大提升了达梦数据库产品的性能、可靠性、可扩展性，能同时兼顾OLTP和[OLAP]请求
xz060585·2023-02-22 17:52

数据分析基础技能

一、基础技能有Hadoop、Spark等平台的海量数据处理经验有数据驱动或增长黑客经验熟练使用SQL、Hive语句深入理解AB测试实验敏感度、方法论、技术整合有良好运营体系二、日常工作数据异常的排查判断是否异常
great_yuan·2023-02-17 21:51

海量数据处理面试题

1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，
expleeve·2023-02-05 11:31

我发现买不起自己出版的图书了，这到底是咋回事？

聊聊背景继出版《海量数据处理与大数据技术实战》、《MySQL技术大全：开发、优化与运维实战》和《深入理解分布式事务：原理与实战》之后，冰河于2022年6月出版了《深入理解高并发编程：核心原理与案例实战》
·2023-02-03 18:31

海量数据下查询慢、数据不一致难题如何解？看某游戏公司的技术实践

导语：复杂架构的危害是隐性且持续增长的，尤其在海量数据处理的业务场景下，导致系统吞吐量增长、各功能模块相互影响，且数据重复、维护困难。
OceanBase数据库官方博客·2023-01-11 22:27

海量数据处理

1.给一个超过100G大小的logfile,log中存着IP地址,设计算法找到出现次数最多的IP地址？如何找到topK的IP？思路：（哈希切割）1.ip本身就是一个字符串，先把ip变成一个整数hash(ip)2.文件的下标index=hash(ip)%200(把相同的字符串映射到同一个文件当中去)3.读取每个文件的内容，统计每个文件当中，ip出现的次数。用hashmap2.给定100亿个整数，设计
阿瞒有我良计15·2023-01-11 10:46

哈希表的构造之线性探测法

哈希表在我们实际生活中运用的还是相当广泛的，比如：海量数据处理的时候，当然是要在哈希上进行变通拓展的。要想能运用它就得了解它，下来我们就先从哈希表的基础说起。
lc_29503203·2022-12-31 02:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他