E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
海量数据处理
重磅干货 :五万字长文总结 C/C++ 知识(上)
目录C/C++STL数据结构算法Problems操作系统计算机网络网络编程数据库设计模式链接装载库
海量数据处理
音视频其他C/C++const作用修饰变量,说明该变量不可以被改变;修饰指针,分为指向常量的指针和指针常量
公众号:肉眼品世界
·
2022-12-29 14:04
编译器
lamp
scipy
makefile
crm
后端集训营|放个大招
后端技术方向未来发展1传统互联网后台服务器系统,都是
海量数据处理
系统,都是经过单机性能优化,然后再靠堆机器,当发展到一定程度,就开始降本增效,需要极致的性能优化来减少物理成本,大厂会招聘技术高手。
极客重生
·
2022-12-28 20:58
网络
大数据
编程语言
人工智能
java
海量数据处理
目录补充1.位图应用(1)给定100亿个整数,设计算法找到只出现一次的整数(2)给两个文件,分别有100亿个整数,我们只有1G内存,如何找到两个文件的交集(3)一个文件有100亿个整数,1G内存,设计算法找到出现次数不超过2次的所有整数。2.布隆过滤器应用(1)给两个文件,分别有100亿个query,我们只有1G内存,如何找到两个文件的交集?给出近似算法。(2)如何扩展BloomFilte使得它支
GSX_M
·
2022-12-25 13:41
C++
c++
海量数据处理
位图的实现1.3位图的特点二、布隆过滤器2.1布隆过滤器的提出2.2概念2.3实现原理2.4哈希函数个数和布隆过滤器长度的选择2.5布隆过滤器的删除2.6特点2.6.1优点2.6.2缺点2.7完整代码实现三、
海量数据处理
常见面试题一
GG_Bond19
·
2022-12-25 13:06
C++
c++
数据结构
算法
海量数据处理
一:常见的题目:-1.给你A,B两个文件,各存放50亿条URL,每条URL占用64字节,内存限制是4G,让你找出A,B文件共同的URL。-2.有10个文件,每个文件1G,每个文件的每一行都存放的是用户的query,每个文件的query都可能重复。要你按照query的频度排序-3.有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16个字节,内存限制大小是1M。返回频数最高的100个词-4
huiyi789
·
2022-12-23 22:19
学习资料
数据库
大数据
面试
分布式锁与幂等性问题,如何解决?
随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问、
海量数据处理
的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
K'illCode
·
2022-12-21 13:33
redis
Redis
分布式
海量数据处理
:十道面试题与十个
海量数据处理
方法总结
1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的频率。然后再在这1000个最大的IP中,
剑儒
·
2022-12-16 07:43
算法分析
海量数据
面试题
数据结构
归并排序
排序算法
大数据介绍、集群环境搭建、Hadoop介绍、HDFS入门介绍
3.3大数据相关技术3.4海量数据存储3.5海量数据清洗3.6
海量数据处理
4.集群环境准备4.1准备虚拟机4.2修改为静态IP4.2.1配置文件4.2.2配置文件内容4.2.3重启网络
无名氏—不学代码
·
2022-12-15 15:20
big
data
hadoop
big
data
人工智能
算法学习推荐
程序员编程艺术http://blog.csdn.net/column/details/taopp.html;秒杀99%的
海量数据处理
面试题http://blog.csdn.net/v_july_v/article
三名狂客
·
2022-12-07 20:13
IT杂谈日记
算法
编程
学习编程
一文读懂计算机组成,一文读懂分布式系统到底是什么?
随着大型网站的各种高并发访问、
海量数据处理
等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。
weixin_40000131
·
2022-11-21 21:37
一文读懂计算机组成
小波变换技术在图像压缩和重建中的应用研究-含Matlab代码
目录一、引言二、小波分解与小波重构三、基于小波变换的图像压缩实验分析四、参考文献五、Matlab代码获取一、引言随着信息化技术的快速发展,各行各业越来越多的数字信息需要被存储,被保留,
海量数据处理
面临着很大的难题
matlab科研中心
·
2022-11-20 12:50
#
1.4
图像压缩技术
小波变换
wavelet
图像压缩
图像重构
Haar小波
腾讯云GPU云服务器计算型和渲染型分别适用于哪些场景?
GPU计算型应用场景海量计算处理GPU云服务器超强的计算功能可应用于
海量数据处理
方面的运算。如搜索、大数据推荐、智能输入法等:原本需要数天完成的数据量,采用GPU云服务器在数小时内即可完成运算。
有头发程序猿
·
2022-11-20 11:27
云服务器
服务器
阿里云
云计算
云服务器ECS
网络
大数据业务层架构
大数据公司专业的第三方大数据公司
海量数据处理
型公司企业内部大数据业务报表预测分析数据监控大数据业务层架构
@流浪地球
·
2022-11-17 10:51
大数据测试学习
熬夜整理,五万字长文总结 C/C++ 知识点
学C/C++的同学,收藏起来哦~C/C++知识总结目录C/C++STL数据结构算法Problems操作系统计算机网络网络编程数据库设计模式链接装载库
海量数据处理
音视频其他C/C++const作用修饰变量
程序员编程指南
·
2022-11-15 20:33
C语言与C++编程
指针
sqlite
lamp
scipy
zk
五万字长文总结 C/C++ 知识
目录C/C++STL数据结构算法Problems操作系统计算机网络网络编程数据库设计模式链接装载库
海量数据处理
音视频其他C/C++const作用修饰变量,说明该变量不可以被改变;修饰指针,分为指向常
Hikll
·
2022-11-15 20:50
电力行业
海量数据处理
如何做?看中节能、上海电气案例分享
⬆️点击图片,与专业的解决方案架构师聊一聊为实现发电、输电、变电、配电、用电的实时智能联动,电力行业开始在传统业务之上构建信息网络、通讯网络、能源网络,运用云计算、物联网等新兴技术,大力发展数字化、信息化、智能化。在应对海量时序数据处理需求时,如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重,严重阻碍数字化进程。在此背景下,一些企业开始尝试进行数据架构改造,选择适
涛思数据(TDengine)
·
2022-11-02 18:02
运维
数据库
大数据
人工智能
数据分析
2pc 对比 3pc Raft 对比 ZAB
2pc和3pc的详解与对比PENG先森_晓宇关注0.1622019.07.0116:01:20字数7,586阅读3,371随着大型网站的各种高并发访问、
海量数据处理
等场景越来越多,如何实现网站的高可用、
普通网友
·
2022-10-25 12:52
分布式
BAT机器学习面试1000题系列
之前本博客整理过数千道微软等公司的面试题,侧重数据结构、算法、
海量数据处理
,详见:微软面试100题系列,今17年,近期和团队整理BAT机器学习面试1000题系列,侧重机器学习、深度学习。
杨广帅
·
2022-10-20 23:03
机器学习
机器人学习
机器学习
机器学习面试题
机器学习面试大全
百度校招面试题
机器学习方向
分布式环境下,互斥性与幂等性问题,分析与解决思路
点击下方“IT牧场”,选择“设为星标”随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问、
海量数据处理
的场景也越来越多。
ITMuch.com
·
2022-10-19 14:56
分布式
编程语言
数据库
redis
多线程
ODPS SQL优化总结
ODPS(OpenDataProcessingService)是一个
海量数据处理
平台,基于阿里巴巴自主研发的分布式操作系统(飞天)开发,是公司云计算整体解决方案中最核心的主力产品之一。
阿里巴巴淘系技术团队官网博客
·
2022-10-17 10:14
大数据
编程语言
hadoop
数据库
python
深度学习基础知识整理
之前本博客整理过数千道微软等公司的面试题,侧重数据结构、算法、
海量数据处理
,详见:微软面试100题系列,今17年,近期和团队整理BAT机器学习面试1000题系列,侧重机器学习、深度学习。
伍德斯托克134470
·
2022-10-09 10:11
面试题:
海量数据处理
利器-布隆过滤器
优质资源分享学习路线指引(点击解锁)知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统目录*概念原理布隆过滤器的使用场景简单模拟布隆过滤器Guava布隆过滤器Redis布隆过滤器布谷鸟过滤器作者:小牛呼噜噜|
虚幻私塾
·
2022-09-29 16:08
python
计算机
五万字长文 C C++ 面试知识总结(上)
本文花费了博主大量的时间进行收集、排版:如果你觉得文章对你有帮助,帮忙点赞给博主一点鼓励~~目录C/C++STL数据结构算法Problems操作系统计算机网络网络编程数据库设计模式链接装载库
海量数据处理
音视频其他书籍复习刷题网站招聘时间岗位面试题目经验
weixin_33797791
·
2022-09-25 09:52
面试
c/c++
java
<位图(bitset)和布隆过滤器(BloomFilter)>——《C++高阶》
位图的应用1.2布隆过滤器1.2.1布隆过滤器提出1.2.2布隆过滤器概念1.2.3布隆过滤器的插入1.2.4布隆过滤器的查找1.2.5布隆过滤器删除1.2.6布隆过滤器优点1.2.7布隆过滤器缺陷2.
海量数据处理
类题目解析
新晓·故知
·
2022-09-23 07:43
《C++面向对象程序设计》
c++
开发语言
算法
数据结构
后端
spark学习day(一)
集合高阶函数处理数据的思想将要分析的数据放到集合中去,然后调用集合的高阶函数处理数据spark是什么ApacheSpark™isaunifiedanalyticsengineforlarge-scaledataprocessing.统一分析引擎为
海量数据处理
统一
不再简简单单
·
2022-09-19 11:05
spark
spark学习day(一)
spark的介绍
DM数据库安装,docker镜像
DM8采用全新的体系架构,在保证大型通用的基础上,针对可靠性、高性能、
海量数据处理
和安全性做了大量的研发和改进工作,极大提升了达梦数据库产品的性能、可靠性、可扩展性,能同时兼顾OLTP和OLAP请求,从根本上提升了
数据之心
·
2022-09-06 06:21
软件安装踩坑
数据库
docker
容器
Mysql集群搭建——主从复制
主从复制原理单机Mysql存在的问题:不能高可用,不能高并发,
海量数据处理
比较恼火。
zh_feiy
·
2022-08-21 18:58
Mysql
mysql
深度学习基础知识整理
之前本博客整理过数千道微软等公司的面试题,侧重数据结构、算法、
海量数据处理
,详见:微软面试100题系列,今17年,近期和团队整理BAT机器学习面试1000题系列,侧重机器学习、深度学习。
咚咚咚Boom
·
2022-08-21 11:57
分布式系统架构理论与组件
互联网大型网站往往面临高并发访问、
海量数据处理
等问题,必须保证系统高可用、易伸缩等等。分布式架构采用多台机器协同工作,动态伸缩
编码砖家
·
2022-07-27 11:00
mysql和mongodb的理解
4、缺点就是在
海量数据处理
的时候效率会显著变慢。二、MongoDB-非关系型数据库1、存储方式:虚拟内存+持久化。2、查询语句:是独特的MongoDB的查询方式。
SuperZXin
·
2022-07-20 13:47
数据库
mongodb
mysql
数据库
hive读取mysql数据类型_Hive 数据类型和存储格式、建表操作
本文部分内容来源《Hadoop
海量数据处理
技术详解与项目实战》人民邮电出版社一、基本数据类型数据类型所占字节开始支持版本TINYINT1byte,-128~127SMALLINT2byte,-32,768
王翰海
·
2022-07-12 09:20
hive读取mysql数据类型
Sophon AutoCV:助力AI工业化生产,实现视觉智能感知
感知智能将物理世界信号映射到数字世界,是AI工业化生产落地的必经之路,而其中视觉感知与物联感知已成为工业物联网领域的技术基石,通过与边缘计算的结合,能够有效解决AI在落地过程中面临的
海量数据处理
实时响应
·
2022-06-24 11:22
大数据
多年亿级流量下的高并发经验总结,我毫无保留的写在了这本书中
大家好,我是冰河~~今天,给大家隆重的宣布一个好消息:继出版《
海量数据处理
与大数据技术实战》、《MySQL技术大全:开发、优化与运维实战》和《深入理解分布式事务:原理与实战》之后,冰河的第4本书——《深入理解高并发编程
·
2022-06-20 00:40
多年亿级流量下的高并发经验总结,我毫无保留的写在了这本书中(CSDN创始人、总裁、副总裁联合推荐)
大家好,我是冰河~~今天,给大家隆重的宣布一个好消息:继出版《
海量数据处理
与大数据技术实战》、《MySQL技术大全:开发、优化与运维实战》和《深入理解分布式事务:原理与实战》之后,冰河的第4本书——《深入理解高并发编程
冰 河
·
2022-06-17 20:56
精通高并发系列
程序人生
精通高并发系列
并发编程
多线程
协程
异步编程
2021-12-29大数据学习日志——Hadoop离线阶段——大数据导论、Apache Zookeeper
00_课程内容大纲:(1)大数据导论数据与数据分析数据分析作用和方向(商业领域):离线分析、实时分析、ML机器学习数据分析的基本步骤(重要)大数据时代
海量数据处理
场景(重要)如何存储?
成长的小狮子
·
2022-05-28 03:56
hadoop
apache
zookeeper
MyCat数据库中间件基础入门
文章目录一、架构的演变回顾1、Web1.0&Web2.0阶段Web1.0阶段Web2.0阶段搭建集群后发生的问题2、垂直架构3、分布式架构4、
海量数据处理
5、微服务架构二、MyCat简介1、MyCAT是什么
海波booy
·
2022-04-21 02:52
分布式应用
分布式
数据库
mycat
mysql
深度学习基础知识整理
之前本博客整理过数千道微软等公司的面试题,侧重数据结构、算法、
海量数据处理
,详见:微软面试100题系列,今17年,近期和团队整理BAT机器学习面试1000题系列,侧重机器学习、深度学习。
子季鹰才
·
2022-03-28 15:14
【C++进阶】第二十四篇——布隆过滤器(概念+实现+
海量数据处理
问题)
⭐️博客代码已上传至gitee:https://gitee.com/byte-binxin/cpp-class-code目录引入概念实现整体框架插入查找删除测试代码布隆过滤器的优缺点
海量数据处理
呆呆兽学编程
·
2022-03-19 11:44
C++篇
c++
布隆过滤器
KunlunDB 快速入门2.0 (对等部署最佳实践)
一、了解对等部署KunlunDB是计算&存储分离的分布式数据库,支持
海量数据处理
,可以解决传统数据库分库&分表带来的复杂性问题。KunlunDB的核心组件如下图所示,由计算引擎和存储引擎组成。
KunlunDB
·
2022-03-16 06:43
KunlunDB
数据库
云计算
分布式
KunlunDB 快速入门2.0(对等部署最佳实践)
一、了解对等部署KunlunDB是计算&存储分离的分布式数据库,支持
海量数据处理
,可以解决传统数据库分库&分表带来的复杂性问题。KunlunDB的核心组件如下图所示,由计算引擎和存储引擎组成。
·
2022-03-14 17:35
mysqlpostgresql
Waterdrop入门
一个简单易用,高性能,能够应对海量数据的数据处理产品海量数据ETL海量数据聚合多源数据处理为什么需要Waterdrop分布式数据处理入门易,精通难太多Spark/Flink重复代码,重复逻辑可以抽象和简化
海量数据处理
挑战多
M风景
·
2022-03-01 11:35
昆仑分布式数据库架构介绍
一、前言昆仑分布式数据库集群(下文简称昆仑数据库)是一个分布式关系数据库管理系统,面向TB和PB级别
海量数据处理
,以高吞吐量和低延时处理海量数据高并发读写请求。
·
2022-02-24 16:24
Greenplum企业应用实战(笔记):第一章 greenplum简介
第一章greenplum简介[TOC]1.1greenplum的起源和发展历程针对数据密集型计算中的
海量数据处理
这一高效的数据管理功能。
凉秋_不见春暖
·
2022-02-21 12:59
redis实现轮询算法_白话分布式系统中的一致性哈希算法
分布式系统的概念和作用分布式系统常用负责均衡策略普通哈希取模策略优缺点一致性哈希算法的定义和思想一致性哈希的基本过程Redis集群中一致性哈希的实现1.分布式系统的基本概念分布式系统与高并发高可用当今高并发和
海量数据处理
等场景越来越多
weixin_39530437
·
2022-02-21 07:02
redis实现轮询算法
MapReduce的工作原理
我们知道MapReduce诞生与搜索邻域,主要解决的是
海量数据处理
扩展性差的问题。MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。
张晓天a
·
2022-02-13 19:06
Python
海量数据处理
之_Hadoop(二)概念和原理
1.说明 Hadoop是个分布式的架构,它将
海量数据处理
工作分配到集群中的多个机器上运行。前篇介绍了Hadoop的安装,在安装过程中会产生一些疑问,比如NameNode是什么东西?
xieyan0811
·
2022-02-12 20:09
Hive架构原理
Hive架构原理Hive是一个基于MapReduce的
海量数据处理
、分析工具,为我们利用Hadoop平台处理数据提供了一个简易途径我们利用MapReduce对数据所做的事大部分与关系型数据库中的SQL语句所做的相同
EuropeanSheik
·
2022-02-07 13:56
面试题
hive
架构
hadoop
大数据学习-hadoop
面对数据爆炸性增长,传统的技术架构越来越不适应当前海量数据的处理要求,Hadoop就是为应对这方面问题而产生的适合大数据的分布式存储和计算平台,并已经成为
海量数据处理
的事实标准。
笑谈1995
·
2022-02-05 22:49
mongo和mysql区别
查询语句传统sql语句架构特点可以通过副本集,分片实现高可用,集群架构拥有十分高的扩展性常见有单点、集群多种架构方式数据处理方式基于内存,将热数据存在物理内存中,从而达到高速读写不同引擎拥有自己特点,
海量数据处理
效率显著变慢事务性本身没有事务机制
jinjin1009
·
2021-11-22 16:01
分布式的基石--一致性和共识(一)
为什么要分布式分布式是为了解决传统单点系统性能低、可用性低、扩展性低的问题基于分布式的目标,可以把分布式系统进行分类:为了提高性能,应对高并发,
海量数据处理
,此类系统代表:无状态的微服务、分布式数据等为了提高可用性
·
2021-11-05 13:45
分布式一致性
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他