分布式大数据处理系统

Go 简单设计和实现可扩展、高性能的泛型本地缓存

缓存大体分为两类：本地缓存和分布式缓存（如Redis）。本地缓存适用于单机环境下，而分布式缓存适用于分布式环境下。
程序员榕叔·2024-03-19 18:01

【大数据】Flink SQL 语法篇（五）：Regular Join、Interval Join

《FlinkSQL语法篇》系列，共包含以下10篇文章：FlinkSQL语法篇（一）：CREATEFlinkSQL语法篇（二）：WITH、SELECT&WHERE、SELECTDISTINCTFlinkSQL语法篇（三）：窗口聚合（TUMBLE、HOP、SESSION、CUMULATE）FlinkSQL语法篇（四）：Group聚合、Over聚合FlinkSQL语法篇（五）：RegularJoin、I
G皮T·2024-03-19 07:16

MySQL 中的“两阶段提交”机制

两阶段提交是一种分布式事务处理策略，在MySQL中主要用来保证redolog和binlo
好奇的菜鸟·2024-03-19 05:14

有一点动心

从调查出来的大数据来看，适龄人群的不婚比例，是空前高的一个数字，越来越多的适婚人士，加入了不婚
段duan·2024-03-19 03:03

大数据开发（Kafka面试真题-卷一）

大数据开发（Kafka面试真题）1、请解释以下ApacheKafka是什么？它在大数据系统中的角色是什么？2、请解释以下Kafka的工作原理和它与传统消息队列服务的不同之处？
Key-Key·2024-03-18 23:05

什么是分布式搜索引擎

什么是分布式搜索引擎搜索引擎所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。
罗彬桦·2024-03-18 20:00

SpringBoot整合Hazelcast实现分布式缓存

一.分布式缓存代码实现步骤1.创建web项目我们按照之前的经验，创建一个web程序，并将之改造成SpringBoot项目，具体过程略。
已转行此号停用·2024-03-18 14:53

鸿蒙内核系统

一、系统设计总纲1.1鸿蒙战略设计目标全场景1.2鸿蒙操作系统目标实现的技术支撑1.2.1分布式设计1.2.2一次开发，多端部署1.2.3系统与硬件解耦，弹性部署1.3鸿蒙操作系统技术架构1.3.1内核层
junwua·2024-03-18 14:53

区块链技术的应用场景和优势

区块链技术是一种去中心化、安全、透明的分布式数据库技术，被广泛应用于各个行业。
田木木·2024-03-18 13:21

挑战杯 大数据商城人流数据分析与可视化 - python 大数据分析

0前言优质竞赛项目系列，今天要分享的是基于大数据的基站数据分析与可视化该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！
laafeer·2024-03-18 05:42

Java开发从入门到精通（七）：Java的面向对象编程OOP：常用API

Java大数据开发和安全开发（一）Java的常用API1.1Object类1.1toString1.1equals方法1.1对象克隆clone1.1Objects类1.1包装类1.1StringBuilder1.1StringBuffer1.1StringJoiner1.1Math
HACKNOE·2024-03-18 02:37

Java面试题总结18之springcloud四种分布式事务解决方案

XA规范：分布式事务规范，规定了分布式事务模型四个角色：事务管理器（协调者TM），资源管理器（参与者RM），应用程序AP，通信资源管理器CRM全局事务：一个横跨多个数据库的事务，要么全部提交，要么全部回滚
陈平安＂·2024-03-18 00:05

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄·2024-03-17 18:57

机器学习常用框架

它支持分布式计算，能够在大规模数据集上训练复杂的模型。PyTorch：由Faceboo
碧落&凡尘·2024-03-17 12:48

【Docker】Jaeger 容器化部署

Jaeger是受到Dapper和OpenZipkin启发的由UberTechnologies作为开源发布的分布式跟踪系统，兼容OpenTracing以及Zipkin追踪格式，目前已成为CNCF基金会的开源项目
轻云UC·2024-03-17 08:14

Hadoop简介

简介大数据简介概述大数据的说法从出现到现在，也经历了十多年时间的发展。
程序员小郭同学·2024-03-16 07:10

数大数据时代的关键：融合数据治理与AI为企业增值_光点科技

在数据驱动的今天，企业不能再将数据治理和人工智能（AI）视作孤立的实体。它们之间的协同作用已经成为推动企业增长的强大引擎。本文将探索数据治理与AI如何相互作用，形成闭环，以及企业如何利用这一关系来提升数据价值，实现数字化转型。数据治理与AI的依存共生数据治理是整理和优化数据的过程，以确保其质量、安全性和可用性。而AI，尤其是大模型，是解析和应用这些数据的工具。没有高质量的数据治理，AI无法发挥其最
光点数据治理·2024-03-16 07:10

2024年阿里云大数据acp认证条件

阿里云大数据acp认证考试没有条件，在校大学生、应届毕业生、在职员工均可报考。acp认证考试预约流程1.账户注册，认证人员登录阿里云认证全球培训中心网站，在页面右上角点击“立即注册”2.选择专业。
腾科教育·2024-03-16 06:38

ZooKeeper 概述

定义和功能ZooKeeper是一个开源的分布式协调服务，由Apache软件基金会托管。它主要用于解决分布式应用中遇到的一些复杂问题，如命名服务、状态同步服务、集群管理、分布式锁和队列管理等。
龙大.·2024-03-16 03:32

Redis 的 RDB 和 AOF

优点:快速恢复大数据集。子进程创建的方式减少了主进程的内存消耗。RDB文件是一个紧凑
龙大.·2024-03-16 02:31

基于ElasticSearch存储海量AIS数据-架构设计篇

面向海量AIS数据，提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计，通过对时间维按月切分，以及对空间范围聚类切分，构造了索引时空立方体，
iOS逆向·2024-03-15 23:58

分布式id生成方案

全局唯一性：算法设计确保了即使在分布式系统中也能生成全局唯一的ID。优缺点优点：实现简单，无需网络交互，保证了ID的全球唯一性。缺点：通常不能保证顺序性，ID较长，可能导致存储和索引效率低下。
陈平安＂·2024-03-15 15:17

JVM对象创建与内存分配机制分析

分配内存1）内存划分2）本地线程分配缓冲三、初始化四、设置对象头五、执行方法六、对象内存分配七、对象内存回收可达性分析算法：总结前言最新的Java面试题，技术栈涉及Java基础、集合、多线程、Mysql、分布式
旺仔爱Java·2024-03-15 15:16

Redis 除了做缓存，还能做什么？

分布式锁：通过Redis来做分布式锁是一种比较常见的方式。通常情况下，我们都是基于Redisson来实现分布式锁。
舍人_1·2024-03-15 11:39

JVM级缓存本地缓存Caffeine

GuavaCache前言一、创建缓存的代码逻辑二、Caffeine的优化方面淘汰算法W-TinyLFU三、Caffeine的业务使用总结前言最新的Java面试题，技术栈涉及Java基础、集合、多线程、Mysql、分布式
旺仔爱Java·2024-03-15 06:32

Spring Cloud面试系列-01

SpringCloud是一系列框架的有序集合，它利用SpringBoot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用SpringBoot
梦睡了·2024-03-15 02:57

挑战杯 机器学习股票大数据量化分析与预测系统 - python 挑战杯

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
laafeer·2024-03-14 18:16

探秘Elasticsearch：高性能搜索引擎的原理与应用场景（一）

首先我们将介绍Elasticsearch的基本原理，包括分布式架构、倒排索引和分片等核心概念。然后我们将深入探讨Elasticsearch的搜索原理，包括查询解析、相似度计算和布尔搜索等关键技术。
凛鼕将至·2024-03-14 13:09

Redisson

Redisson1什么是Redisson2.SpringBoot整合Redisson1什么是RedissonRedisson是一个基于Redis的java框架,用于简化Redis的操作.它提供了丰富的功能,包括:分布式集合
sp_wxf·2024-03-14 13:09

03hive数仓安装与基础使用

可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，本质上还是一个文件底层是将sql语句转换为MapReduce任务进行运行本质上是一种大数据离线分析工具学习成本相当低，不用开发复杂的mapreduce
daydayup9527·2024-03-14 13:39

【分布式websocket】聊天系统消息加密如何做

前言先介绍一下对称加密算法，在介绍一下加密流程，然后是介绍一下查询加密消息的策略。然后结合现有技术架构然后去选型。决定采用客户端解密。简而言之就是采用对称服务端加密。然后将加密内容存储到消息表的content字段。然后客户拉取content字段然后解密。拉取到消息解密后进行展示。客户存储的时候进行加密。目前已经写的文章有。并且有对应视频版本。git项目地址【IM即时通信系统（企聊聊）】点击可跳转s
呆呆呆呆梦·2024-03-14 10:34

Spark的数据结构——RDD

Alistofpartitions:在大数据领域，大数据都是分割成若干个部分，放到多个服务器上，这样就能做到多线程的处理数据，这对处理大数据量是非常重要的。分区意味着，可以使用多个线程了处理。
bluedraam_pp·2024-03-14 08:32

阿里云分布式深度学习训练架构Whale

阿里云分布式深度学习训练架构Whale阿里云分布式深度学习训练架构Whale参考文献Whale基于Tensorflow深度学习分布式训练框架|学习笔记Whale:EfficientGiantModelTrainingoverHeterogeneousGPUs
qwfys200·2024-03-14 07:30

redis实现分布式锁

分布式锁介绍在java的开发中，我们一般在需要并发访问的资源上使用加锁Lock或者synchronized来同步访问，但是只能针对单个jvm内的加锁，当系统需要在多个系统之间访问同一个受保护的资源时，就需要用到分布式锁的机制了
yongbuyanqi9467·2024-03-14 06:57

Hbase集群搭建超详细教程

hbase-site.xml3.3修改regionservers文件4、分发hbase目录5、启动HBase集群6、查看HBaseWebUI大家好，我是风云，欢迎大家关注我的博客，在未来的日子里我们一起来学习大数据相关的技术
笑看风云路·2024-03-13 09:02

flink重温笔记（十五）： flinkSQL 顶层 API ——实时数据流转化为SQL表的操作

学习了flinkSQL基础入门，主要是解决大数据领域数据处理采用表的方式，而不是写复杂代码逻辑，学会了如何初始化环境，鹅湖将流数据转化为表数据，以及如何查询表数据，结合自己实验猜想和代码实践，总结了很多自己的理解和想法
那就学有所成吧(˵¯͒¯͒˵)·2024-03-13 09:32

项目示例 - 3.降级熔断 - 2.Sentinel

项目示例-3.降级熔断-2.Sentinel关联知识：分布式微服务-3.降级熔断-3.Sentinel内容提要：注册、持久化授权注册到sentinel建Module：微服务起名为sentinel-provider
keipace·2024-03-13 07:58

大数据开发（Spark面试真题-卷一）

大数据开发（Spark面试真题）1、什么是SparkStreaming？简要描述其工作原理。2、什么是Spark内存管理机制？请解释其中的主要概念，并说明其作用。
Key-Key·2024-03-13 07:58

项目示例 - 3.服务调用 - 1.Openfeign

项目示例-3.服务调用-1.Openfeign关联知识：分布式微服务-3.服务调用-2.Openfeign内容提要：服务调用实现：原生方式、openfeign服务调用实现原生方式调用服务注册中心使用nacos
keipace·2024-03-13 07:57

CatBoost高级教程：分布式训练与大规模数据处理

导言CatBoost是一种高效的梯度提升算法，可以处理大规模数据集并支持分布式训练。在实际应用中，处理大规模数据集时，分布式训练可以大大加快模型训练的速度，并提高训练效果。
Echo_Wish·2024-03-13 05:25

MYSQL的读写扩展

1.分布式数据库有很多种：采用分库分表方式将数据路由拆分到多个数据库上；以greenplum未代表的mpp数据库架构；以tidb为代表的newSQl数据库架构。
hailang86·2024-03-12 23:16

基于HBase和Spark构建企业级数据处理平台

专注于大数据分布式计算和数据库领域，具有6年分布式开发经验，先后研发Spark及自主研发内存计算，目前为广大公有云用户提供专业的云HBase数据
weixin_34071713·2024-03-12 22:44

计算机设计大赛 疫情数据分析与3D可视化 - python 大数据

文章目录0前言1课题背景2实现效果3设计原理4部分代码5最后0前言优质竞赛项目系列，今天要分享的是大数据全国疫情数据分析与3D可视化该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！
iuerfee·2024-03-12 15:03

HDFS

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件
weixin_51987187·2024-03-12 14:32

为什么要使用ElasticSearch？

ElasticSearch是一个开源的分布式搜索和分析引擎，主要适用于以下场景：1.搜索引擎：用于快速检索文档，商品，新闻等。2.日志分析：通过分析日志数据，帮助企业了解其业务的性能情况。
z.jiaminf·2024-03-12 06:52

大数据开发（Spark面试真题-卷六）

大数据开发（Spark面试真题）1、SparkHashPartitioner和RangePartitioner的实现？
Key-Key·2024-03-12 02:16

大数据开发（Hadoop面试真题-卷二）

大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？
Key-Key·2024-03-12 02:15

游戏盾如何应对微商城网站DDoS攻击

其中，分布式拒绝服务（DDoS）攻击是一种常见的网络攻击方式，它能够通过大量的无效请求拥塞目标网站的服务器资源，导致网站无法正常服务，给商家带来巨大的经济损失和声誉损害。
qq177803623·2024-03-11 13:12

HTTP代理ip如何助旅游大数据领域？怎么去建立安全代理隧道连接？

HTTP代理IP在旅游大数据领域的应用主要体现在以下几个方面：数据抓取：旅游大数据的获取往往需要从各种在线旅游平台、社交媒体、评论网站等抓取数据。
luludexingfu·2024-03-11 13:11

Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。
勇于自信·2024-03-11 00:20
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他