spark分布式

对BBC 的 DDoS 攻击可能是历史上最大的

上周针对BBC网站的分布式拒绝服务攻击可能是历史上规模最大的一次。一个自称为NewWorldHacking的组织表示，攻击达到了602Gbps。
Eliza_卓云·2024-09-01 22:50

【python】python指南（十四）：**操作符解包字典传参

大学的时候参加ACM/ICPC一直使用的是C语言，实习的时候做一个算法策略后台用的是php，毕业后做策略算法开发，因为要用spark，所以写了scala，后来用基于storm开发实时策略，用的java。
LDG_AGI·2024-09-01 21:17

使用Petals和LangChain运行大型语言模型：入门指南

Petals项目提供了一种创新的解决方案，让用户能够以分布式方式在家中运行100B+参数的语言模型。本文将介绍如何结合使用Petals和LangChain来轻松部署和使用大型语言模型。
qq_37836323·2024-09-01 20:40

4.Redis 持久化机制 分布式锁

1.持久化尽管Redis是一个内存数据库，但它支持两种持久化机制：RDB（快照持久化）和AOF（追加文件），这两种机制可以将数据写入磁盘，从而避免因进程退出而导致的数据丢失。1.1RDB（快照持久化）RDB持久化是将当前内存中的数据生成快照并保存到硬盘的过程。就像拍照一样，RDB记录的是某一时刻内存中数据的状态。RDB的特点全量快照：RDB会将内存中的所有数据记录到磁盘中。生成方式：SAVE：在主
拾柒mm·2024-09-01 19:38

折腾 Quickwit，Rust 编写的分布式搜索引擎-官方配置详解

Nodeconfiguration(节点配置)节点配置允许您为集群中的各个节点自定义和优化设置。它被分为几个部分：常规配置设置：共享的顶级属性Storage(存储)设置：在storage部分定义https://quickwit.io/docs/configuration/node-config#storage-configurationMetastore(元存储)设置：在metastore部分定义
为为少·2024-09-01 18:30

链动时代区块链存证系统丨陀螺研究院×FISCO BCOS案例专辑

区块链，一种由多方共同维护、分布式储存的记账技术，可通过信任机制的重构拓宽协作关系的纵深度，在推动产业变革、创建数字经济等方面有着关键作用。
陀螺财经·2024-09-01 17:19

一份秀出新天际的SpringCloudAlibaba笔记，把微服务玩的出神入化

此项目包含开发分布式应用微服务的必需组件，依托SpringCloudAlibaba，只需要添加一些注解和少量配置，就可以将SpringCloud应用接入阿里微服务解决方案，通过阿里中间件来迅速搭建分布式应用系统
程序员小北·2024-09-01 16:44

Redis在linux环境集群部署详细介绍

在分布式系统中，Redis作为一种高性能的内存数据库，常常被用于缓存、会话管理、实时数据分析等场景。而为了应对大规模数据存储和高可用性需求，Redis集群部署成为了必要的选择。
J老熊·2024-09-01 14:02

大数据毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统

+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；（三）使用hive数仓技术建表建库，导入.csv数据集；（四）离线分析采用hive_sql完成，实时分析利用Spark
qq_79856539·2024-09-01 11:16

基于hadoop+spark的旅游大数据分析平台

S2023132基于hadoop+spark的旅游大数据分析平台使用BeautifulSoup爬取数据，爬取成功以后使用spark分析数据，将分析的结果保存到mysql，flask读取mysql数据，结合
源码空间站11·2024-09-01 11:16

大数据毕业设计天hadoop+spark+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏大数据 机器学习 知识图谱 计算机毕业设计 机器学习 深度学习 人工智能 知识图谱

|—||一、选题的目的和意义用户往往因为不能及时查看游戏信息而造成许多烦恼。另一方面，游戏商城平台没能进行系统的管理与维护使游戏信息没能及时的更新。而传统的游戏信息管理，采用的还是手工备案、人工查询的方式。但是随之游戏信息的增多这种管理方式的工作量不断加大，这种做法就存在费时费力、缺乏时效性、不利于调动人员的积极性等缺点。一旦网站建立好之后，一方面，用户可以在第一时间在系统里查询所需的信息，另一方
2401_84159688·2024-09-01 11:45

消息中间件：深入理解 Kafka 的核心架构与组件解析

消息中间件：深入理解Kafka的核心架构与组件解析Kafka是一种流行的分布式流处理平台，广泛应用于实时数据处理和消息队列场景。
upgrador·2024-09-01 09:33

消息中间件：深入理解 Kafka的消息顺序和一致性、可靠性和高可用性 第1版

消息中间件：深入理解Kafka的消息顺序和一致性、可靠性和高可用性第1版Kafka是一种分布式消息中间件，它能够处理大规模的实时数据流，是现代分布式系统中的关键组件。
upgrador·2024-09-01 09:00

docker部署Elasticsearch和Kibana

Elasticsearch是一个开源的分布式搜索和分析引擎，用于处理大规模数据的实时搜索、分析和存储。
youm.·2024-09-01 09:59

java eventbus_【bird-java】分布式服务间的事件总线EventBus

什么是EventBusEventBus是对发布-订阅模式的一种实现。其以一种非常优雅的方式实现了组件间的解耦与通信，在Android开发、DDD等领域都有非常广泛的应用。事件流大致如下：Producer向EventBus发送事件。EventBus向所有监听了该事件的Consumer推送事件。监听了该事件的Consumer消费事件。注：一个组件即可以是Producer，也可以是Consumer。分布
一山同学·2024-09-01 09:58

【深入学习Redis丨第二篇】Redis集群部署详解

因本次为伪分布式部署，生产环境部署时建议至少3台机器部署（其中每台机器1主1从）ipport192.168.56.1017000192.168.56.1017001192.168.56.1017002192
陈橘又青·2024-09-01 09:56

速盾：海外cdn加速可以https加密吗？

CDN（ContentDeliveryNetwork）是一种分布式网络架构，通过部署在全球不同地点的节点来实现数据传输加速。
速盾cdn·2024-09-01 08:24

zookeeper分布式锁案例

zookeeper分布式锁案例文档linux安装java-centos安装java-linux配置java环境变量zookeeper单机安装zookeeper集群安装zookeeper客户端命令行操作、
shuair·2024-09-01 05:37

小白？转型？毕业生？外行学习快速入行大数据开发指南

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、
weixin_45732643·2024-09-01 03:58

SparkStreaming结合kafka将offSet保存在redis中

SparkStreaming结合kafka将offSet保存在redis中SparkStreaming结合kafka的两种方式1、SparkStreaming的高级APiCreateDStream，容易发生数据多次读取
哈哈xxy·2024-09-01 03:28

Spark Streaming+Kafka整合+offset管理

，并通过第三方存储zookeeper来手动管理offset目录前言offset管理一个完整的整合代码Demo（Java版）导入相关的Maven依赖创建通过ZK管理Offset的工具类测试类Demo前言SparkStreaming
JiahuiTian·2024-09-01 03:27

Spark(46) -- SparkStreaming整合kafka数据源

1.回顾Kafka可以看我前面kafka文章核心概念图解Broker：安装Kafka服务的机器就是一个brokerProducer：消息的生产者，负责将数据写入到broker中(push)Consumer：消息的消费者，负责从kafka中拉取数据(pull)，老版本的消费者需要依赖zk，新版本的不需要Topic:主题，相当于是数据的一个分类，不同topic存放不同业务的数据--主题:区分业务Rep
erainm·2024-09-01 03:26

springboot定时任务@Scheduled以及集群定时任务锁@SchedulerLock

@SchedulerLock代码地址：https://github.com/763977251/MyDemo/tree/main/scheduled_demo1.引入maven依赖引入mysql：因为分布式锁是基于
随时看·2024-09-01 03:22

实现分布式锁SchedulerLock

Spring提供了一种简单的方法来实现用于调度作业的API。在我们部署应用程序的多个实例之前，它运行良好。默认情况下，Spring无法处理多个实例上的调度程序同步。它在每个节点上同时执行作业。1.添加Maven依赖项net.javacrumbs.shedlockshedlock-spring2.2.02.配置数据库目前，ShedLock支持Mongo，Redis，Hazelcast，ZooKeep
雨会停rain·2024-09-01 02:52

谷粒商城实战笔记-282~283-商城业务-订单服务-提交订单的问题

主要作用解决的痛点使用方法二，283-商城业务-分布式事务-本地事务在分布式下的问题分布式事务问题解决方案分布式事务处理流程事务保证一，282-商城业务-订单服务-提交订单的问题这一节的主要内容是测试正常情况下的订单提交流程是否顺畅
小手追梦·2024-09-01 01:13

【基于Hadoop3.3.6+Spark3.4.3电商用户行为分析】

基于Hadoop3.3.6+Spark3.4.3电商用户行为分析一、摘要二、正文2.1需求分析2.2架构设计2.3实施过程2.3.1系统环境说明2.3.2系统开发思路说明2.3.4代码实现及测试2.3.5
若兰幽竹·2024-09-01 00:09

Sealos搭建K8S

Sealos的特性管理集群生命周期快速安装高可用Kubernetes集群添加/删除节点清理集群、备份与自动恢复等下载和使用完全兼容OCI标准的分布式应用OpenEBS,MinIO,Ingress,PostgreSQL
约定-今生·2024-09-01 00:08

分布式的 服务保护

下面则是主要总结的重点微服务保护服务保护方案请求限流隔离和熔断分布式事务初识分布式事务Seata需要掌握的知识:知道雪崩问题产生原因及常见解决方案能使用Sentinel实现服务保护理解分布式
绿蚁新亭·2024-08-31 22:28

122、Rust微服务：打造高性能分布式系统

Rust分布式系统：了解CAP定理、BASE理论，掌握微服务架构的设计和实现引言分布式系统是计算机科学中一个广泛研究的领域。随着互联网的快速发展，分布式系统已经成为现代软件工程中不可或缺的一部分。
多多的编程笔记·2024-08-31 21:23

折腾 Quickwit，Rust 编写的分布式搜索引擎 - 从不同的来源摄取数据

摄取API在这节教程中，我们将介绍如何使用IngestAPI向Quickwit发送数据。要跟随这节教程，您需要有一个本地的Quickwit实例正在运行。https://quickwit.io/docs/get-started/installation要启动它，请在终端中运行./quickwitrun。创建索引首先，我们创建一个无模式的索引。#Createtheindexconfigfile.cat
为为少·2024-08-31 21:51

Git的简单使用

Git是一个分布式版本控制系统，广泛用于软件开发。以下是一些常用的Git命令和使用方法：安装Git你可以从Git官方网站GitDownloads下载并安装Git。
Caihua_X·2024-08-31 21:18

Elasticsearch

ElasticsearchES概述Elasticsearch，简称为ES，是一款非常强大的开源的高扩展的分布式全文检索引擎，可以帮助我们从海量数据中快速找到需要的内容,它可以近乎实时的存储、检索数据.还可以可以实现日志统计
2301_78085386·2024-08-31 19:11

基于Spark的云南旅游大数据分析平台

一、项目概述Hi，大家好，今天分享的项目是《基于Spark的云南旅游大数据分析平台》。随着旅游业的发展和数字化进程的加速，智慧旅游已成为旅游业的重要发展方向。
Sweican·2024-08-31 19:09

Kafka入门：从零开始了解分布式流处理平台

什么是KafkaApacheKafka是由LinkedIn公司开发，后来由Apache软件基金会维护的一个分布式、分区、多副本的基于ZooKeeper协调的分布式消息系统。
犬余·2024-08-31 19:34

Hadoop技术栈

1.什么是hadoop（分布式软件框架）他提供了分步式数据存储分布式数据计算分布式资源调度为一体的整体解决方案1.1hadoop的用处可以部署在1台乃至成千上万台服务器节点上协同工作。
XingChen.·2024-08-31 16:48

Spark SQL 结构化数据处理流程及原理是什么？

SparkSQL结构化数据处理流程及原理是什么？SparkSQL可以使用现有的Hive元存储、SerDes和UDF。它可以使用JDBC/ODBC连接到现有的BI工具。
我想去吃ya·2024-08-31 16:18

幂等性浅谈

幂等性是分布式系统设计中十分重要的概念，具有这一性质的接口在设计时总是秉持这样的一种理念：调用接口发生异常并且重复尝试时，总是会造成系统所无法承受的损失，所以必须阻止这种现象的发生。
daobuxinzi·2024-08-31 15:40

浅谈幂等性

幂等性是分布式系统设计中十分重要的概念，具有这一性质的接口在设计时总是秉持这样的一种理念：调用接口发生异常并且重复尝试时，总是会造成系统所无法承受的损失，所以必须阻止这种现象的发生。
暂未成功人士-·2024-08-31 15:09

速盾：深入理解高防CDN的定义、功能与应用

高防CDN(ContentDeliveryNetwork)是一种基于分布式架构的网络加速和安全防护技术，目的是提供高效的内容传输和抵御网络攻击的能力。
速盾cdn·2024-08-31 15:38

速盾：高防cdn和普通cdn的区别？

CDN（ContentDeliveryNetwork）是指一种分布式的网络架构，是通过在不同的地理位置部署服务器节点，将静态内容缓存到离用户最近的节点上，以提供更快的访问速度和更好的用户体验。
速盾cdn·2024-08-31 15:07

速盾：cdn什么时候可以加？

CDN（ContentDeliveryNetwork，内容分发网络）是一种分布式架构的网络技术，可以提高网站的访问速度和稳定性。
速盾cdn·2024-08-31 15:07

速盾：深度解析云CDN及应用

云CDN（ContentDeliveryNetwork）是一种利用分布式节点服务器提供内容分发服务的技术。它能够将静态和动态的内容分发到离用户最近的服务器节点，从而提高用户访问速度和体验。
速盾cdn·2024-08-31 15:07

速盾：什么是cdn预热？

CDN（ContentDeliveryNetwork）是一种分布式的网络架构，通过将内容缓存到位于全球各地的服务器节点上，实现将用户请求的内容快速传输给用户的技术。
速盾cdn·2024-08-31 14:37

速盾：企业在使用高防 IP 和 CDN 时如何确保数据的安全性？

以下是一些建议：使用高级防护技术：高防IP和CDN提供了一系列的安全功能，如防火墙、DDoS（分布式拒绝服务）攻击防护等。
速盾cdn·2024-08-31 14:07

速盾：cdn能防止攻击么？

CDN可以通过分布式架构和缓存机制来分担网站的负载，减轻源服务器的压力，从而减少因过度访问而导致的服务不可用和崩溃。此外，CDN还可以
速盾cdn·2024-08-31 14:36

ElasticSearch简单介绍以及基本概念阐述

文章目录一、ES是什么二、ES主要功能1、实时数据搜索和分析：2、分布式架构：3、全文搜索：4、实时数据分析：5、多种数据类型支持：6、实时监控和可视化：7、安全性和访问控制：8、多种集成和扩展：9、总结
Run，boy·2024-08-31 14:05

c++ 分布式服务器 1

链接：https://pan.baidu.com/s/1VI749ucHLPSh71Q4gqoA9g提取码：nxalNginx服务器能处理静态请求->html,jpg动态请求无法处理服务器集群之后,每台服务器上部署的内容必须相同fastCGI帮助服务器处理动态请求nginx负载均衡反向代理服务器客户端并不能直接访问web服务器,直接访问到的是反向代理服务器客户端将请求发送给反向代理服务器,反向代理
ALIKAOvO·2024-08-31 14:33

六、SpringCloud Alibaba + Spring Boot + mybatis +数据中台+多租户saas+前后端分离之Spring Cloud Alibaba基于Nacos分布式配置中心

1.前言在上一篇文章，我们实现了基于nacos做分布式配置中心，实施的存储、更新我们的配置文件数据，在使用以往的一些配置中心时，服务重启或者注册中心重启后，配置文件数据将会丢失，这种情况是因为将数据储存在
不会写代码的女程序猿·2024-08-31 14:03

京存分布式存储强势助力自动驾驶行业！

随着自动驾驶技术的快速发展，数据存储已成为该领域的关键技术之一。自动驾驶系统涉及的数据类型繁多，包括车辆状态信息、环境感知数据、高精度地图数据、道路基础设施数据等，其规模庞大，需要高效、稳定的数据存储解决方案来满足不断增长的数据存储需求。在需求方面，自动驾驶行业要求存储系统具备高性能、高可靠性和高可用性，以支持实时数据处理和快速决策。例如，自动驾驶汽车需要实时访问大量的传感器数据、地图数据和其他相
京存高性能存储·2024-08-31 14:32

ElasticSearch简单介绍

Node）二、端口关系三、NOSql非关系性数据库1、元素（1）索引（2）类型2、特点四、元素的语法1、Restful请求2、索引3、ES数据类型一、相关概念1、ElasticSearch一个开源的高扩展的分布式全文搜索引擎
herry_liang·2024-08-31 14:32
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他