Hadoop分布式环境搭建

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel·2024-02-20 15:05

移动端自动化测试框架-unittest+appium

预备知识：APP移动端自动化基础及appium环境搭建appium元素定位APP自动化测试框架框架功能：业务功能封装、测试用例封装、测试包管理、截图出来、断言处理、日志获取、测试报告生成、测试驱动、数据配置项目目录如下部分
测试开发-东方不败之鸭梨·2024-02-20 15:44

HarmonyOS移动应用学习笔记——1.初识HarmonyOS

架构和安全HarmonyOS架构内核层系统服务层框架层应用层HarmonyOS应用服务智能分发HarmonyOS系统安全正确的人正确的设备正确地使用数据1.3HarmonyOS关键特性硬件互助，资源共享分布式软总线分布式设备虚拟化分布式数据管理分布式任务调度一次开发
WMX_0121·2024-02-20 15:10

tcp 中使用的定时器

周期性任务这是定时器最常用的一种场景，比如tcp中的keepalive定时器，起到tcp连接的两端保活的作用，周期性发送数据包，如果对端回复报文，说明对端还活着；如果对端不回复数据包，就会判定对端已经不存在了；再比如分布式系统中
王燕龙(大卫)·2024-02-20 15:33

计算机视觉与图像处理面试题,深度学习图像处理算法工程师面试题

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
ZW9·2024-02-20 15:32

深度学习+计算机语言,深度学习 计算机语言

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
中国计算机学会·2024-02-20 15:32

SpringAMQP开启“可靠性”机制

前言上一篇介绍了如何在《SpringBoot中集成和使用消息队列》，看过这一篇就基本上可以在SpringBoot中使用消息队列了，但是消息队列他归根结底是一个客户端服务器模式的中间件，面对复杂的网络环境和分布式使用环境
不摸鱼的程序员·2024-02-20 15:52

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

Strust2远程代码执行漏洞（S2-033）

环境搭建dockerpullmedicean/vulapps:s_struts2_s2-033dockerrun-d-p80:8080medicean/vulapps:s_struts2_s2-033打开
锋刃科技·2024-02-20 14:21

springboot集成Elk做日志系统（一) 环境搭建

环境搭建一、ELK介绍**Elasticsearch、Logstash、Kibana作用**二、本次采用实现日志收集的方案**logback产生日志->logstash->elasticsearch->
陌然回首7·2024-02-20 14:39

想弄明白Kafka到底是什么吗？看完这篇你就知道了！(概念、数据存储、生产者、消费者)

一.Kafka1.1.Kafka概念Kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的开源项目。
套马杆的程序员·2024-02-20 13:52

深入浅出 spring-data-elasticsearch 之 ElasticSearch 架构初探（一）

本文目录一、Elasticsearch基本术语1.1文档(Document)、索引(Index)、类型(Type)文档三要素1.2集群(Cluster)、节点(Node)、分片(Shard)分布式三要素二
Julian Wong·2024-02-20 13:04

微服务gptapi开发记录（二）网络环境搭建

在本地用一台机器++netapp内网穿透已经实现了微信公众号和gptapi对接了，但是这台机器网络存在问题就是网络问题，就是要开连gptapi，同时要用netapp连接微信公众号，+netapp就会变成公众号访问要要绕到VPN海外的入口去了？（其实我还不是很确定是不是这样，但是我开了VPN再开NETAPP，netapp初始化就会慢。所以今天为了解决两个通道的冲突1.通道一到Netapp服务器进行本
zhyhg·2024-02-20 13:50

k8s学习（RKE+k8s+rancher2.x）成长系列之简配版环境搭建（三）

3.19.切换RKE用户，并做免密登录（三台机器相互免密）surkecd~ssh-keygen[[email protected]]$ssh-copy-idrke@slaver2[[email protected]]$ssh-copy-idrke@slaver1[[email protected]][email protected].搭建RKE集群为了方便理解，我们把通RKE部署的Kubernet
日复一日伐树的熊哥·2024-02-20 13:45

浅谈秒杀系统设计思路

、618涉及问题高并发：时间短，瞬间用户量超卖：卖出量多于库存数据库超负荷：数据库甚至其他业务挂掉，导致404设计思路1.微服务服务单一职责，以微服务的设计思想设计系统，每个服务职责、功能单一，并采取分布式的部署方式
Lugton·2024-02-20 13:53

分布式秒杀系统的设计

分布式秒杀系统的设计前言不知道你在面试的过程中有没有被问到如何设计一个分布式秒杀系统?
请叫我刘星·2024-02-20 13:59

使用mediasoup-demo搭建多人音视频聊天室

一.环境搭建安装nodejs，npm，尽量使用较新的nodejs版本，最好>=node16curl-sLhttps://deb.nodesource.com/setup_16.x|sudo-Ebash-sudoaptinstallnodejs
椛茶·2024-02-20 12:20

将Spring Cloud项目改造为Spring-cloud-kubernetes项目

中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务
公众号-芋道源码·2024-02-20 12:44

Spring Boot Redis 实现分布式锁，真香

之前看很多人手写分布式锁，其实SpringBoot现在已经做的足够好了，开箱即用，支持主流的Redis、Zookeeper中间件，另外还支持JDBC。
Javaesandyou·2024-02-20 12:13

使用Spring Boot整合Redis实现分布式锁

在分布式系统中，控制并发访问是一项关键任务。分布式锁是一种常见的解决方案，用于在多个节点之间协调对共享资源的访问。Redis作为一款高性能的内存数据库，提供了一种简单而有效的方式来实现分布式锁。
#看心情·2024-02-20 12:10

Flink理论—Flink架构设计

Flink架构设计Flink是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。
不二人生·2024-02-20 12:59

DevOps - Git 版本管理

文章目录一、概述1.版本控制工具1.1.集中式版本控制工具1.2.分布式版本控制工具1.3.Git与SVN区别2.Git2.1.Git简史2.2.Git工作流程2.3.Git基本概念2.4.Git和代码托管中心
IoTHub - 物联网开源技术社区·2024-02-20 12:54

windows下GitHub中.sh文件下载的问题解决方案

Git是分布式版本控制系统，那么它就没有中央服务器的，每个人的电脑就是一个完整的版本库，这样，工作的时候就不需要联网了，因为版本都是在自己的电脑上。A.首
Anpedestrian·2024-02-20 12:18

linux4.15 arm qemu @ubuntu18.04环境搭建与bootgraph启动优化

计算机科学家DavidWheeler有一句名言：计算机科学中的任何问题都可以通过增加一个中间层来解决。这句话简洁而深刻地说明了虚拟化的思想存在于计算机科学中的各个领域。QEMU就是这种思想的一个具体实现。系统环境我们用neofetch看一下系统环境信息：neofetch&&uname-a|lolcat下载QEMU以及runtime工具sudoapt-getinstallqemulibncurses
papaofdoudou·2024-02-20 12:40

面经面经面经

2、项目中你是如何解决你这个分布式session的为啥用到redis有没有其他的解决方案3、聊一下ThreadLocal是怎么用来保存用户的信息的4、为啥要使用zuul来做入口登陆5、JVM的四种垃圾回收机制的过程讲一下
快醒醒鸭今天你编程了吗？·2024-02-20 12:04

PostgreSQL技术内幕（十三）探究MPP数据库分布式查询分发Dispatcher

Dispatcher（分布式查询分发器）是MPP数据库的核心组件，所有的查询任务都要经过其进行分发，起着沟通用户到协调者（Coordinator，即QD）和执行调度的关键作用。
·2024-02-20 12:32

XMall 开源商城 SQL注入漏洞复现(CVE-2024-24112)

0x01产品简介XMall开源电商商城是开发者Exrick的一款基于SOA架构的分布式电商购物商城前后端分离前台商城:Vue全家桶后台管理:Dubbo/SSM/Elasticsearch/Redis/MySQL
OidBoy_G·2024-02-20 11:27

celery异步框架的使用

-翻译过来是芹菜-官网：https://docs.celeryq.dev/en/stable/-吉祥物：芹菜-分布式的异步任务框架-分布式：一个任务，拆成多个任务在不同机器上做-异步任务：后台执行，不阻塞主任务
`越努力越幸运~·2024-02-20 11:56

RabbitMQ与Spring Boot如何集成？

一、RabbitMQRabbitMQ是一个开源的消息队列中间件，它实现了高效可靠的消息传递机制，可以在分布式系统中进行异步通信。
张燕沨·2024-02-20 11:54

nginx wordPress(18)

获取全套nginx教程，请访问瓦力博客上一篇记录fastcgi反向代理设置，这篇继续上一篇的环境搭建wordPress博客，如果小伙伴没有配置环境，请参考上一篇博客先搭建环境。
瓦力博客·2024-02-20 11:18

Kafka核心逻辑介绍 | 京东云技术团队

1、概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft
·2024-02-20 11:54

Redis之分布式搭建及使用快速入门

文章目录1、为什么需要用redis集群2、主从复制a、主从复制配置3、可用性保证之哨兵机制(Sentinel)4、redis分布式方案a、客户端Shardingb、代理Proxy之Twemproxyc、
菜鸟编程98K·2024-02-20 10:02

XXL-CONF v1.5.0 发布，分布式配置中心

v1.5.0新特性1、配置中心Agent服务增强：针对非Java应用提供Agent服务获取配置，提供同步、异步两种Http请求方式，原生支持long-polling（Http）的方式获取配置数据、并实时感知配置变更。同时，强化请求权限校验；2、配置同步功能：将会检测对应项目下的全部未同步配置项，使用DB中配置数据覆盖ZK中配置数据并推送更新；在配置中心异常恢复、新配置中心集群初始化等场景中十分有效
许雪里·2024-02-20 10:51

边缘计算：重塑数字世界的未来

四、展望未来一、边缘计算的概念边缘计算是一种分布式计算
GT开发算法工程师·2024-02-20 10:52

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

C#&.NET 使用RabbitMQ实现一个分布式事件总线(二)

在上文我们介绍了本地事件总线的一个简单实现，这次我们通过借助RabbitMQ,来完成分布式事件总线的设计。
郭麻花·2024-02-20 10:20

spring cloud 微服务链路追踪系统 Sleuth和zipkin 概述

分布式应用架构虽然满足了应用横向扩展的需求，但是运维和诊断的过程变得越来越复杂，例如会遇到接口诊断困难、应用性能诊断复杂、架构分析复杂等难题，传统的监控工具并无法满足，分布式链路系统由此诞生核心：将一次请求分布式调用
小哇666·2024-02-20 09:08

微服务设计：Spring Cloud 链路追踪概述

SpringCloud链路追踪是指在分布式系统中追踪请求路径的技术。它可以帮助开发者了解请求在各个微服务之间是如何流转的，以及每个微服务处理请求所花费的时间。
surfirst·2024-02-20 09:04

鸿蒙开发 之 工具安装和环境搭建

DevEcoStudio面向HarmonyOS应用及元服务开发者提供的集成开发环境(IDE)，助力高效开发。ArkTS语言ArkTS是鸿蒙生态的应用开发语言。它在保持TypeScript（简称TS）基本语法风格的基础上，对TS的动态类型特性施加更严格的约束，引入静态类型。同时，提供了声明式UI、状态管理等相应的能力，让开发者可以以更简洁、更自然的方式开发高性能应用ArkUIArkUI是一套构建分布
jiojio冲冲冲·2024-02-20 09:32

面试redis篇-01开篇

使用场景Redis的数据持久化策略有哪些什么是缓存穿透，怎么解决什么是布隆过滤器什么是缓存击穿，怎么解决什么是缓存雪崩，怎么解决redis双写问题Redis分布式锁如何实现Redis实现分布式锁如何合理的控制锁的有效时长
卡搜偶·2024-02-20 09:57

SpringCloud-基于Feign远程调用

SpringCloud是一个用于构建分布式系统的开发工具包，它提供了一系列的微服务组件，其中之一就是Feign。
Damon小智·2024-02-20 09:56

C++桌面应用开发+编译环境搭建指导

C++桌面应用开发+编译环境搭建指导此帖目的：记录本人初次使用VisualStudio2022(以下简称VS)IDE软件进行Windows桌面应用开发的环境搭建过程，以期对具有相同情况、初次使用和搭建VS
肖恩快跑~·2024-02-20 09:42

MySQL系列之数据导入导出

从树型、网络型到关系型，从集中式到分布式，均可胜任不同的业务场景和数据存储要求。在这个云时代（CloudAge），作为“轻、快、高”的代表，MySQL作为RDB的优等生，备受各行各业的青睐。
ZHOU西口·2024-02-20 09:00

Redisson 如何实现分布式锁

针对项目中使用的分布式锁进行简单的示例配置以及源码解析，并列举源码中使用到的一些基础知识点，但是没有对redisson中使用到的netty知识进行解析。
不怕天黑_0819·2024-02-20 09:42

java与javascript异同

Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。
Ian1025·2024-02-20 08:20

淘宝的十年「架构变迁」

特别说明：本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题，并非是淘宝真正的技术演进路径基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍：分布式系统中的多
程序员xysam·2024-02-20 08:18

Linux之Shell

第1章Shell概述1）Linux提供的Shell解析器有[zhao@hadoop101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy·2024-02-20 08:16

多线程、分布式运行用例

python多线程threading模块多线程实例#-*-coding:utf-8-*-#@Time:2024/2/715:50#@Author:居里夫人吃橘子#@File:class01.py#@Software:PyCharmimportthreadingfromtimeimportsleepdefrun(name):print(name+'该起床了')sleep(2)print(name+'
吃鱿鱼的大叔·2024-02-20 08:45

HarmonyOS开发篇—数据管理（分布式数据服务）

分布式数据服务概述分布式数据服务（DistributedDataService，DDS）为应用程序提供不同设备间数据库数据分布式的能力。通过调用分布式数据接口，应用程序将数据保存到分布式数据库中。
OpenHarmony_小贾·2024-02-20 08:41
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他