分布式计算测试理论

工具系列：PyCaret介绍_Fugue 集成_Spark、Dask分布式训练

PyCaret使用Fugue来支持分布式计算场景。
愤斗的橘子·2023-12-22 12:22

大数据处理与分析

掌握分布式并行编程框架MapReduce掌握基于内存的分布式计算框架Spark理解MapReduce的工作流程、Spark运行原理熟悉机器学习概念一.MapReduceHadoopMapReduce是一个软件框架
僖僖cc·2023-12-21 22:34

测试理论知识四：大型软件的测试技巧——单元测试

1.模块测试/单元测试模块测试也被称为单元测试，本文章称单元测试为主。对于小的程序测试，我们可以在一定时间内完成，如果面对的是大型程序，等程序开发完成之后我们再进行测试，那会大大降低我们的效率。单元测试是对程序中的单个子程序、子程序或过程进行测试的过程，也就是说，一开始并不是对整个程序进行测试，而是先将注意力集中在对构成程序的较小模块的测试上面。2.单元测试的测试用例设计单元测试总体上是面向白盒测
依晴无旧·2023-12-21 21:45

【揭秘】腾讯大数据98.8秒完成100TB数据排序的架构和算法

在这次竞赛中，腾讯云数智分布式计算平台分别夺得SortBenchmark大赛GraySort和Minutesort的冠军，创造了四项世界纪录。
yoku酱·2023-12-21 21:16

使用Apache Spark比较Python和Scala for Data Science

ApacheSpark是一个分布式计算框架，可以简化和加速数据处理和分析工作流程，适用于处理大型数据集的数据科学家和工程师。它为原型设计提供统一的界面，并构建生产质量应用程序，使其特别适合敏捷方法。
Liam_ml·2023-12-21 14:40

Hadoop/Spark 太重，esProc SPL 很轻

很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。
码农翻身·2023-12-21 10:07

什么是ip数据库

2.功能与应用IP数据库的主要功能是将普通的IP地址转换为包含*、省份、城市、运营商等信息的地理位置归属数据，以帮助公司进行客户地址信息的分析、定位和分布式计算等方面的应用。
liu7322·2023-12-21 08:32

003 - 共识算法-BFT

拜占庭容错技术是一类分布式计算领域的容错技术。拜占庭假设是对现实世界的模型化，由于硬件错误、网络拥塞或中断以及遭到恶意攻击等原因，计算机和网络可能出现不可预料的行为。
Venture_Mark·2023-12-20 22:05

大数据学习(27)-Yarn总结与注意事项

它提供了一个可扩展的框架，用于处理大规模数据和分布式计算任务。YARN的主要目标是提供更高效、灵活和可扩展的
viperrrrrrr·2023-12-20 16:48

linux文件服务NFS

是分布式计算系统的一个组成部分，可实现在网络上共享和装配远程文件系统。​
Guff_hys·2023-12-20 16:25

人工智能边缘计算：连接智能的边界

1.边缘计算的基础分布式计算：边缘计算通过将计算任务推送至数据产生的地方，实现更高效的分布式计算。低延迟通信：通过减少数据传输距离，降低通信延迟，边缘计算提升了实时性。
鳗小鱼·2023-12-20 14:36

Yarn

MapReduceMapReduce的架构MapReduce是一个用于大规模数据处理的分布式计算模型MapReduce模型主要有Mapper和Reducer两个抽象类.Mapper端主要负责对数据的分析处理
海边的贝壳林·2023-12-19 22:21

风口来临！ Arex算力资源平台利用“边缘算力”制霸物联网2.0时代！

首先我们介绍一下什么是边缘计算：边缘计算是分布式计算技术的一种，分布式系统的崛起催生边缘计算平台和新的网络构架分布式AI会在最后一英里网络中增加更多的计算、智能和处理/存储能力，将引发移动端硬件和算力变革
在路上VIP666·2023-12-19 21:03

超级计算机技术：现状、挑战与未来

从早期的单处理器到现在的多处理器系统，再到分布式计算和云计算，超级计算机的硬件架构
a谷雨c·2023-12-19 19:49

成为软件测试工程师需要学什么？

成为软件测试工程师需要学习测试环境的搭建、前端开发知识、数据库知识、测试理论基础、开发语言基础、自动化测试、进阶内容。
程序员小雷·2023-12-19 15:08

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:30

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:30

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:29

亚信安慧AntDB 数据库：超融合数据库引领实时计算新时代

在这种背景下，云计算和分布式计算能力崛起，成为技术底层支撑多业务架构的关键。在此
亚信安慧AntDB数据库·2023-12-19 11:48

测试理论知识三：测试用例、测试策略

1.测试用例完全的测试是不可能的，对任何程序的测试必定是不完全的，那么，最显然的测试策略就是努力使测试尽可能完全。进行测试前，推荐先使用黑盒测试的方法设计测试用例，然后使用白盒测试方法来补充的测试用例。2.白盒测试白盒测试关注的是测试用例执行的程度或覆盖程序逻辑结构的程度。白盒测试下的用例测试的包括范围：语句覆盖、判断覆盖、条件覆盖、判定/条件覆盖、多重条件覆盖。语句覆盖：语句覆盖是指测试用例可以
依晴无旧·2023-12-19 11:49

大数据学习笔记-MapReduce（一） 入门基础理论

拆分求解合并拆分求解合并原问题子问题子问题的解结果子问题子问题的解模拟实现分布式计算：分布式计算和集中式计算相对，有些应用需要非常巨大的算力才能完成，如果采用集中式计算，需要耗费比较长的时间，分布式计算应该将该应用分解成许多小的部分
天码村·2023-12-19 10:36

MapReduce＆YARN学习入门

目录一、MapReduce概述1.分布式计算框架-MapReduce2.MapReduce执行原理3.MapReduce的运行机制二、YARN概述1.资源调度2.YARN的资源调度3.MapReduce
Exclusive_Sea·2023-12-19 10:05

3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce

HadoopMapReduce（计算）一、理解MapReduce思想二、HadoopMapReduce设计构思（1）如何对付大数据处理场景（2）构建抽象编程模型（3）统一架构、隐藏底层细节三、HadoopMapReduce介绍分布式计算概念
周纠纠·2023-12-19 10:04

ROS-分布式通信

ROS是一个分布式计算环境。==一个运行中的ROS系统可以包含分布在多台计算机上多个节点。==根据系统的配置方式，任何节点可能随时需要与任何其他节点进行通信。
彐雨·2023-12-19 06:21

测试理论知识二：代码检查与走查、错误列表、桌面检查

错误发现的越早，改正错误的成本越低，正确改正错误的可能性也越大。1.代码检查与走查代码检查、走查以及可用性测试是三种主要的人工测试方法。这些方法可以应用在软件开发的任何阶段。含义：代码检查与走查都要求人们组成一个小组来阅读或直观检查特定的程序，一组开发人员对代码进行审核，其中和只有一个人是代码的作者。优点：代码走查优点在于比原作者更为有效，而且一旦发现错误，就能在代码中对其进行精确定位，这就降低了
依晴无旧·2023-12-19 05:17

node.js分布式 mysql集群 Nginx均衡负载 Cluster模块多线程与从0到 linux 部署服务器

一、什么是分布式计算所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果
大福ya·2023-12-19 00:03

spark介绍及简单使用

使用场景：批处理：Spark支持大规模的批处理任务，通过弹性的分布式计算能力，能够处理海量数据。交互式查询：Spa
necessary653·2023-12-18 13:08

大数据分析技术与实战之Spark Streaming

Spark是基于内存的大数据综合处理引擎，具有优秀的作业调度机制和快速的分布式计算能力，使其能够更加高效地进行迭代计算，因此Spark能够在一定程度上实现大数据的流式处理。
丨程序之道丨·2023-12-18 11:30

吊打面试官的硬核法宝~阿里架构师最新总结软件测试面试宝典

1测试理论2Linux基础3MySQL基础4Web测试5API测试6App测试7管理工具8Python基础9Selenium相关10性能测试11LordRun
程序员威子·2023-12-18 10:56

2018-06-14

Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x：HDFS：分布式文件系统，存储MapReduce：分布式计算
hoose·2023-12-17 09:26

Flink 简介

Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数
lz_matlab·2023-12-17 09:09

Hadoop，Hive和Spark大数据框架的联系和区别

1Hadoophadoop是一个分布式计算框架，是大数据处理的基石，大多其他框架都是以hadoop为基础。
Weiyaner·2023-12-17 06:00

软件测试理论

含义：使用技术手段来验证软件是否满足使用需求目的：减少软件缺陷，保障软件质量单元测试：对模块/函数进行的测试集成测试：把多个模块/函数组装到一起进行的测试系统测试：计算机程序结合外设+网络等其他元素进行的测试（比如:qq执行者：测试人员）验收测试：主要以用户为主进行的测试，分为Alpha测试+Beta测试（面试题）Alpha测试：把用户请到开发方对软件进行测试，测试环境受开发方控制，测试人少，测试
bubbleJessica·2023-12-17 02:08

浅谈MapReduce

MapReduce是一个抽象的分布式计算模型，主要对键值对进行运算处理。用户需要提供两个自定义函数：map：用于接受输入，并生成中间键值对。
garagong·2023-12-17 00:22

MapReduce

用户只需实现map()和reduce()两个函数，即可实现分布式计算。在Map阶段，接受输入数据并将其分解成一系列的键值对。这些键值对会被传送到对应的Reduce任务中进行处理。
编织幻境的妖·2023-12-16 20:21

云计算、边缘计算、雾计算

目录云计算边缘计算雾计算云计算云计算是基于互联网的计算模式，允许用户通过网络获取计算资源、存储资源、数据库等服务，无需了解和管理底层云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序
C000kie·2023-12-16 17:16

gRPC 一种现代、开源、高性能的远程过程调用 （RPC） 可以在任何地方运行的框架

它也适用于最后一英里分布式计算，用于连接设备、移动应用程序和浏览器后端服务。
码农小旋风·2023-12-16 11:13

总结一

一、测试理论1.软件分类单机版：不需要联网的软件分布式：需要联网C/S：需要下载客户端B/S：直接浏览器打开即可2.软件测试原则（7大原则）穷尽测试不可能尽早介入测试测试显示软件存在缺陷杀虫剂悖论缺陷集群性
KiKi_2005A·2023-12-16 02:12

如何在海量数据中判断某个数据是否存在？

通常我们有以下解决思路：将海量数据分散存储到多个文件中去，依次将每个文件载入内存进行判定；使用多台机器进行分布式计算，每台机器完成各自任务；使用布隆过滤器
封心_SH·2023-12-16 02:25

云计算核心技术

它可以被看成是网格计算和虚拟化技术的融合：即利用网格分布式计算处理的能力，将IT资源构筑成一个资源池，再加上成熟的服务器虚拟化、存储虚拟化技术，以便用户可以实时地监控和调配资源。云计算更多的是指
空心木偶☜·2023-12-16 01:14

玩转大数据14：分布式计算框架的选择与比较

分布式计算框架提供了一种有效的方式来解决大数据处理的问题。分布式计算框架将计算任务分解成多个子任务，并在多个节点上并行执行，从而提高计算效率。
沛沛老爹·2023-12-15 22:13

【基础知识】Hadoop生态系统

Hadoop是一个开源的分布式计算框架,主要用于大数据的存储和处理，即一个包含多种组件的综合分布式系统,组件相互协作完成从数据存储到计算分析的完整功能。
偏振万花筒·2023-12-15 12:40

Spark 单机搭建实战指南

摘要：本文将详细介绍如何在单台机器上搭建Spark分布式计算框架，涵盖环境准备、安装配置、运行测试等多个方面，帮助读者轻松上手Spark开发。
wcuuchina·2023-12-15 07:13

Ray构建GPU隔离的机器学习平台

Ray框架介绍Ray是一个开源分布式计算框架，在机器学习基础设施中发挥着至关重要的作用。Ray促进分布式机器学习训练，使机器学习从业者能够有效利用多个GPU的能力。
数据与后端架构提升之路·2023-12-14 22:57

软件测试拿到项目之后该怎么做？请仔细看完这篇文章

学习软件测试最关键的就是项目实战，如果说我们单纯的学了很多的软件测试理论基础或者很多工具和技术的话，但是没有项目实战去演练，那么面试还是被淘汰。
鱼鱼说测试·2023-12-14 19:13

【Python百宝箱】数据巨轮启航：Python大数据处理库全攻略，引领数据科学新浪潮

本文旨在为读者提供一份全面的指南，介绍了Python中几个重要的大数据处理库，从分布式计算到数据存储再到与Pandas的衔接。
friklogff·2023-12-14 18:22

理解 Spark 写入 API 的数据处理能力

ApacheSpark是一个开源的分布式计算系统，提供了强大的平台用于处理大规模数
小技术君·2023-12-14 12:23

IT程序员面试题目汇总及答案-计算机面试

我最后采用了一种分布式计算的方法，将数据分散到多个计算机上进行处理，从而大大提高了处理速度。问题2：请你解释一下什么是面向对象编程（OOP）？答案2：面向对象编程是一种编程模式，
a谷雨c·2023-12-06 03:58

当发送“Hello，World”时，channel发生了什么？

Cassandra-nosql数据库Spark-大数据分布式计算框架Hadoop-大数据
仙草不加料·2023-12-05 22:53

Flink 快速入门

其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。
知而行2016·2023-12-05 21:28
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他