分布式计算第32页

赵雪梅：伟大的预言帝

《失控》作者凯文·凯利（昵称KK）曾是美国《连线》杂志主编，在1990年代就预言了分布式计算、大数据分析、敏捷开发等互联网新事物，如今在很多互联网英雄的思维里都能看到他的影子。

赵雪梅_c120·2021-06-26 14:15

分布式理论 —— CAP 定理

从此，CAP理论正式在学术上成为了分布式计算领域的公认定理。并深深的影响了分布式计算的发展。

日常更新·2021-06-26 10:16

Hadoop基础

MapReduce：分布式计算框架。YARN：资源管理系统。Others：Hive、HBase、Pig、Mahout、Storm、Spark等。

龟龟51·2021-06-26 09:29

20190627-hadoop完全分布式环境搭建

本文搭建了一个由三节点（master、slave1、slave2）构成的Hadoop完全分布式集群（区别单节点伪分布式集群），并通过Hadoop分布式计算的一个示例测试集群的正确性。

陈海军_cad0·2021-06-25 08:39

Hadoop学习笔记—HDFS

搭建安装三个核心组件一个hadoop基本集群,牵涉三个组件:hdfs负责分布式的文件存储yarn负责分布式的资源管理mr负责分布式计算安装配置环境变量配置etc/hadoop/hadoop-env.sh

西北偏北·2021-06-25 07:40

RDD

Resilient-弹性：代表spark在分布式计算时可以容错（比如某节

糊涂蟲·2021-06-25 00:47

TensorFlow之TensorFlow计算加速

为了加速训练过程，本章将介绍如何通过TensorFlow利用GPU或/和分布式计算进行模型训练。【嵌牛鼻子】计算加速tensorflow机器学习【嵌牛提问】如何使用tensorflow进行计算机加速？

13d813107eae·2021-06-24 08:09

解析Tars-Java客户端源码

客户端初始化过程2.2、使用范例2.3、代理生成2.4、远程服务寻址方法2.5、网络模型2.6、远程调用交互模型2.6.1、写IO流程2.6.2、同步和异步调用的底层技术实现三、总结一、基本RPC框架简介在分布式计算中

·2021-06-22 17:53

云计算优点分析

云计算是分布式计算的一种特殊形式，是为远程设置可扩展、可衡量的IT资源引入了使用模型，其主要优点如下：1、减少投入和比例成本：一般使用“使用多少，相应付费”的模型租用资源，并允许他们只为实际使用的IT资源支付使用费用

不太聪明的笨笨·2021-06-22 15:55

Mongo的简介和安装

[NoSQL]数据库BJON=json=dict．NoSQL数据库：Notonlysql，指代非关系型数据库．优点：高可扩展性、分布式计算、低成本、灵活架构、半结构化数据、简化关联关系．缺点：没有标准化

BlueTT·2021-06-22 00:26

以资源为中心的计算机和现实分析

计算机中的资源，包括单机中计算(CPU)、存储(内存，硬盘)、网络，分布式计算、存储、网络等，而存储一般可以视为数据；现实中如时间、人力、资金；Worker.工作者。

型火·2021-06-21 22:43

如何搭建 MySQL 高可用高性能集群

服务所有集群服务部署完毕，我们来测试一下集群是否真的部署成功数据库集群部署成功了，总结一下集群的注意事项MySQLNDBCluster是什么MySQLNDBCluster是MySQL的一个高可用、高冗余版本，适用于分布式计算环境

·2021-06-21 12:54

基于 RMI/IIOP 的分布式一元二次方程求解系统

这就是说，RMI可采用自然、直接和功能全面的方式为您提供分布式计算机

Renaissance_·2021-06-21 02:40

netty原理分析

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获

java伯爵·2021-06-20 18:37

spark submit脚本指定传递给main方法的参数

spark是一个非常好用的大数据分布式计算框架。套话不多说，直接进入正题。

alexlee666·2021-06-20 00:28

什么是RPC？原理是什么？如何实现一个 RPC 框架？

RPC的主要功能目标是让构建分布式计算(应用)更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。为实现该目标，RPC框架需提供一种透明调用机制，让使用者不必显式的区

码农老K·2021-06-19 01:18

zookeeper概述及下载 - 雨中散步撒哈拉

1.4.3统一集群管理1.4.4服务器动态上下线1.4.5软负载均衡二、zookeeper下载1、Linux下载2、官网下载[toc]zookeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务

·2021-06-18 21:31

为什么物流行业必须选择区块链？

它创建了⼀种由分布式计算机⽹络维护的不可更改的数字账本。区块链技术的共享本质，防篡改架构和完整的透明度使其成为彻底改变我们⽬前供应链的不⾜的完美⼯具。

当当链·2021-06-15 16:58

一个作业，多个TTL-Flink SQL 细粒度TTL配置的实现(一)

(转自我的微信公众号KAMI说)Flink是当前最流行的分布式计算框架，其提供的TableAPI和SQL特性，使得开发者可以通过成熟，直观、简洁、表达力强的标准SQL描述计算逻辑，大大减少其学习、开发和维护成本

KAMIWei·2021-06-15 01:17

HBase在滴滴出行的应用场景和最佳实践

在滴滴之前，曾在新浪担任数据工程师，专注于分布式计算和存储。责编：郭芮（[email protected]），关注大数据领域。

ad4d39659223·2021-06-14 13:58

java基础——多线程

多线程使用场景:1.后台任务,比如游戏服务器2.定时向大量用户(100W)用户发邮件3.异步处理:发微博/记录日志等4.分布式计算...线程和进程区别：进程：是指一个内存中运行的应用程序，每个进程都有一个独立的内存空间

wbcra·2021-06-14 09:29

【内推】【社招/校招】字节跳动大数据和分布式计算的同学看过来~

字节跳动内推了~~~如果是社招，邮件名请以“姓名-职位”命名，发送简历到[email protected]如果是校招，直接访问投递链接:https://job.toutiao.com/s/JRDhfEv，校招内推码:XEVN9QZ如果是希望投递大数据或者流式计算方向的同学，我可以帮看简历~顺便推荐部门~其他方向的话可能我不太了解，但是欢迎同学们咨询，我会找内部相关同事进行沟通~~~发邮

廖嘉逸·2021-06-11 12:15

并发、并行和分布式（Concurrent, Parallel, and Distributed）

概述在复杂的系统开发中，经常会遇到并发编程、高并发、并行计算、分布式系统、分布式计算、分布式存储这些词语，那么这些词背后的并发、并行、分布式到底有什么区别呢？

云之华·2021-06-11 11:28

IDC企业如何选择公有云管理平台？

而随着云计算概念的引入并发展成熟，以大规模存储和分布式计算为特色的云计算也给IDC产业带来了新的挑战和机遇。

BirdCloud·2021-06-11 09:08

Hadoop完全分布式部署

一、概述概念：是一个可靠的、可伸缩的、分布式计算的开源软件。

kaliarch·2021-06-11 04:19

NOSQL

NoSQL全名为NotOnlySQL，指的是非关系型的数据库,随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来NOSQL的优点：高可扩展性，分布式计算，低成本，架构的领活性，半结构化数据

那你很棒啊o·2021-06-09 16:07

区块链开发之BTC钱包APP

每个电脑上都装有一系列的软件，这些软件就构成一个分布式计算系统，用于协调这些电脑完成相互链接、相互传递消息和通信、协调各自的任务和分工。最终这些电脑彼此交互要实现一个共同的目标——维护一

zhangchunlin·2021-06-09 09:25

初始Hadoop

1.Hadoop概述是什么：Apache™Hadoop项目是可靠，可扩展，分布式计算、分布式存储的开源软件。

Aimerwhy·2021-06-08 20:45

第10章 Spark

2013年，Spark加入Apache孵化器，目前已成为三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）2014年，打破Hadoop的排序记录特点（1）运行速度快：使用DAG调度机制

迪丽娜扎·2021-06-08 18:40

Hadoop之HDFS

Hadoop架构HDFS(HadoopDistributedFileSystem;):分布式文件存储YARN（YetAnotherResourceNegotiator）:分布式资源管理MapReduce:分布式计算

Ten_Minutes·2021-06-08 01:51

MapReduce既是编程模型又是计算框架

在Hadoop问世之前，其实已经有了分布式计算，只是那个时候的分布式计算都是专用的系统，只能专门处理某一类计算，比如进行大规模数据的排序。

tracy_668·2021-06-07 02:49

Java面试问题

三个特点三个容易混淆的概念多节点：服务的各节点集群：部署于多台服务器的服务，相同业务功能的节点消息通信：各节点通过发送消息来通信分布式系统：强调不同功能模块的节点不共享内存：分布式计算：2.session

Eoccc·2021-06-06 13:14

全网最全最新的大数据系统学习路径

EB级的数据，大数据是对海量数据进行存储、计算、统计、（想了解更多☞☞☞☞）分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算

烽火程序猿·2021-06-06 12:07

关于分布式计算框架连接kafka不满足同一消费者组不满足只有一个消费者的情况

背景：之前在做spark实时计算的时候，无意间启动了两个sparkApplication，导致了最终的结果成倍的增加，经过排查之后，确实是因为启动了两个相同的sparkapplication，当时感觉特别疑惑，也无从下手来解决这个问题。后来再做Flink实时计算的时候，也同样遇到了这样的问题，Flink官网中的一句话猛然点醒了我：IfyouhaveaproblemwithKafkawhenusin

学木·2021-06-05 19:53

Filenet技术背景简析二：系统构成与运行机制介绍

分布式数据存储、P2P网络传输、分布式计算等底层功能由IPFS协议和Mine物理设备一起完成。在IPFS中，包含两种类

壹五叁说IPFS·2021-06-05 14:41

分布式存储和计算高可用HA集群：Hadoop + HBase + Flink

Flink：基于Hadoop的DFS系统或实时输入流，实现批量作业处理和流式数据处理的分布式计算引擎，支持实时处理。三者关系如下图所示：[图片上传失败...

飞鱼007·2021-06-05 04:44

学习hadoop的一些疑问

答：Hadoop1.0Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce

烽火程序猿·2021-06-04 20:40

企业级大表关联小表的Shuffle实践

分布式计算系统的精粹在于移动计算而非移动数据，但是在实际的计算过程中，总存在着移动数据的情况。

欧万翔·2021-06-04 12:44

整天跟微服务打交道，你不会连RPC都不知道吧？

RPC功能目标RPC的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。为实现该目标，RPC框架需提供一种透明调用

Java小朔哥·2021-06-04 04:06

大并发服务器所遇问题和简单应对框架思路

服务器设计目标：高性能(HighPerformance,HP)；高可用(HighAvailability,HA)；伸缩性(Scalability)；分布式设计问题：负载均衡；分布式存储；分布式计算；大并发服务器设计和迭代更新思路

KuoGavin·2021-06-03 23:21

架构解密从分布式到微服务：对全文检索中间件的全面讲解

全文检索与消息队列中间件在前面的章节中我们学习了构建一个分布式系统所必需的各种基本知识和技能比如分布式系统的基础理论、网络编程技术、RP架构、内存计算分布式文件系统、分布式计算框架等，但仅仅掌握这些内容还是远远不够的我们还需要学习和掌握分布式系统中常用的一些中间件这些中间件主要用于分布式系统中常见的一些业务场景数据全文检索

javatiange·2021-06-03 12:36

架构解密分布式到微服务：架构实践DIY一个有难度的分布式集群

javatiange·2021-06-03 11:54

小白视角的大数据基础实践(二)Hadoop环境搭建与测试

1.简介实验环境Vmware(Ubuntu18.04)Java1.8Hadoop3.1.31.1基础知识Hadoop是一个由Apache基金会所开发的开源分布式计算平台，为了让用户可以在不了解分布式底层细节的情况下开发分布式程序

小生凡一·2021-05-31 09:52

分布式计算框架MapReduce

MapReduce概述源自于Google的MapReduce论文，论文发表于2004年2月HadoopMapReduce是GoogleMapReduce的克隆版MapReduce优点：海量数据离线处理&易开发（相对于自己开发分布式框架来说的，现在的Spark和Flink要比MapReduce更简单）&易运行（可以本地开发本地测试）MapReduce缺点：实时流式计算MapReduce编程模型Map

一杯敬朝阳一杯敬月光·2021-05-26 21:27

聊一聊分布式系统中的CAP和BASE理论

CAP理论又被称作布鲁尔定理，是由加州大学伯克利分校的EricBrewer教授在分布式计算原理研讨会（PODC）上提出。CAP是指Consistency（一

阳光大男孩!·2021-05-25 14:44

Hadoop的安装

主要提供分布式存储、分布式资源调度、分布式计算。广义上讲，Hadoop是一个生态。包含了大数据领域中的几乎所有的解决方案。

一笑何方·2021-05-24 21:45

流式计算与计算抽象化------《Designing Data-Intensive Applications》读书笔记15

上篇的内容，我们探讨了分布式计算中的MapReduce与批处理。

LeeHappen·2021-05-20 22:08

安全多方计算（一）

而安全多方计算融合了密码学和分布式计算技术，是信息安全领域的一个重要研究方向，旨在解决现实中无第三方可信任机构情况非信任的多方进行计算。

d7a17d9155ae·2021-05-19 11:33

网新关键词

PageRank）；如何积累知识（维基百科）；如何科学研究（公民科学）；如何开发软件程序（开源Linux操作系统和全球用户数排名第二的Firefox火狐浏览器都是由开源社区完成的）；如何利用空余的计算能力研究（分布式计算

xlayal·2021-05-16 05:34

边缘计算在物联网行业的应用

不看这几篇好文，就别说自己了解物联网引言边缘计算并不是诞生于物联网时代，AKAMAI作为一家内容分发网络CDN和云服务的提供商，并且是世界上最大的分布式计算服务商之一，早在2003年就和IBM合作过

HaaS技术社区·2021-05-13 15:54

推荐频道

分布式计算