Hadoop系统架构

系统架构26 - 软件架构设计（5）

特定领域软件体系结构定义不同定义必备特征领域基本活动领域分析领域设计领域实现参与人员建立过程特定领域软件体系结构的主要目的是在一组相关的应用中共享软件体系结构。定义DSSA(DomainSpecificSoftwareArchitecture)就是在一个特定应用领域中为一组应用提供组织结构参考的标准软件体系结构。对DSSA研究的角度、关心的问题不同导致了对DSSA的不同定义。不同定义HayesRo
银龙丶裁决·2024-02-14 22:56

HDFS用户及权限配置

HDFS用户及权限配置使用linux用户bruce，格式化hadoop的namenode，那么bruce成为hdfs的超级用户在bruce用户下运行命令：#创建/user/hadoop目录hadoopfs-mkdir-p
wpheternal·2024-02-14 21:42

Hadoop(HDFS)的超级用户

Hadoop(HDFS)的超级用户超级用户超级用户即运行namenode进程的用户。宽泛的讲，如果你启动了namenode，你就是超级用户。超级用户干任何事情，因为超级用户能够通过所有的权限检查。
zinger.wang·2024-02-14 21:12

HDFS的超级用户

一.解释原因HDFS(HadoopDistributedFileSystem)和linux文件系统管理一样，也是存在权限控制的。
重剑DS·2024-02-14 21:41

架构分类：软件架构、系统架构。

转自：微点阅读https://www.weidianyuedu.com在实际工作中，我们经常听到“架构”和“架构师”这样的名词，并不新鲜，但是总让很多刚入门的人感觉很神秘，甚至是高深莫测。很少有人对“架构”有全面的了解和认识能并说清楚架构是什么，更谈不上掌握了。事实上，也只有极少数人能成为或者被冠以“架构师”这样的title。为此，笔者总结了对架构的一些理解，希望能够补充很多初入门的人在这方面认识
ysds20211402·2024-02-14 18:53

软件架构与系统架构：区别与联系的分析

软件架构与系统架构：区别与联系的分析在信息技术领域，软件架构和系统架构这两个术语经常被提及。尽管它们在某些方面有重叠，但它们确实代表了不同的概念和聚焦点。
爱编程的鱼·2024-02-14 18:51

什么是Serverless？

在某些场景可以解读为一种软件系统架构方法，通常称为Serverless架构关于Serverless的定义，简单讲就是ServerlessComputing，由FaaS+BaaS（BackendasaService
向上的车轮·2024-02-14 15:01

Ubuntu14.04系统-操作技巧

查看用户所属的组groupsyour-usernamesudochown-Ryour-username:your-group##查看查看系统是32位还是64位sudouname--a显示内核/主机名/内核版本/系统架构
一銤阳光·2024-02-14 12:43

阿里面试：设计一个大并发、大数据的系统架构，说说设计思路

尼恩说在前面在40岁老架构师尼恩的读者交流群(50+)中，最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格，遇到很多很重要的面试题：请设计一个支持大并发/大数据的软件架构，说说设计思路。最近有小伙伴在面试阿里，又遇到了相关的面试题。小伙伴懵了，因为没有遇到过，所以支支吾吾的说了几句，面试官不满意，面试挂了。所以，尼恩给大家做一下系统化、体系化的梳理，使得大
40岁资深老架构师尼恩·2024-02-14 12:09

Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践

一、前言随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。二、
yiyidsj·2024-02-14 07:08

学习总结 - swift适配器 为 Hadoop 的存储层增加对 OpenStack Swift 的支持

虽然文档内所涉及的版本有点旧，但内容很精彩，值得推荐背景在Hadoop中有一个抽象文件系统的概念，它有多个不同的子类实现，由DistributedFileSystem类代表的HDFS便是其中之一。
天地不仁以万物为刍狗·2024-02-14 07:37

C# Hadoop学习笔记

记录一下学习地址http://www.360doc.com/content/14/0607/22/3218170_384675141.shtml转载于:https://www.cnblogs.com/TF12138/p/4170558.html
第八个猴子·2024-02-14 07:37

hadoop HDFS的API封装

Configuration类：该类的对象封装了客户端或者服务端的配置。FileSystem类：该类的对象是一个文件系统对象，可以用该队想的一些方法来对文件进行操作。FSDataInputStream和FSDataOutputStream：这两个类是HDFS中的输入输出流。基本流程：得到Configuration对象得到FileSystem对象进行文件操作（读写、删除、改名）所需引入的库import
Cynicism_Kevin·2024-02-14 07:37

Hive的小文件问题

Reduce的数量3.2已存在的小文件合并3.2.1方式一：insertoverwrite(推荐)3.2.2方式二：concatenate3.2.3方式三：使用hive的archive归档3.2.4方式四：hadoopgetmerge
爱吃辣条byte·2024-02-14 06:11

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣
Dimple七·2024-02-14 06:41

高并发系统的设计(1)

所以只能横向扩展,一台不够用两台,两台不够用4台,如果系统架构设置得当,横向扩展将非常容易,而且可以根据流量进行弹性扩容缩容但横向扩展又会引入新的问题,典型的CAP
Fuly1024·2024-02-14 05:32

系统架构25 - 软件架构设计（4）

软件架构复用软件产品线定义分类原因复用对象及形式基本过程软件产品线软件产品线是指一组软件密集型系统，它们共享一个公共的、可管理的特性集，满足某个特定市场或任务的具体需要，是以规定的方式用公共的核心资产集成开发出来的。即围绕核心资产库进行管理、复用、集成新的系统。定义软件复用是指系统化的软件开发过程：开发一组基本的软件构造模块，以覆盖不同的需求/体系结构之间的相似性，从而提高系统开发的效率、质量和性
银龙丶裁决·2024-02-14 04:11

【系统架构2】面向对象的设计原则

单一责任原则。就一个类而言，应该仅有一个引起它变化的原因。即当需要修改某个类的时候原因有且只有一个，让一个类只做一种类型责任开放-封闭原则。软件实体（类、模块、函数等）应该是可以扩展的，即开放的；但是不可修改，即封闭的。里氏替换原则。子类型能够替换掉他们的基类型。即在任何父类可以出现的地方都可以用子类的示例来赋值给父类型的引用。依赖倒置原则。抽象不应该依赖于细节，细节应该依赖于抽象。即高层模块不应
七镜·2024-02-14 03:33

带你了解软件系统架构的演变

随着信息技术的飞速发展，软件系统架构作为支撑软件系统的核心框架，也在不断地演变和进步。本文旨在带你了解软件系统架构的发展历程，从而更好地理解现代软件系统的构建和设计。
白猫a~·2024-02-14 02:59

大数据开发之Sqoop详细介绍

备注:测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
只是甲·2024-02-14 01:17

系统架构设计笔记（36）—— 面向对象的分析与设计

面向对象方法是一种非常实用的软件开发方法，它一出现就受到软件技术人员的青睐，现已成为计算机科学研究的一个重要领域，并逐渐成为软件开发的一种主要方法。面向对象方法以客观世界中的对象为中心，其分析和设计思想符合人们的思维方式，分析和设计的结构与客观世界的实际比较接近，容易被人们接受。在面向对象方法中，分析和设计的界面并不明显，它们采用相同的符号表示，能够方便地从分析阶段平滑地过渡到设计阶段。此外，在现
deniro·2024-02-14 01:33

一文彻底搞懂Redis的三种集群模式

所谓的高可用，也叫HA（HighAvailability），是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果在实际生产中，如
澡澡洗澡澡·2024-02-13 22:24

Ubuntu16.04下HBase安装笔记

基础准备JDKHadoopSSHServer下载HBasehttps://hbase.apache.org/tar-zxvfhbase-1.4.2-bin.tar.gzsudomvhbase-1.4.2
bluexiii·2024-02-13 22:48

利用 Docker 安装 Hadoop 集群并通过 Java API 访问 HDFS

前言最近刚好在学习Hadoop，在安装过程中遇到了一些小麻烦，正好将此次过程记录并分享出来，希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成，如何安装Ubuntu本文不再赘述。
qq_33419925·2024-02-13 21:38

hadoop(十三)—自定义排序

这节课我们一起学习Hadoop的自定义排序，Hadoop是有一套默认的排序规则的，但是这往往不能满足我们多样化的需求，为了让排序更多样化，这就需要用到我们本节课所要学习的自定义排序功能。
文子轩·2024-02-13 20:13

YARN体系结构指南

1.简介hadoop-0.23引入的新体系结构将JobTracker的两个主要功能：资源管理和作业生命周期管理分为不同的组件。
盗梦者_56f2·2024-02-13 16:45

大数据处理为何选择Spark，而不是Hadoop

Spark的各个组件2.HadoopHad
嘿嘿海海·2024-02-13 14:00

node.js+koa+MySQL跳蚤市场网站83381-计算机毕业设计项目选题推荐（免费领源码）

2.2系统流程分析2.2.1数据增加流程2.3.2数据修改流程2.3.3数据删除流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4系统用例分析2.5本章小结3跳蚤市场网站总体设计3.1系统架构设计
QQ_3376098506·2024-02-13 13:14

java+ssm+mysql宠物领养系统08465-计算机毕业设计项目选题推荐（免费领源码）

宠物领养系统系统分析2.1可行性分析2.2系统流程分析2.2.1数据流程3.3.2业务流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4系统用例分析2.5本章小结3宠物领养系统总体设计3.1系统架构设计
QQ_3376098506·2024-02-13 13:13

hadoop 分布式集群安装与原理

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理
海牛大数据_青牛老师·2024-02-13 12:44

一二三应用开发平台使用手册——系统管理模块整体介绍

即使一个平台或系统架构优秀、设计合理、代码优雅，但文档缺失，对于平台的使用方而言，熟悉成本高、难度大。不可避免存在疑问，需要动手尝试验证或翻看源码才能确定系统的实际处理逻辑，效率低下。
学海无涯，行者无疆·2024-02-13 09:25

Windows 安装Redis教程

以下是一个详细的安装教程：1.下载Redis访问Redis官方网站下载页面：https://redis.io/download选择适用于Windows的安装包，通常有两个版本：x64和x32，根据你的系统架构选择合适的版本
love6a6·2024-02-13 08:41

带你了解软件系统架构的演变

软件系统架构的演变是一个不断适应技术进步和业务需求变化的过程。从早期的单体架构到现代的微服务架构，软件架构经历了几个主要的演变阶段。以下是对这些演变阶段的概述，以及一些工作实践、项目复盘和职场感悟。
Y T·2024-02-13 08:30

小猿圈之Hadoop优化

Hadoop框架是现在最主流的的框架之一，越来越多的人去学习，那么你对hadoop的理解是什么？hadoop一定要会优化，那怎么优化呢，小猿圈今天说一下，感兴趣的朋友可以看看小猿圈写的这篇文章。
小猿圈加加·2024-02-13 05:38

Java从入门到精通

JavaSE，掌握Java语言本身、Java核心开发技术以及Java标准库的使用；2、如果继续学习JavaEE，那么Spring框架、数据库开发、分布式架构就是需要学习的；3、如果要学习大数据开发，那么Hadoop
nightluo·2024-02-13 01:52

Datax ETL工具源码研究

Kittle优点：与大数据Hadoop结合比较好，功能比较齐全，强大，支持数据库，文件数据读写，界面拖拽方式操作；缺点：
Spring1985·2024-02-13 01:57

RunLoop 的底层实现

为了解释这个逻辑，下面稍微介绍一下OSX/iOS的系统架构。
二斤寂寞·2024-02-13 00:41

【嵌入式开发】72

【嵌入式开发】哈佛结构（HarvardArchitecture）是一种计算机系统架构，与冯·诺依曼结构（VonNeumannArchitecture）相对。
少年郎123456·2024-02-13 00:33

2018-07-19 sqoop

sqoop:数据从传统数据库到到hadoop的导入,导出安装：1.解压2.修改配置文件cdSQOOP_HOME/conf$mvsqoop-env-template.shsqoop-env.sh打开sqoop-env.sh
江江江123·2024-02-12 20:10

智能家居控制系统设计与实现

1.系统架构设计智能家居控制系统的架构设计是系统设计的重要一环。需要考虑到系统的可扩展性、稳定性和安全性。通常包括设备控制模块、通信模块、用户界面模块等。
迷璃学妹·2024-02-12 20:10

分布式环境下，互斥性与幂等性问题，分析与解决思路

为了解决这一系列问题，系统架构也在不断演进。传统的集中式系统已经逐渐无法满足要求，分布式系统被使用在更多的场景中。分布式系统由独立的服务器通过网络松散耦合组成。
life_niu·2024-02-12 20:23

【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource

=spark.read.format("com.mongodb.spark.sql.DefaultSource").load()   File"/home/cisco/spark-2.4.1-bin-hadoop2
能白话的程序员♫·2024-02-12 19:33

Hadoop分布式系统架构-MapReduce-02

1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapRedu
一直上上签X·2024-02-12 16:41

（一）Docker 在线部署和离线部署

环境：CentOS7.31.在线部署[root@hadoop004~]#yuminstall-yhttpd[root@hadoop004~]#servicehttpdstartRedirectingto
白面葫芦娃92·2024-02-12 15:51

【知识整理】接手新技术团队、管理团队

前期准备1、熟悉情况：熟悉人员，不同人员职责熟悉方向，大方向上的计划熟悉工程，当前进展2、建立沟通渠道：不同职责人员的沟通渠道/群分离，避免干扰信息技术团队：RD、PM、QA后台研发组：后端RD3、梳理当前系统架构
卢卡上学·2024-02-12 15:03

python设计模式pdf_精通python设计模式

作者用实际生活中的例子带你了解常用的python设计模式，介绍了诸多有关编写Python风格代码的底层细节和概念，包括故障排除、实践、系统架构和设计原则等，能够帮你解决许多常见都会遇到的问题，非常适
weixin_39612733·2024-02-12 13:29

zk01

zookeeper基础ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。提供的功能包括：命名服务、配置管理、集群管理、分布式锁、队列管理。
矮肥·2024-02-12 11:41

业务流程

这一阶段的输出通常是需求文档、系统架构设计、数据库设计等。1.需求文档需求文档是一份非常重要的文档，它详细描述了系统的需求和功能。
.:::.·2024-02-12 10:53

2018-11-16 hadoop3.1完全分布式部署

Hadoop3.1.0完全分布式集群部署，三台服务器部署结构如下github配置文件源码地址Pdsh使用方法http://kumu-linux.github.io/blog/2013/06/19/pdsh
Albert陈凯·2024-02-12 08:20

hadoop-YARN

ApacheHadoopYARN百度百科：https://baike.baidu.com/item/yarn/16075826?
weixin_33736649·2024-02-12 07:44
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他