Hadoop分布式环境搭建

2018-07-19 sqoop

sqoop:数据从传统数据库到到hadoop的导入,导出安装：1.解压2.修改配置文件cdSQOOP_HOME/conf$mvsqoop-env-template.shsqoop-env.sh打开sqoop-env.sh
江江江123·2024-02-12 20:10

Git使用详细教程，Git零基础实战视频教程

Git是一种分布式版本控制系统，你也许会问什么是版本控制系统？那么根据我知道的学习知识来告诉你，但首先你也需要了解一下github知识，因为比较好理解吧。
我的学习机·2024-02-12 20:09

去虾皮面试，结果人都被问麻了！竟惨遭面试官的吊打

什么是虚拟内存排行榜的实现，比如高考成绩排序分布式锁实现聊聊零拷贝聊聊sync
技术栈·2024-02-12 20:03

分布式事务

分布式事务参考：知乎分享：分布式事务的4种模式4种模式（AT、TCC、Saga、XA）的分布式事务实现，均为2PC（2phasecommit），内部划分为事务参与者和协调者AT(AutomaticTransaction
ChaunhewieTian·2024-02-12 20:25

分布式环境下，互斥性与幂等性问题，分析与解决思路

传统的集中式系统已经逐渐无法满足要求，分布式系统被使用在更多的场景中。分布式系统由独立的服务器通过网络松散耦合组成。在这个系统中每个服务器都是一台独立的主机，服务器之间通过
life_niu·2024-02-12 20:23

学习笔记12-zookeeper

什么是zookeeper简介:ApacheZookeeper是一种用于分布式应用程序的高性能协调服务,提供一种集中式信息存储服务特点:数据存在内存中,类似文件系统的树形结构(文件和目录),高吞吐和低延迟
在知识的海洋里遨游·2024-02-12 19:09

C#系列-C#EF框架实现雪花主键（20）

雪花主键（SnowflakeID）是一种在分布式系统中生成唯一ID的算法，它通常是由Twitter的雪花算法演变而来。
管理大亨·2024-02-12 19:04

【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource

=spark.read.format("com.mongodb.spark.sql.DefaultSource").load()   File"/home/cisco/spark-2.4.1-bin-hadoop2
能白话的程序员♫·2024-02-12 19:33

刘润讲：区块链、比特币、ICO

一、区块链话题，很大，加密分布式记账技术。加密，是数学问题。分布式，是网络式。记账。中心话记账，转账，本身就是记账。中心话的记账，“中心”有可能出问题。分布式记账，中本聪，点对点的记账系统。记账，的
玥玥粑粑·2024-02-12 19:18

LLM的参数微调、训练、推理；LLM应用框架；LLM分布式训练

大模型基础主流的开源大模型有哪些？GPT-3：由OpenAI开发，GPT-3是一个巨大的自回归语言模型，拥有1750亿个参数。它可以生成文本、回答问题、翻译文本等。GPT-Neo：由EleutherAI开发，GPT-Neo是一个开源的、基于GPT架构的语言模型，拥有数十亿到百亿级的参数。GPT-J：也是由EleutherAI开发的，GPT-J是一个拥有60亿参数的开源语言模型。PaLM(Pathw
lichunericli·2024-02-12 19:27

浅谈路由器

一次查表，多次路由3.第三代路由器：分布式软件转发。处理能力强，接口种类多，配置灵活；转发速率小，共享总线容量限制路由器的吞吐量4.第四代路由器：基于ASIC与交换矩阵。
LYDlsj·2024-02-12 18:12

幻兽帕鲁联机服务器搭建教程：无需公网IP、无需购买云服务器，比私建FRP更稳定

《幻兽帕鲁》官服因为网络、拥挤等原因，容易遇到掉线、连接失败等问题，好在游戏允许玩家自建服务器，可以在国内网络环境搭建自己的服务器。
焦点易讯·2024-02-12 18:08

Python - PhotoMaker 初体验 - 快来 DIY 你的图像

目录一.引言二.PhotoMaker简介1.算法流程-模型架构-数据生成2.仿真生成3.风格化生成4.身份混合三.PhotoMaker初体验1.环境搭建-CondaActivate-PipInstall2
BIT_666·2024-02-12 18:05

Redis初识

开源基于键值的存储服务系统多种数据结构高性能、功能丰富Redis的特性速度快持久化多种数据结构支持多种编辑语言功能丰富简单主从复制高可用、分布式Redis特性-速度快10wops（官方10w次读写）数据存在哪
香沙小熊·2024-02-12 17:47

.NET集成DeveloperSharp生成分布式唯一ID

分布式唯一I
数字智慧化基地·2024-02-12 17:19

Hadoop分布式系统架构-MapReduce-02

1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapRedu
一直上上签X·2024-02-12 16:41

（一）Docker 在线部署和离线部署

环境：CentOS7.31.在线部署[root@hadoop004~]#yuminstall-yhttpd[root@hadoop004~]#servicehttpdstartRedirectingto
白面葫芦娃92·2024-02-12 15:51

分布式计算入门

分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。
xmvip01·2024-02-12 15:15

一文详解 Java 限流接口实现

在分布式系统中，高并发场景下，为了防止系统因突
阿里技术·2024-02-12 15:01

揭秘阿里自研搜索引擎 Havenask 在线检索服务

一、Havenask介绍Havenask是阿里巴巴广泛使用的自研大规模分布式检索系统，是过去十多年阿里在电商领域积累下来
阿里技术·2024-02-12 15:01

什么是underlay和overlay？

以太网最初设计的时候就是一个分布式的网络架构，没有中心控制节点，网络中的节点通过协议传递学习网络的可达性信息。
文思源想·2024-02-12 14:27

GlusterFS分布式复制卷搭建

目录1准备工作1.1每台机器添加一块磁盘1.2分区1.3格式化磁盘1.4挂载磁盘2安装GlusterFS2.1安装依赖2.2安装glusterfs2.3启动服务2.4存储主机加入信任存储池2.5创建分布式复制卷前面我们讲到过分布式卷的创建
wyl9527·2024-02-12 14:57

glusterfs存储卷分布卷、复制卷测试

分布式卷创建分布卷默认模式类似raid0，hash写入单个文件，节点上是单个文件[root@node1~]#glustervolumecreatetest1node1:/brick/test1volumecreate
daydayup9527·2024-02-12 14:56

GFS分布式文件系统

全局同一命名空间3.4、弹性卷管理3.5、基于标准协议四、GlusterFS术语五、GlusterFS构成六、GlusterFS的工作流程理解：七、弹性HASH算法弹性HASH算法优点八、GFS支持七种卷8.1、分布式卷
IT.cat·2024-02-12 14:56

GFS 分布式文件系统

一、GlusterFS概述1．GlusterFS简介GlusterFS是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。
「已注销」·2024-02-12 14:56

详解 GFS分布式文件系统 （条带卷/复制卷/分布式条带卷/分布式复制卷）

GFS分布式文件系统一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS工作流程6.弹性HASH算法7.GlusterFs
W.scaler·2024-02-12 14:55

Glusterfs分布式存储

扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议三、专业术语四、GlusterFS构成五、GlusterFS的工作流程1、工作流程2、弹性HASH算法六、GlusterFS常用分布式简介
忙碌滴比特流·2024-02-12 14:55

如何搭建glusterfs分布式存储系统

目录前言什么是分布式存储分布式存储的优点本章重点glusterfs相关术语glusterfs的逻辑卷类型准备6台测试服务器storage服务器安装glusterfs软件并启动分布式集群的结构配置可信池pool
MssGuo·2024-02-12 14:55

GlusterFS——分布式复制卷

、安装过程4.1先搜索可以安装的源4.2选择合适的版本进行下载安装源（这边举例最新版本）4.3执行安装4.4查看安装的版本4.5启动GFS并设为开机自启，然后可查看一下GFS状态五、GlusterFS分布式复制卷配置
康丶·2024-02-12 14:55

实操课01：自学python之路 《自学是门手艺》

Git相关知识汇总·1、Git是什么是一个分布式版本控制软件关键词：分布式、版本控制分布式既然有分布式，就有集中式，
胖师爷·2024-02-12 14:48

高并发核心技术 - 幂等性 与 分布式锁

高并发核心技术之-幂等性1.什么是幂等性幂等性就是指：一个幂等操作任其执行多次所产生的影响均与一次执行的影响相同。用数学的概念表达是这样的：f(f(x))=f(x).就像nx1=n一样，x1就是一个幂等操作。无论是乘以多少次结果都一样。2.常见的幂等性问题幂等性问题经常会是由网络问题引起的，还有重复操作引起的。场景一：比如点赞功能，一个用户只能对同一片文章点赞一次，重复点赞提示已经点过赞了。示例代
java爪哇·2024-02-12 14:46

【机器学习实战】大数据与MapReduce

MapReduce：分布式计算的框架MapReduce是一个软件框架，可以将单个计算工作分配给多台计算机执行。工作流程包括map和reduce阶段。
吵吵人·2024-02-12 12:48

git使用教程-没有更详细！！！

Git是目前世界上最先进的分布式版本控制系统。
chan7788·2024-02-12 12:14

Goland 环境搭建、编写运行程序

目录1、go环境搭建2、编写程序并运行1、go环境搭建1）下载go语言插件go1.8.7.windows-386.msi2）配置环境变量3）下载go开发工具liteide2、编写程序并运行/**1、packagemain
澄续缘·2024-02-12 12:16

SpringBoot-ElasticJob封装快速上手使用(分布式定时器)

elastic-job-spring-bootqq交流群:8123213711简介Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud
Purgeyao·2024-02-12 12:23

这才是最适合新手的python基础教程，640页超详细

最基础的编程环境搭建就做了84页的详细讲解！其他基础语法、函数、模块和包均一一精细解答。**新
程序员老冉·2024-02-12 11:50

zk01

zookeeper基础ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。提供的功能包括：命名服务、配置管理、集群管理、分布式锁、队列管理。
矮肥·2024-02-12 11:41

Git操作笔记

视频链接笔记链接托管中心维护远程库内网：可以自己搭建一个GitLab服务器外网：可以使用码云、Github版本控制工具集中式：CSV,SVN,VSS分布式：Git，Darcs,...Git命令行操作1.1
伊路顺峰·2024-02-12 11:39

Redis缓存高可用集群浅谈

Redis缓存高可用集群的创新主要体现在以下几个方面：无中心节点设计：Redis集群是一个由多个主从节点群组成的分布式服务器群，它没有中心节点，这使得集群可以水平扩展，并且可以线性扩展到上万个节点（官方推荐不超过
MarkHD·2024-02-12 10:14

Linux(Ubuntu) 环境搭建：Nginx

注：服务器默认以root用户登录NGINX官方网站地址：https://nginx.org/en/NGINX官方安装文档地址：https://nginx.org/en/docs/install.html服务器的终端中输入以下指令：#安装Nginxapt-getinstallnginx#查看版本信息nginx-v#查看服务运行状态systemctlstatusnginx#设置服务开机自启动syste
Vaciller Teeter·2024-02-12 09:42

Linux(Ubuntu) 环境搭建：MySQL

注：服务器默认以root用户登录服务器的终端中输入以下指令：#安装MySQLaptinstallmysql-server#查看版本mysql-V#查看MySQL服务状态systemctlstatusmysql#安装完成后，MySQL服务将自动启动#MySQL服务在系统启动时自动启动配置：登录到MySQL，在终端输入指令mysql-uroot，在接下来的页面中输入以下指令#修改root用户的密码AL
Vaciller Teeter·2024-02-12 09:42

Linux(Ubuntu) 环境搭建：远程终端软件(MobeXterm)

一、MobaXterm下载地址服务器的远程终端软件我选择的是：MobaXtermMobaXterm官方网站下载地址：https://mobaxterm.mobatek.net/download.htmlMobaXterm汉化版下载地址：https://github.com/RipplePiam/MobaXterm-Chinese-Simplified二、官方版本安装选择免费版本下载即可下载的安装包
Vaciller Teeter·2024-02-12 09:41

Slick2D游戏引擎基础知识和开发环境搭建

目录介绍开发环境搭建文件准备添加库文件设置VMOptionsHelloWorld示例示例程序说明介绍Slick2D是一个轻量级、跨平台的Java2D游戏引擎。
汤姆猫不是猫·2024-02-12 09:22

UUID算法：独一无二的标识符解决方案

引言在分布式系统和大数据环境下，唯一标识符的生成和管理是一项关键任务。UUID（UniversallyUniqueIdentifier）算法应运而生，成为了解决重复数据和标识符冲突的有效工具。
qcidyu·2024-02-12 08:08

UUID算法：独一无二的标识符解决方案

引言在分布式系统和大数据环境下，唯一标识符的生成和管理是一项关键任务。UUID（UniversallyUniqueIdentifier）算法应运而生，成为了解决重复数据和标识符冲突的有效工具。
qcidyu·2024-02-12 08:08

Netty应用(五) 之 Netty引入 & EventLoop

5.为什么上述这些分布式产品都使用Netty？
etcEriksen·2024-02-12 08:27

2018-11-16 hadoop3.1完全分布式部署

Hadoop3.1.0完全分布式集群部署，三台服务器部署结构如下github配置文件源码地址Pdsh使用方法http://kumu-linux.github.io/blog/2013/06/19/pdsh
Albert陈凯·2024-02-12 08:20

微服务监控 - Jaeger 简介

distributed-tracing/jaegerJaeger特性架构SpanTrace组件客户端库（clientlibraries）代理（Agent）收集器（Collector）查询（Query）Ingester小结上一篇我们讲解了分布式追踪的概念和作用以及
CatchZeng·2024-02-12 07:26

分布式系统关注点—“无状态”详解

一、初识“状态”我们首先举个例子。开发Z哥对运维Y弟喊：“Y弟，现在系统好卡，刚上了一波活动，赶紧帮我加几台机器上去顶一下。”Y弟回复说：“没问题，分分钟搞定”。然后就发现数据库的压力迅速上升，DBA就吼了：“Z哥，你丫的搞什么呢？数据库要被你弄垮了”。然后客服那边接框也爆炸了，越来越多的用户说刚登陆后没多久，操作着就退出了，接着登陆，又退出了，到底还做不做生意了。这个案例中的问题，产生的根本原因
Java大生·2024-02-12 07:09

畅购商城(十二)：接入微信扫码支付

好好学习，天天向上本文已收录至我的Github仓库DayDayUP：github.com/RobodLee/DayDayUP，欢迎Star畅购商城(一)：环境搭建畅购商城(二)：分布式文件系统FastDFS
Robod·2024-02-12 07:05
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他