HADOOP学习之路

这是我见过的最适合小白的 PyTorch 中文课程

只是，很多小伙伴还没来得及开启学习之路，一个最重要的问题就摆在了面前：PyTorch，该怎么学呢？
机器学习社区·2024-01-13 02:17

Flink

GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘，可以处理海量数据；Spark基于内存，性能提高百倍，微批（500ms）；Flink基于
三半俊秀·2024-01-13 01:53

地表最强的学习法之一 费曼学习法 ：世界公认最高效！

从古至今，国内国外，学习之路是所有人的必经之路。但又有几个人能自信地说：自己很会学习呢？在学校，班里的学生几乎是在同一地点，同一段时间内接受到的相同课程教育，为什么学生之间的接受程度是层次不齐的呢？
abc360英语·2024-01-13 00:10

设置5台SSH互免的虚拟机服务器配置

步骤如下——1、准备五台机器服务器名字服务器IPhadoop1192.168.31.130hadoop2192.168.31.131hadoop3192.168.31.132hadoop4192.168.31.133hadoop5192.168.31.134
朱季谦·2024-01-12 23:24

hadoop(4)--NameNode元数据管理

这是分享的第四篇文章了，可能有些小伙伴看到标题后，很纳闷，完全是跳跃式的，NameNode是什么呢？NameNode是管理元数据的，这个和大数据有什么关系呢？对了，就爱带着问题去探索，NameNode是HDFS的一个组件，可以说一个进程，HDFS中共有三个组件NameNode,DataNode,SecondNameNode。这三个都是做什么的呢？NameNode:管理元数据的DataNode:保存
ROCK_杰哥·2024-01-12 22:41

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

ZooKeeper 安装与部署

1.1认识Zookeeper介绍Zookeeper前，看下面这个图：在这张图片里，我们可以看到Hadoop是一只大象，HIVE是一只蜜蜂，Bigtop是马戏团，Pig是一只猪，HAMA是一只河马…只有Zookeeper
Destiny_-Sky·2024-01-12 18:48

Linux学习笔记——ZooKeeper集群安装部署

5.8、ZooKeeper集群安装部署5.8.1、简介Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，是Hadoop和HBase的重要组件。
kxttmx·2024-01-12 18:16

Zookeeper安装与部署

由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如Hadoop、HBase、Kafka和Dubbo等大型分布式系统中。一个分布式系统最多只能同时满足一致性
HRX98·2024-01-12 18:12

zookeeper下载安装部署

zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目的一个子项目，并根据google发表的一篇论文来实现的。
倚-天-照-海·2024-01-12 18:38

莫让干部教育培训成了新的“形式主义”

莫让干部教育培训成了新的“形式主义”习近平总书记指出，“年轻干部成长，要走好学习之路。善于学习，就是善于进步。”干部教育培训工作作为一项先导性、基础性、战略性工程，事关全局。
工作使我精神·2024-01-12 17:54

Hadoop常用命令

启动Hadoop所有进程：start-all.sh关闭Hadoop所有进程：stop-all.sh单进程启动：start-dfs.sh和start-yarn.sh分别启动HDFS和YARNhdfsdfs-xxx
在努力的Jie·2024-01-12 16:16

Hadoop 的核心 —— HDFS（1）

首先来看看Hadoop是什么？
土冥王·2024-01-12 16:13

(无人机方向)ros小白学习之路(四)ROS通信机制---服务通信

文章目录前言ROS服务通讯定义应用场景实现0.Server注册1.Client注册2.ROSMaster实现信息匹配3.Client发送请求4.Server发送响应服务通信自定义srv创建功能包,然后创建srv文件夹,再创建Addints.srv用Vscode编写此文件编写package.xml编写CMakeLists.txt文件注意==不要把自定义文件的有关CMakeLists放在最后一行设置,
会变身的火娃·2024-01-12 16:16

kafka下载安装部署

它现在是Apache旗下的一个开源系统，作为hadoop生态系统的一部分，被各种商业公司广泛应用。
倚-天-照-海·2024-01-12 15:25

Hbase2.1 集群搭建

Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了Hadoop3.2集群搭建了，本次我们将继续紧接着搭建Hbase集群。
kikiki2·2024-01-12 15:31

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
数据萌新·2024-01-12 14:31

解决java连接Hbase程序卡住执行也不报错的问题

程序运行不知多久，就报错了（截取一行有用的）：java.net.UnknownHostException:cannotresolvehadoop01,1
向他一样rap·2024-01-12 14:37

查询速度提升15倍！银联商务基于 Apache Doris 的数据平台升级实践

为更好提供数据服务，银联商务实现了从Hadoop到ApacheDoris的架构升级，使数据导入性能提升2-5倍、ETL场景性能提升3-12倍、查询分析响应速度提升10-15倍，满足大规模数据导入和实时极速查询的业务需求
SelectDB技术团队·2024-01-12 13:28

GBASE南大通用 GBase 8a 产品构建数仓系统架构

架构技术实现特点适用场景独立数据仓库（集市）系统架构一套GBase8a物理集群适用于数据规模较小的业务场景适用于各业务之间数据互访较频繁的业务场景适用于单一独立的业务场景企业级数仓系统架构多套GBase8a物理集群，根据需要搭配Hadoop
GBASE数据库·2024-01-12 12:04

Hive安装与配置

注意：Hive的安装与配置建立在Hadoop已安装配置好的情况下。hadopp安装与配置Hive的基本安装从官网下载Hive二进制包，下载好放在/opt目录下。
qq_58647543·2024-01-12 11:50

关于hive在运行insert时失败原因刨析

yarn容器最大内存、容器最小内存等Theclasstouseastheresourcescheduler.yarn.resourcemanager.scheduler.classorg.apache.hadoop.yarn.server.resourcemanager.scheduler
Alonzo de blog·2024-01-12 08:57

hadoop分布式文件系统

Hadoop分布式文件系统分布式文件系统：管理网络中跨多台计算机存储的文件系统称为分布式文件系统。
Alonzo de blog·2024-01-12 08:27

【数据库学习】hive

1，HIVEHadoop的数据仓库处理工具，数据存储在Hadoop兼容的文件系统（例如，AmazonS3、HDFS）中。
兔兔西·2024-01-12 08:50

基于JavaWeb+BS架构+SpringBoot+Vue基于hive旅游数据的分析与应用系统的设计和实现

文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》源码获取文末获取源码Lun文目录1概述51.1研究背景51.2研究意义51.3研究内容52关键技术介绍72.1Java介绍72.2MySql数据库72.3Hadoop
FREE技术·2024-01-12 07:01

Spark基础

pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepandas更新最新版本pippython-mpipinstall--upgradepip1、启动服务Hadoop
中长跑路上crush·2024-01-12 07:33

开启golang学习之路

Go编程语言是一个开源项目，旨在提高程序员的工作效率。Go富有表现力、简洁、干净且高效。它的并发机制使编写能够充分利用多核和联网机器的程序变得容易，而其新颖的类型系统可以实现灵活和模块化的程序构建。Go可以快速编译为机器代码，同时还具有垃圾收集的便利性和运行时反射的强大功能。它是一种快速、静态类型的编译语言，感觉就像一种动态类型的解释语言。下载golang官网下载地址：https://golang
aiee·2024-01-12 06:51

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive

说明Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223·2024-01-12 06:08

黑猴子的家：Redis 客户端访问

1、一个端口[root@hadoop102redis-3.2.5]#redis-cli2、多个端口客户端访问有多个端口的情况下[root@hadoop102redis-3.2.5]#redis-cli-p63793
黑猴子的家·2024-01-12 03:21

Linux操作系统下，彻底删除MySQL

背景：部署Hive时，遇到了无法访问数据库的问题；此时Linux中的环境是，已安装MySQL-8.0.35的版本，JDK8和Hadoop-3.3.4版本；然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw·2024-01-12 02:59

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry·2024-01-12 00:41

Hadoop伪集群模式搭建MAC版[Linux依旧适用]

[TOC]Hadoop1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略，但是启动的时候，每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹，应该能发现.ssh，如果没有就安装
zZeroZz·2024-01-12 00:45

SystemVerilog学习之路（5）— 结构体、枚举类型和字符串

SystemVerilog学习之路（5）—结构体、枚举类型和字符串一、前言在SystemVerilog中可以和C语言一样使用typedef来创建新的类型，这样通过和结构体的配合便可以自定义我们想要的数据类型了
Willliam_william·2024-01-12 00:48

如何寻找到相对完整的真正的游戏的源码 用来学习？

在游戏开发的学习之路上，理论与实践是并重的两个方面。对于许多热衷于游戏开发的学习者来说，能够接触到真实的、完整的游戏源码无疑是一个极好的学习机会。但问题来了：我们该如何寻找到这些珍贵的资源呢？
SiKi学院·2024-01-11 22:26

Flutter 学习之路（十三）获取手机权限

使用Flutter开发APP中当然会使用到获取手机权限的问题，例如：获取相机权限、相册权限、蓝牙权限等。那我们Flutter中如何获取手机权限呢？其实已经有人为我们处理好了权限获取问题，我们要做的就是使用就可以了。首先我们我们要引入这个库dependencies:permission_handler:^8.0.0+2剩下的就是对这个类的封装了。这里呢我创建了一个权限管理类，在这将要使用到的权限都处
王 哪跑！！！·2024-01-11 21:54

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
ThoughtWorks·2024-01-11 17:47

《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-11 16:21

【2019-05-06】map reduce工作机制

mapreduce作业运行机制Hadoop运行mapreduce作业的工作原理（1）作业提交Job的submit()方法创建一个内部的JobSubmitter实例，并且调用其submitJobInternal
BigBigFlower·2024-01-11 15:31

Python学习之路-注释

Python学习之路-注释将注释放在Python语法前面足以提现它的重要性。注释的作用一个好的程序中注释是不可缺失的一环。在程序中对某些代码进行标注说明，可以增强程序的可读性。
geobuins·2024-01-11 13:46

Python学习之路-语法

Python学习之路-语法简介Python的设计目标之一是让代码具备高度的可阅读性。在设计时尽量使用经常使用的标点符号和英文单字，让代码看起来整洁美观。
geobuins·2024-01-11 13:46

Python学习之路-常量与变量

Python学习之路-常量与变量程序就是用来处理数据的，而常量和变量就是最简单用来存储数据的常量定义声明在文件的顶部命名规范全部大写单词间用下划线分隔变量定义变量在使用前都必须要要进行赋值，只有被赋值后变量才会被创建命名规范一般情况当变量名需要由二个或多个单词组成时
geobuins·2024-01-11 13:46

Python学习之路-运算符

Python学习之路-运算符简介上一篇讲到Python中的语句提到很多运算符，本篇来总结一下各类运算符的作用与用法。
geobuins·2024-01-11 13:44

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】文章目录1HA集群基础配置1.1创建系统为Centos7（Linux）的虚拟机1.2基本网络配置1.3连接FinalShell2NTP时间同步和免密登录
小伍_Five·2024-01-11 11:50

NameNode: Permission denied&无法启动Hadoop解决方法

NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys授权，解决方法如下：把产生的公钥文件放置到authorized_keys文件中，命令如下：[root@node1etc]#cat~/.ssh/id_rsa.pub>>~/.ssh
eyexin2018·2024-01-11 09:46

【Java8新特性】- Optional应用

Java8新特性-Optional应用生命不息，写作不止继续踏上学习之路，学之分享笔记总有一天我也能像各位大佬一样一个有梦有戏的人@怒放吧德德分享学习心得，欢迎指正，大家一起学习成长！
一个有梦有戏的人·2024-01-11 09:06

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop
Movle·2024-01-11 08:43

搭建时间服务器并配置集群自动时钟同步

搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器（一）为什么要搭建时间服务器因为Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。
Y先生的领地·2024-01-11 08:58

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Hadoop安装遇到的一些问题

image.pngimage.png解决选择CentOs.vmx无反应问题：image.png打开之后，选择Poweron之后，选择Imovedit：第一次点mved，以后点copiedroot登陆，密码：hadoop
博弈史密斯·2024-01-11 07:30
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他