Hadoop核心技术

现成Hadoop安装和配置，图文手把手交你

为了可以更加快速的可以使用Hadoop，便写了这篇文章，想尝试自己配置一下的可以参考从零开始配置Hadoop，图文手把手教你，定位错误资源1.两台已经配置好的hadoop2.xshell+Vmware链接
叫我小唐就好了·2024-02-08 03:56

阅读《极客时间 | Kafka核心技术与实战》（一）【Kafka入门】

阅读《极客时间|Kafka核心技术与实战》为什么要学习Kafka消息引擎系统ABC一篇文章带你快速搞定Kafka术语我应该选择哪种Kafka？
_蓝天IT_·2024-02-08 01:13

Spark Standalone 集群配置

ApacheMesos-一个通用的集群管理器，也可以运行HadoopMapReduce和服务应用程序。（已弃用）HadoopYARN-Hado
董可伦·2024-02-07 23:01

Hadoop系统应用之Zookeeper分布式集群部署

一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包（地址）https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/2.上传安装包（SecureCRT&FX）通过软件FX将安装包上传到linux系统的/export/software/目录下3.解压Zookeeper安装包执行
-牧心-·2024-02-07 22:31

Hadoop | 集群配置（一）使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令

文章目录参考资料一、前言二、rsync远程同步工具三、使用shell编写分发脚本四、总结参考资料视频链接Linuxscp命令一、前言在Hadoop完全分布式集群环境下，里面的各个节点都是通过SSH免密登陆连接的
「已注销」·2024-02-07 21:20

贝特瑞BTR全球品牌理念片震撼发布！

任何困难也阻挡不了胸怀豪志的BTRBTR掌握新能源核心技术。。。。。。每一个文字的提练都凝结着朝日传媒团队不懈努力与辛勤付出同时，也见证着中国民族品牌走向世界的豪情壮志！一次次
朝日传媒·2024-02-07 20:22

【hadoop】集群搭建之部署mysql并远程访问（连接）

的roo账号密码并连接mysql（四）更改默认密码并创建testdb数据库（五）将mysqljdbc驱动引入ider中的java项目里（六）通过jdbc连接（访问）mysql(使用ider)（七）创建hadoop
db_lcz_2014·2024-02-07 18:32

学习大数据需要掌握哪些知识？

而且不论是学习hadoop，还
大数据学习01·2024-02-07 15:16

CentOS7集群配置免密登录

准备工作提前开启三台虚拟机hadoop102、hadoop103,hadoop104,关于三台虚拟机的安装可以参考：https://mp.csdn.net/mp_blog/creation/editor
在下区区俗物·2024-02-07 12:00

CentOS7搭建Hadoop集群

集群环境搭建（3台）-CSDN博客2、配置虚拟机之间免密登录，参考：CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk，参考：CentOS7集群安装JDK1.8-CSDN博客4、下载Hadoop
在下区区俗物·2024-02-07 12:57

请问半吊子 C++选手该如何深入学习 C++?

java是典型的后台语言，能和netty、hadoop、hbase-、elastics
枪哥玩转嵌入式·2024-02-07 11:21

Redis核心技术与实战【学习笔记】 - 29.Redis的未来猜想，基于 NVM内存

前言这几年，新型非易失存储（Non-VolatileMemory，NVM）器件发展得非常快。NVM器件具有容量大、性能快、能持久报错数据的特性，这些刚刚就是Redis追求的目标。同时NVM器件像DRAM一样，可以让软件以字节粒度进行寻址访问，所以，在实际应用中，NVM可以作为内存来使用，称为NVM内存。Redis作为内存键值数据库，如果能和NVM内存结合起来使用，可以充分享受到这些特性。大胆猜测，
陈建111·2024-02-07 11:11

Redis核心技术与实战【学习笔记】 - 26.Redis数分布优化（应对数据倾斜问题）

简述在切片集群中，数据会按照一定的规则分散到不同的实例上保存。比如，RedisCluster或Codis会先按照CRC算法的计算值对Slot（逻辑槽）取模，同时Slot又有运维管理员分配到不同的实例上。这样，数据就被保存到相应的实例上了。这种方法虽然实现起来比较简单，但是很容易导致一个问题：数据倾斜。数据倾斜有两类：数据量倾斜：在某些情况下，实例上的数据分布不均衡，某个实例上的数据特别多。数据访问
陈建111·2024-02-07 11:10

Redis核心技术与实战【学习笔记】 - 28.Redis 6.0新特性（多线程、客户端缓存与安全）

简述Redis6.0新增了几个关键新特性，分别是面向网络处理的多IO线程、客户端缓存、细粒度的权限控制，以及RESP3协议的使用。其中，面向网络处理的多IO线程可以提高网络请求处理的速度，而客户端缓存可以让应用直接在客户端本地读取数据，这两个特性可以提升Redis的性能。除此之外，细粒度权限控制让Redis可以按照命令粒度控制不同用户的访问权限，加强了Redis的安全保护。RESP3协议则增强客户
陈建111·2024-02-07 11:08

hadoop集群搭建踩坑实录

由于不可控以及不可知的原因我搭建的hadoop集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过
温文尔雅的流氓·2024-02-07 10:39

Hadoop分布式计算实验踩坑实录及小结

目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_·2024-02-07 10:08

A股市场：核心技术突破两金股望涨停

周二沪深两市在周期板块和金融板块上涨带动下呈现强势反弹，盘中沪指收复3100点整数关口，创业板市场盘中出现小幅反弹。从盘面看，煤炭、钢铁、水泥等周期性板块盘中呈现全线活跃，板块涨幅均超2%以上，保险、银行、券商等金融股盘中走强；地产、酿酒、家电、石油等行业盘中跟风上涨。题材板块方面，草甘膦、保障房、特钢、次新股、铁路基建等概念盘中走强，盘中次新股再度出现涨停潮。总体来看，周二市场在金融权重股以及周
鑫衡·2024-02-07 09:58

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

Redis核心技术与实战【学习笔记】 - 27.限制Redis Cluster规模的因素（通信开销）

简述RedisCluster能保存的数据量以及支撑的吞吐量，跟集群实例规模相关。Redis官方给出了RedisCluster的规模上线，就是一个集群运行1000个实例。其实，限定RedisCluster集群规模的一个关键因素就是，实例间的通信开销会随着实例规模的增加而增大，在集群超过一定规模时（比如800节点），集群吞吐量反而会下降。所以，集群的实际规模会受到限制。1.实例间通信方法和对集群规模的
陈建111·2024-02-07 07:13

《Redis核心技术与实战》学习笔记0——开篇词 | 这样学Redis，才能技高一筹

开篇词|这样学Redis，才能技高一筹文章目录开篇词|这样学Redis，才能技高一筹为什么懂得了一个个技术点，却依然用不好Redis？作为键值数据库，Redis的应用非常广泛，如果你是后端工程师，我猜你出去面试，八成都会被问到与它相关的性能问题。比如说，为了保证数据的可靠性，Redis需要在磁盘上读写AOF和RDB，但在高并发场景里，这就会直接带来两个新问题：一个是写AOF和RDB会造成Redis
夢想家吖·2024-02-07 06:30

《Redis核心技术与实战》学习笔记1——基本架构：一个键值数据库包含什么？

基本架构：一个键值数据库包含什么？文章目录基本架构：一个键值数据库包含什么？可以存哪些数据？可以对数据做什么操作？采用什么访问模式？如何定位键值对的位置？不同操作的具体逻辑是怎样的？如何实现重启后快速提供服务？小结我们知道，Redis是典型的键值数据库，所以今天，我准备手把手地带你构建一个简单的键值数据库。为啥要这么做呢？还记得我在开篇词说过吗？Redis本身比较复杂，如果我们一上来就直接研究一个
夢想家吖·2024-02-07 06:53

win10 spark scala 本地运行wordcount

注意每次修改环境变量都要重启cmd本机运行需要hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin
疯琴·2024-02-07 06:06

同是ZooKeeper，你和架构师的理解差在哪里？

Dubbo，Kafka,Hadoop等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗？如果面试官让你给他讲讲ZooKeeper是个什么东西，你能回答到什么地步呢？
l鹿狸i·2024-02-07 06:12

Hadoop-IDEA开发平台搭建

1.安装下载Hadoop文件1）hadoop-3.3.5将下载的文件保存到英文路径下，名称一定要短。
Snower_2022·2024-02-07 05:02

【实验1】分布式模式的CentOS 6上安装Hadoop（1个master节点，2个slave节点）

实验环境：二、实验内容与步骤（过程及数据记录）：1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆HadoopSlave3
-借我杀死庸碌的情怀-·2024-02-07 05:31

在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验

一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥：mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中scpid_rsa.pubh1@对方机器IP：~/.ssh/authorize
Clearlove灬Star·2024-02-07 05:01

合肥工业大学2022大数据技术实验二

实验序号及名称：实验二在Hadoop平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在Hadoop平台上部署WordCount程序。
一头骇人鲸·2024-02-07 05:00

hadoopwordcount代码分析

输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer;用来对字符串进行切importorg.apache.hadoop.fs.Path
姹紫_嫣红·2024-02-07 05:57

【实验2】在Hadoop平台上部署WordCount程序

HDFS6.分布式文件系统HDFS上的编程实践6.1安装Eclipse6.2创建Eclipse工程6.3编写一个Java应用程序检测HDFS中是否存在一个文件7.Eclipse上的HDFS操作7.1安装Hadoop-Eclipse
-借我杀死庸碌的情怀-·2024-02-07 05:27

如何将日志文件和二进制文件快速导入HDFS？

日志数据在应用程序中一直很常见，Hadoop能够处理生产系统生成的大量日志数据，比如网络设备、操作系统、Web服务器和应用程序的日志数据。
weixin_34159110·2024-02-07 05:36

数据仓库-Hive基础（二）Hive 的基本概念

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
做个合格的大厂程序员·2024-02-07 03:42

Spark Chapter 8 Spark SQL

DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用SQL语句进行大数据分析hive的问题：底层MR，2.x之后可以用spark应用场景SQLonHadoop
深海suke·2024-02-07 01:34

Hadoop集群（第10期副刊）_常用MySQL数据库命令

1、系统管理1.1连接MySQL格式：mysql-h主机地址-u用户名－p用户密码举例：例1：连接到本机上的MySQL。首先在打开DOS窗口，然后进入目录mysqlbin，再键入命令"mysql–uroot–p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符是：mysql>。例2：连接到远程主机上的MYSQL。
阿布2·2024-02-07 00:08

「Java核心技术大会 2023」6月重磅启动，邀你共同探讨Java生态 ~文末福利

Java核心技术大会2023大会简介直播预约：视频号“IT阅读排行榜”PART1特邀启动专场PART2Java语言、平台和趋势专场PART3Java应用开发专场PART4Java应用与系统架构专场PART5Java
几分醉意.·2024-02-07 00:01

科技成果：AI在智慧农业中的应用科普

市场前景3.高通量土壤成分智能检测机器人3.1原创性技术成果3.2技术亮点MyThoughtsReference本文版权归属中国科学院合肥物质院智能所微信公众号所有1.番茄采摘机器人大脑：ROS系统四大核心技术
猛码Memmat·2024-02-07 00:34

2024-02-06（Sqoop）

1.SqoopApacheSqoop是Hadoop生态体系和RDBMS（关系型数据库）体系之间传递数据的一种工具。Sqoop工作机制是将导入或者导出命令翻译成MapReduce程序来实现。
陈xr·2024-02-06 23:29

深入浅出：用C++实现二叉堆的艺术

操作的基本原理2.2最大堆与最小堆2.2.1最大堆的特点和应用2.2.2最小堆的特点和应用2.2.3选择最大堆还是最小堆2.3二叉堆的存储方式2.3.1使用数组表示完全二叉树2.3.2实现细节与优化第三章:核心技术点解析
泡沫o0·2024-02-06 22:08

深入解析Elasticsearch的内部数据结构和机制：行存储、列存储与倒排索引之倒排索引（三）

而这背后的核心技术之一就是倒排索引。那么，什么是倒排索引，以及它是如何在Elasticsearch中工作的呢？
地瓜伯伯·2024-02-06 20:40

java推荐算法_基于内容的推荐算法实现

javapackagecom.oracle.moviecf;importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.conf.Configuration
RED韵·2024-02-06 19:54

Spark简介

Spark作为第二代大数据处理工具，跟hadoop对比，它是基于内存的，所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99·2024-02-06 18:07

写给自己：一年后离开现在的岗位

不得不面对现实的残酷，回想在公司里温水煮青蛙这些年，一直安于现状，没有任何的核心技术能力，重复做着那些日复一日的行政事务。我该做些什么，能支撑起现在的生活，当下我是真的渴望一夜
北冥的世界·2024-02-06 17:15

致IT领域那些忽悠过的概念

这里我要说的是：1：Hadoop是大数据解决方案之一，是个代名词，但是不是全部。2：除了少数公司，绝大多数（99.99%）的公
薛晓刚·2024-02-06 15:08

MySQL 表的增删查改(练习)

price,storage)values('学生书包',18.91,101);insertintoproductvalues('学生书包',18.91,101,null);2.在图书表中新增一条记录：Java核心技术
zbillows·2024-02-06 15:25

【漏洞复现】SpringBlade export-user接口存在SQL注入漏洞

漏洞描述SpringBlade是一个由商业级项目升级优化而来的微服务架构采用SpringBoot2.7、SpringCloud2021等核心技术构建，完全遵循阿里巴巴编码规范。
丢了少年失了心1·2024-02-06 14:35

Hbase 数据迁移

Hbase数据迁移可选方案对比l已验证方案操作说明：nExport&importu导出命令及示例hbaseorg.apache.hadoop.hbase.mapreduce.Export“表名”文件路径导出至本地文件系统
运维那些事儿·2024-02-06 14:44

flink学习记录

flink-conf.yaml配置文件：jobmanager.rpc.address:hadoop1jobmanager.rpc.port:6123jobmanager.heap.size:512mtaskmanager.heap.size
戏 剧·2024-02-06 14:34

Hadoop 命令手册

翻译：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/CommandsManual.html版本：2.9.0
金刚_30bf·2024-02-06 13:29

热数据存储在HDFS，冷备数据存储于对象存储中

改方案均采用同一套Hadoop架构，使用hive均可以读取到，在降低成本的同时提高数据的利用率。2.准备条件c
tuoluzhe8521·2024-02-06 10:11

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）...

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
weixin_30273931·2024-02-06 09:08

15年磨砺，一朝绽放：Spring Boot分布式系统实践文档，深入浅出解析核心技术

引言当前，Java后端领域中一个不容忽视的现象是，除了部分老旧项目外，几乎所有的新项目都基于SpringBoot进行开发。这并非偶然，而是因为SpringBoot的易用性和微服务友好的特性使其成为Java后端技术的翘楚。毫不夸张地说，SpringBoot在Java后端领域占据着举足轻重的地位，对于Java程序员来说，掌握它是至关重要的。通过使用SpringBoot开发框架，我们不仅可以提高开发速度
手把手教你学Java·2024-02-06 09:07
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他