hadoop学习之路

Spark简介

Spark作为第二代大数据处理工具，跟hadoop对比，它是基于内存的，所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99·2024-02-06 18:07

致IT领域那些忽悠过的概念

这里我要说的是：1：Hadoop是大数据解决方案之一，是个代名词，但是不是全部。2：除了少数公司，绝大多数（99.99%）的公
薛晓刚·2024-02-06 15:08

2022-09-17 37周周总结 努力是为了以后所遇之事与人都是自己喜欢的

同样也开始踏上我的学习之路，在路上将有5个小时高铁。提前给自己做了安排，在高铁上完成我37周的总结。加入积微对我最大的触动就是，我能将所有的事情提前，不再像之前尽量的拖，拖到实在没有时间了再去完成。
fanghua·2024-02-06 15:03

前端学习之路(4) vue2和vue3的区别

一.根节点不同vue2中必须要有根标签vue3中可以没有根标签，会默认将多个根标签包裹在一个fragement虚拟标签中，有利于减少内存。二.组合式API和选项式API在vue2中采用选项式API，将数据和函数集中起来处理，将功能点切割了当逻辑复杂的时候不利于代码阅读。在vue3中采用组合式API，将同一个功能的代码集中起来处理，使得代码更加有序，有利于代码的书写和维护。三.生命周期的变化创建前：
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-02-06 14:37

Hbase 数据迁移

Hbase数据迁移可选方案对比l已验证方案操作说明：nExport&importu导出命令及示例hbaseorg.apache.hadoop.hbase.mapreduce.Export“表名”文件路径导出至本地文件系统
运维那些事儿·2024-02-06 14:44

flink学习记录

flink-conf.yaml配置文件：jobmanager.rpc.address:hadoop1jobmanager.rpc.port:6123jobmanager.heap.size:512mtaskmanager.heap.size
戏 剧·2024-02-06 14:34

生活中，我读懂了……

会气自己没有给学生带领到一个好的学习之路，气学生在我使出浑身解数之后依旧表现的无动于衷…
小混混儿·2024-02-06 13:35

Hadoop 命令手册

翻译：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/CommandsManual.html版本：2.9.0
金刚_30bf·2024-02-06 13:29

热数据存储在HDFS，冷备数据存储于对象存储中

改方案均采用同一套Hadoop架构，使用hive均可以读取到，在降低成本的同时提高数据的利用率。2.准备条件c
tuoluzhe8521·2024-02-06 10:11

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）...

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
weixin_30273931·2024-02-06 09:08

linux安装hadoop详细步骤（伪分布式）

今天重装了下hadoop，特在此记录下！
红烧柯基·2024-02-06 08:28

Hadoop-Yarn-启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、脚本部分1、start-yarn.sh如果我们想单独启动
隔着天花板看星星·2024-02-06 07:16

influxdb学习之路——二、数据写入influxdb

一、命令行直接写入单条数据1、influxclient命令行直接写入数据root@vms50:~/csv#root@vms50:~/csv#influxwrite\>-bmy-bucket\>-omy-org\>--configs-path/mydata/influxdb/config/influx-configs\>-ps\>'test-measure,env=testaaField="this
Lingoesforstudy·2024-02-06 07:51

想学大数据？先看完这几本书再说

除了这些技术领域，还有一些特定的技术和语言需要你继续研究：Hadoop，Spark，Python，和R等等，还有无数实现自动化的工具等等，这些工具几乎每天都会用到，这就需要你不断的学习。
yoku酱·2024-02-06 06:55

Java学习之路

作者：码云Gitee链接：https://www.zhihu.com/question/53729800/answer/255785661来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。推荐以SpringBoot教程与SpringCloud教程的详细开源项目“SpringBoot-Learning”此项目内容为SpringBoot教程程序样例，对于SpringBoot
sttone·2024-02-06 05:08

CentOS 8 安装配置 Hadoop3.3.6 伪分布式安装方式（适用于开发和调试）

1.配置服务器ssh免密登录，否则后面启动会报错：尝试通过SSH连接到主机出现认证错误的提示配置服务器ssh免密登录：1.生成SSH密钥对（如果尚未生成）：执行下面的命令生成密钥对，一直回车即可ssh-keygen-trsa出现下面的提示说明生成成功了：2.第二步，将公钥添加到~/.ssh/authorized_keys文件：cat~/.ssh/id_rsa.pub>>~/.ssh/authori
鱼大虾·2024-02-06 05:39

HDFS入门基础

HDFS命令基础语法：【hadoopfs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty·2024-02-06 05:33

电商推荐系统

一、获取用户对商品的偏好值代码实现packagezb.grms;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.conf.Configured
nucty·2024-02-06 05:31

Apache Hadoop

ApacheHadoop_狭义上说，Hadoop指Apache一款java语言开发的开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度
VincentLeon·2024-02-06 05:28

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装1简介Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。
WaiSaa·2024-02-06 02:53

关于Spark/Hadoop中Master/Slave IP不正确的问题

在配置SparkStandAloneMode的时候，我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置./conf/spark_env.sh文件，只要在这个文件里定义好了SPARK_LOCAL_IP和SPARK_MASTER_HOST，就可以解决这个问题。而我设置了configure文件之后问题依然存在。原因在于MasterNode上有多个网卡，每个网卡
ecce·2024-02-06 02:37

hbase基本命令

1、进入hbase的shellhbase提供了一个shell的终端给用户交互[root@hadoop3conf]#hbaseshell退出使用quit或者ctrl+c需要关闭hadoop的安全模式不然进行一些操作
小月半会飞·2024-02-06 01:52

shell中正则表达式

[atguigu@hadoop101shells]$cat/etc/passwd|grepatguigu1.常用特殊字符^$.*[]\^：匹配一行的开头$：匹配一行的结束.
看山不是山a·2024-02-05 23:07

re:从0开始的HTML学习之路 12. 表格

1.表格以格式化形式展示数据的一种手段，由行和列组成。使用table标签创建表格tr用于创建表格的行td用于创建表格的列th用于创建表头列，默认加粗且居中2.表格的属性border：设置表格的边框align：设置表格相对于周围元素的对齐方式width、height：设置表格的宽度和高度cellpadding：设置表格边缘与内容之间的空白，默认1pxcellspacing：设置单元格之间的空白，默认
扶摇|·2024-02-05 23:54

re:从0开始的HTML学习之路 13. 表单（完结撒花）

1.表单现实生活中的表单：学员->学员信息表->学校存款人->存款单->银行表单：在网页中，用于搜集用户信息，将用户信息提交给后台服务器。一个表单由三个部分组成：表单域、表单控件、提示信息2.表单域包含所有要提交表单控件的区域，将该区域的信息提交给后台服务器。使用form标签创建表单域action：用于指定提交到后台服务器的地址method：用于选择请求方式（在此了解即可，深入了解需要学习Java
扶摇|·2024-02-05 23:54

re:从0开始的CSS学习之路 1. CSS语法规则

0.写在前面现在大模型卷的飞起，感觉做页面的活可能以后就不需要人来做了，不知道现在还有没有学前端的必要。。。1.HTML和CSS结合的三种方式在HTML中，我们强调HTML并不关心显示样式，样式是CSS的工作，现在就轮到CSS的学习了。1.行内样式表将样式直接写到HTML标签的style属性中缺点：不易于维护、不可复用，可移植性极差今天天气不错挺风和日丽的可以发现如果想对每个标签都添加相同的样式，
扶摇|·2024-02-05 23:54

re:从0开始的CSS学习之路 2. 选择器超长大合集

0.写在前面虽然现在还是不到25的青年人，有时仍会感到恐慌，害怕不定的未来，后悔失去的时间，但细细想来，只有自己才知道，再来一次也不会有太多的改变。CSS的选择器五花八门，而且以后在JavaScript中也会用到，所以就把所有的选择器写到一篇文章里好了。注意：同时为了方便展示，全部使用内部样式表的形式，实际的应用中还是推荐使用外部样式表！！导航0.写在前面1.标签选择器（tagselector）2
扶摇|·2024-02-05 23:53

学习之路

前几天由老师带领我们班参观了我们学校的校企合作的公司昌禾装饰，我感到非常的荣幸。此次参观对我可以说是不虚此行。我了解了许多以前不曾了解的东西。洁净的环境，精细化的管理，规范化的工作流程,严谨，细致的工作态度，忙中有序，一丝不苟的工作精神，只为成功想办法，不为失败找借口的工作理念，这就是昌禾装饰留给我深刻的印象。图片发自App图片发自App图片发自App图片发自App图片发自App其次给我印象比较深
牧童_ae3d·2024-02-05 22:28

Flume 学习之路（一）Flume 概述和基本架构

作者：studytime原文：https://www.studytime.xin/Flume简介Flume是什么？Flume是一个分布式、可靠且高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据的简单灵活架构，良好的可靠性机制、故障转移和恢复机制，具有强大的容错性。它支持在系统中定制各类数据发送方，用于收集数据；同时Flume提供对数据的简单处理，并具有写到各种数据接收方的能力
白白贺·2024-02-05 20:23

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

链接：https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit·2024-02-05 20:29

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

一起走的学习之路(七十八) - 草稿

需求决定价格似乎这是一个简单得不能再简单的答案，而我却从来没有想过。为什么那么多清华、北大的毕业生，为什么那么多博士生依旧找不到工作，或者说做着似乎不适宜他们的工作，我想，重要的原因就是他们似乎没有真正想过市场的需求是什么。他们只是一味的想着自己要变成什么，自己什么不能做，却未想过自己应该朝着什么方向去改变。商业中，需求的人才是什么？虽然说无奸不商，但在商场上最受欢迎的人往往是那些不会偷奸耍滑的人
小米雨路·2024-02-05 17:35

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

袁瑞红漯河网络初级六期坚持分享第601天《生活》

就像新婚过后，恢复平淡的生活一样，在学习充电两天后的兴奋，随着上班下班的两点生活渐渐充淡了，但是生活依旧，我的学习之路没有停止一般，开始了我的学习总结之路。
袁瑞红·2024-02-05 09:14

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他