hadoop学习日记

【优胜行动派️学习日记】

[打卡宝宝]：李静[打卡日期]：2019/05/10[学习内容]：刻意练习三个重要细节尽管由于技能不同，具体细节也各不相同，但总的规律不变：经常性的训练会使大脑中受到训练挑战的区域发生改变。大脑通过自身重新布线的方式来适应这些挑战，增强其执行那些挑战所需功能的能力。从那些关于训练对大脑影响的研究中，我们应当可以得出这样一条基本信息，但还有其他更多细节值得一提。第一个值得一提的细节是：训练对大脑的影
李静_9f58·2024-01-15 11:13

Zookeeper教程1

ZookeeperZookeeper概念Zookeeper是ApacheHadoop项目下的一个子项目，是一个树形目录服务。
暗雪之格·2024-01-15 09:56

Zookeeper使用详解

介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
有梦想的攻城狮·2024-01-15 09:25

分布式计算平台 Hadoop 简介

Hadoop简介Hadoop是一种分析和处理大数据的软件平台，是一个用Java语言实现的Apache的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。
rookiexiong·2024-01-15 08:19

Hadoop 实战 | 倒排索引 InvertedIndex

倒排索引概念倒排索引（InvertedIndex）是信息检索领域中的一种数据结构，它是一种反转（倒排）文档-词项关系的数据结构，以支持通过词项来查找相关文档。在倒排索引中，每个词项都被映射到包含该词项的文档列表。并且在实际应用中，还需要给每个文档添加一个权值，用以指出每个文档与搜索内容的相关度。与倒排索引相对应的是正向索引，即文档-词项关系的数据结构。当用户发起查询关键词时，需要扫描索引库中的所有
rookiexiong·2024-01-15 07:41

Hadoop 实战 | 词频统计WordCount

词频统计通过分析大量文本数据中的词频，可以识别常见词汇和短语，从而抽取文本的关键信息和概要，有助于识别文本中频繁出现的关键词，这对于理解文本内容和主题非常关键。同时，通过分析词在文本中的相对频率，可以帮助理解词在不同上下文中的含义和语境。"纽约时报"评论数据集记录了有关《纽约时报》2017年1月至5月和2018年1月至4月发表的文章上的评论的信息。月度数据分为两个csv文件：一个用于包含发表评论的
rookiexiong·2024-01-15 07:11

[Docker] Docker为什么出现

环境配置十分麻烦，每一个机器都要部署环境（Redis,ES,Hadoop）费时费力项目带上配置环境安装打包。传统：开发jar，运维来做现在：开发打包部署上线，一套流程做完！
程序员三木·2024-01-15 06:09

Hadoop2.9.2在windows上的安装

1、下载hadoop-2.9.2.tar.gz官网下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.
懵懂无知的蜗牛·2024-01-15 06:30

java大数据hadoop2.92安装伪分布式文件系统

ApacheHadoop3.3.6–Hadoop:SettingupaSingleNodeCluster.1、解压缩到某个路径/usr/local/hadoop2、修改配置文件/usr/local/hadoop
crud-boy·2024-01-15 06:29

Java大数据hadoop2.9.2搭建伪分布式yarn资源管理器

1、修改配置文件cd/usr/local/hadoop/etc/hadoopcp./mapred-site.xml.template.
crud-boy·2024-01-15 06:29

java大数据hadoop2.92 Java连接操作

1、要想Java可以连接自己虚拟机的hadoop文件系统，需要给文件系统权限（1）需要在/usr/local/hadoop/etc/hadoop/core-site.xmlcore-site.xml文件配置具体
crud-boy·2024-01-15 06:29

java大数据hadoop2.9.2 Java编写Hadoop分析平均成绩

1、准备文件，例如score.txt，内容如下：zsk188lsk198wwk178zsk288lsk298wwk278zsk388lsk398wwk3782、创建maven项目org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client
crud-boy·2024-01-15 06:23

put: .‘: No such file or directory:hdfs://bdp/user/root‘ Linux上传本地文件到HDFS中时，出现“No such file or dir“

1.首先在hadoop节点的网址上查看是否有自己需要把资料上传到的目标目录，比如我查看我需要上传文档到bdp，我查看我的hadoop是否有bdp这个目标目录。
YoYoYoWhatIsUp·2024-01-15 05:28

idea的big data tool 连接不上HDFS所有问题汇总：

1.OnWindowsyoushouldhaveHADOOP_HOMEenvironmentvariabledefinedorJavapropertyhadoop.home.dir.Please,refertoHadoopWikiformoredetails
YoYoYoWhatIsUp·2024-01-15 05:28

项目实战-知行教育大数据分析平台-01

2、什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型5、缓慢渐变维七、本项目数仓架构八、HUE的使用九、自动化调度工具介绍十、通过HUE操作oozie本文将利用前面所学的Linux，Hadoop
吆喝的翅膀·2024-01-15 04:22

一，安装Linux

1，创建虚拟机：image.png2，继续安装：image.pngimage.pngimage.png可以起名为hadoop01，地址任选：image.png文件大小也可以为10G，也可以设置成单一文件
小猪Harry·2024-01-15 04:31

架构设计：远程调用服务架构设计及zookeeper技术详解

Hadoop是一个技术生态圈，zookeeper是hadoop生态圈里一个非常重要的技术。
Java圈子·2024-01-15 01:15

HADOOP大数据之HDFS管理与运维

HDFS分布式拷贝工具DistCp数据迁移使用场景：冷热集群数据同步、分类存储集群数据整体搬迁数据的准实时同步数据迁移要素考量带宽性能是否支持增量同步4、数据迁移的同步性image.pngDistCp是Hadoop
奋斗的韭菜汪·2024-01-15 01:33

Hadoop Dont's: What not to do to harvest Hadoop's full potential

We'veallheardthisstory.AllwasfineuntilonedayyourbossheardsomewherethatHadoopandNo-SQLarethenewblackandmandatedthatthewholecompanyswitchoverwhateveritwasdoingtotheHadoopetal.technologystack
hacker_zhb·2024-01-15 00:33

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

1、Hue简介Hue是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于PythonWeb
Allen_lixl·2024-01-15 00:56

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
piziyang12138·2024-01-15 00:05

【江湖说️学习日记198协同软件】

【江湖说️学习日记198协同软件】[打卡宝宝]：嘿黑~[打卡日期]：2019/07/31[累计坚持]：这是我坚持学习的第198天️[学习内容]：工具协同软件：如何避免与懒惰握手言和？
栗小蒙·2024-01-14 22:34

Hadoop之mapreduce参数大全-6

126.指定Map任务运行的节点标签表达式mapreduce.map.node-label-expression是HadoopMapReduce框架中的一个配置属性，用于指定Map任务运行的节点标签表达式
OnePandas·2024-01-14 22:07

请仔细拆解《解码青春期》，思考最值得你学习的一点是什么——学习日记（9.19日）

【你的昵称】妙想想【最核心的一个问题】拆解《解码青春期》，思考最值得学习的是什么？《解码青春期》讲解内容：1、每个孩子的成功都有一个关心他们的成人；2、控制孩子或者帮助他们成长，两者不可兼得；3、父母需要谦逊，这不是软弱，反而是一种勇敢；4、抱最好的希望，做最坏的打算。听书稿最值得学习的地方：1、引用生活中我们常见的青春期的表现破题，非常有带入感，对读者有吸引力；2、三个重点用层层递进的方式，给出
妙想想·2024-01-14 20:28

linux ssh免密登入配置

免密登入配置[hadoop@Hadoop001~]$ssh-keygenGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/
吃货大米饭·2024-01-14 16:53

插画学习日记20190227

工具：AI矩形工具、橡皮擦、描边、置于底层、路径查找器主题：阴影制作、多色重叠、线条风插画最喜欢仙人掌，颜色却没有跟老师的一模一样，对色彩把握不够，小人的色彩搭配也不够和谐橡皮擦工具擦出来的线条不够好看圆润。图片发自App
你要控记住你记几啊·2024-01-14 14:03

HDFS的三大机制

文章目录概要整体架构流程技术名词解释技术细节小结概要HDFS（HadoopDistributedFileSystem）的三大机制包括：心跳机制：DataNode会定期向NameNode发送心跳信号，以保持连接
听风细雨66·2024-01-14 14:17

hadoop java 创建文件夹 弹出窗口填写文件夹名称

在Hadoop中使用Java创建文件夹时，无法弹出窗口来填写文件夹名称，因为Hadoop是一个分布式系统，运行在多台计算机上，无法直接与用户交互。
酷爱码·2024-01-14 14:16

Hadoop HDFS集群 和 Yarn集群的架构

前言：Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。
听风细雨66·2024-01-14 14:15

Hadoop命令

进程命令对hadoop集群的操作start-dfs.shstop-dfs.sh打开和关闭dfsstart-yarn.shstop-yarn.sh打开和关闭yarnhadoop单进程操作旧版本命令hadoop-daemon.shstart
CJ21·2024-01-14 14:25

大数据Hadoop3.0更新，到底改进了哪些新的特性呢

截止到目前，大数据hadoop已经更新到了3.0版本，那么相比较之前的版本，3.0到底在哪些方面做出了新的改变呢？到底做了哪些重大的改进呢？
尚学先生·2024-01-14 11:21

Spark-累加器

内存地址无法改变.你传你的,我传我的,没有把值给返回去双端对列当发送错误的时候要放回到要来头部对列一般是先进先出,要是发送错误,放回到尾部顺序就错了所以叫累加器不是很准确,叫采集器importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase
疯子@123·2024-01-14 09:00

Sqoop与其他数据采集工具的比较分析

SqoopSqoop是一个Apache项目，专门设计用于在Hadoop生态系统和关系型数据库之间传输数据。它提供了方便的命令行界面，支持从关系型数据库导入数据到Hadoop集群，
晓之以理的喵~~·2024-01-14 06:00

Hadoop-HA高可用

一、集群规划二、HDFS高可用官方地址在opt目录下创建一个ha文件夹，将/opt/module/下的hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data和log目录）配置core-site.xmlhdfs-site.xmldfs.namenode.name.dirfile
DIY……·2024-01-14 06:28

hbase集群之间数据迁移_HBase集群数据迁移方案

2、采用Hadoopdistcp方式，将以上目录的内容，迁移到另一个集群。使用add_table.rb进行恢复。
无畏道人·2024-01-14 06:14

一种HBase数据备份及恢复方法

这里我们引入Hbase的一个API，hbaseorg.apache.hadoop.hbase.map
莫叫石榴姐·2024-01-14 06:42

mac 上 ssh: connect to host localhost port 22: Connection refused

问题在搭建hadoop环境的时候发现sshlocalhost在报错2.解决打开系统设置->共享->->在左边服务中选择远程登录注意红框这些选项慎重选择！！！
寂夜了无痕·2024-01-14 05:50

mac上部署单体hbase

它是GoogleBigTable的开源实现，并且是Apache基金会的Hadoop项目的一部分1。
寂夜了无痕·2024-01-14 05:15

一：Hadoop初始化环境搭建-1

一：虚拟机和Linux的安装在搭建Hadoop集群环境之前，我们必须要进行如下的准备工作：01.安装虚拟机02.安装3台Linux03.修改主机名和IP地址对应关系04.SSH免密码登陆1.1：虚拟机的安装步骤
小葱_拌豆腐·2024-01-14 05:15

java开发，年薪15W的和年薪50W的差距

在这个IT系统动辄就是上亿流量的时代，Java作为大数据时代应用最广泛的语言，诞生了一批又一批的新技术，包括HBase、Hadoop、MQ、Netty、SpringCloud等等。
墨雨轩夏·2024-01-14 02:57

大数据调度框架Oozie，这个学习网站让你事半功倍！

它主要用于管理和调度ApacheHadoop作业，支持的任务类型包括HadoopMapReduce、PigJobs等。Oozie的核心概念包括workflowjobs和coordinatorjobs。
知识分享小能手·2024-01-14 01:59

（学习日记）2024.01.12

点击此处进入学习日记的总目录202
YunB西风英·2024-01-14 01:54

（学习日记）2024.01.05：一份关于自行车定位的调研

点击此处进入学习日记的总目录202
YunB西风英·2024-01-14 01:24

（学习日记）2024.01.09

点击此处进入学习日记的总目录202
YunB西风英·2024-01-14 01:24

（学习日记）2024.01.13：一份关于自行车定位的调研 2

点击此处进入学习日记的总目录202
YunB西风英·2024-01-14 01:23

记3.14学习日记…

今天是3.14…莫名的想到圆周率3.141592653589793…额…π的小数点后没有尽头，人们知道但还是在不停的探索。程序…程序也永远没有完美的最终程序吧。今天学到的一个新知识！或者说新思路“容错率”，敲黑板划重点！！正如老师所说我们现在的程序都是在温室的环境中运行的，一旦有干扰一定免不了出错。这时候就要容错。包容错误值，判断错误值，提取正确值。说起来简单但是做起来就复杂的狠！！我的理解啊这样
刘芳铭CC·2024-01-14 01:36

C++学习日记 STL函数对象、谓词、内建函数对象、常见算法集合

一、STL函数对象的概念。1、概念。重载函数调用操作符的类，其对象称为函数对象。函数对象使用重载()时，行为类似函数调用，也叫仿函数。2、本质。函数对象(仿函数)是一个类的对象，不是一个函数。例如：classPerson{public:voidoperator()(){}};Personp;//p就是函数对象p();//对象使用()时，非常像函数调用->仿函数二、函数对象的使用。1、函数对象在使用
大白菜和小白菜·2024-01-13 23:52

基于Spark2.x新闻网大数据实时分析可视化系统项目

全套课程内容概述2.案例需求分析3.系统架构设计4.系统数据流程设计5.集群资源规划设计第二章：linux环境准备与设置1.Linux系统常规设置2.克隆虚拟机并进行相关的配置3.对集群中的机器进行基本配置第三章：Hadoop2
飞雪雪团队·2024-01-13 23:30

大数据

image.pnghadoop主要解决海量数据的存储和海量数据的分析计算问题。
哈斯勒·2024-01-13 19:30

HBase 四种数据迁移方案

http://ballwql.cnblogs.com/一、前言HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类：图1.HBase数据迁移方案从上面图中可看出，目前的方案主要有四类，Hadoop
过往记忆·2024-01-13 18:21
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他