Hadoop-自学日记

hadoop yarn单主节点重启，已发布应用恢复问题

http://hadoop.apache.org/docs/stable2/hadoop-
一品悟技术_张驰·2019-12-25 18:26

hadoop-初识四（删除备份）

1、说明Linux系统不像Windows系统有垃圾回收的功能，文件删除后（如果丢到垃圾箱）还能还原，算是比较不太人性化的设计。但是hadoop有类似功能，可以定义保存删除的文件，用来做数据恢复。2、配置说明以下是官网的配置说明，默认不开启，即两个值为零。参数的单位是分钟，通常为1440（一天）的整数倍。fs.trash.interval是在指在这个回收周期之内，文件实际上是被移动到trash的这个
刘子栋·2019-12-25 10:34

五、HADOOP-工作机制

1、安全模式hdfsdfsadmin-safemodeget//获取安全模式状态hdfsdfsadmin-safemodeenter//进入安全模式hdfsdfsadmin-safemodeleave//离开安全模式hdfsdfsadmin-safemodewait//等待离开安全模式2、namenode多目录namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。hdfs
一种依耐丶从未离开·2019-12-16 10:56

Hadoop-第一次启动

[root@hhhadoop]#hdfsnamenode-format17/12/1217:42:06INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=hh/172.17
好了伤疤忘了·2019-12-15 21:09

2019-12-02法语自学日记（二）

DAY0042019.01.17今天很困，睡很久。第二课还挺顺利的，不知道Unevalise为啥是异类词。为啥c’estunephoto冠词不省略。sonne啥意思。a啥意思。sur？va-t-il?Est-cetapaquet哪里错？monsieur，dessin，faisons为啥发音特殊？第二课学完了。感觉还挺松的。先把语音学完真是太明智了。练习涉及一些提都没提过的东西，边查边做咯。容易忘记
何青猊·2019-12-15 12:08

Hadoop- yarn notes

Yarn基础架构1YARN产生背景最早的hadoop是由hdfs和mr组成的，hdfs负责存储，mr负责计算。1.1MRv1的局限性扩展性差：mr中的jobTracker同时负责资源管理和作业控制两个功能，成为瓶颈。可靠性差：mr中的master是单点的资源利用率低：基于槽的资源分配模型，通常一个任务不会用完一个槽位，并且Mapslot和Reduceslot无法共享无法支持多种计算框架1.2Yar
raincoffee·2019-12-11 20:46

英语自学日记

前一段时间真是非常的忙碌啊！每天早出晚归，所以这一周调整了工作时间和作息时间。调整之后瞬间轻松了不少，终于有时间用个人学习这一块了，之前的进度也在慢慢恢复。对于美剧学习又有了新的感悟，由于之前只顾着时间的积累，把每一阶段的目标抛在脑后，导致学习了两遍《好运查理》，然后第三阶段就进行不下去了。第三阶段的目标是不看英文字幕理解剧情，而我基本做不到。学习这个事真的不能急于求成，所以上次发现这个问题之后，
穆建园·2019-12-08 13:19

python自学日记11——类和对象

1.编写一个函数move_rectangle,接受一个Rectangle对象和两个值，dx,dy。它应当通过添加dx到corner的x坐标和添加dy到corner的y坐标来改换矩形的位置因为这个练习涉及了很多前面的例子和练习，如果不写出来可能看不懂，所以把需要涉及的内容先写出来。首先我们定义一个类型叫做类：classPoint(object):'''Representsapointin2-Dspa
zxbylx·2019-11-13 03:43

python自学日记10——文件

让自己尽量暴露在错误之中是成长的一个比较快的方式，发下错误就证明你要习得新知识点了。1.写一个函数sed，接收如下参数，一个模式字符串，一个替换用字符串，以及两个文件名；读取第一个文件，并将内容写入第二个如果文件中任何地方出现了模式字符串，它应该被替换如果在过程中遇到错误，你的程序应当能捕获异常，打印一个错误，并退出。首先要抓取关键信息，一个函数四个形参，两个字符串，两个文件名；读取文件、写入文件
zxbylx·2019-11-12 02:56

Hadoop - 命令参考

Hadoop-命令参考在“$HADOOP_HOME/bin/hadoopfs”中有更多的命令比这里演示的更多，尽管这些基本操作将让您开始。运行.
全能程序猿·2019-11-08 18:58

hadoop-初识一（HDFS三进程理解）

1、概念hadoop从广义上说指的是依托于ApacheHadoop项目的整个生态圈，包括hdfs、spark、sqoop、flume等等。狭义上说就是指的是ApacheHadoop这一个项目。现阶段学习的内容以hadoop这一个项目为核心，所以下面的内容都基于狭义上的hadoop，其实更准确的描述就是基于HDFS。2、HDFS框架HDFS采用Master/Slave的架构来存储数据，这种架构主要由
刘子栋·2019-11-08 05:07

python自学日记9——选择数据结构

1.编写一个程序从文件中读入一个单词列表，并打印出所有是回文的单词集合这次的回文和以前理解的回文不一样，例子如下：['deltas','desalt','lasted','salted','slated','staled']['retainers','ternaries']只要都是相同字母组成的单词都算在回文的单词集合中按照抓取关键信息转化成自己已经掌握的方法原则，我有两个大致方向，一个是挨个读取
zxbylx·2019-11-05 08:44

##[4~8个V]大数据时代，我们为什么使用hadoop

Volume量Velocity速度Variety多样性Veracity诚实准确性Value价值Variability可变性Viscosity粘度Virality扩散性【Hadoop】大数据时代，我们为什么使用hadoop
葡萄喃喃呓语·2019-11-02 15:50

Hadoop 理解与运用（二）

java编写hdfs程序1、hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定，而这个值默认位于/tmp/hadoop-${user.name}下面，由于/tmp
Blieveinmyself·2019-11-01 12:55

python自学日记8——元组

遇到一个问题时抓取里面的关键信息并将这些关键信息转化为你已经掌握的函数方法才是解决未知问题之道。1.编写一个函数sumall，接收任意个数的参数并返回它们的和提示写了sum(1,2,3)会报错：sumexpectedatmost2arguments,got3接受多个参数我知道需要用到元组，但是我不知道哪里，所以先写成这样：defsumall(t):returnsum(*t)t=(1,2,3,4)s
zxbylx·2019-10-31 15:22

python自学日记7——字典

学会把复杂问题拆解成自己已经掌握的基础问题才是正确的学习之道1.编写一个函数，读入words.txt,并将它们作为键保存到一个字典中后面还有使用in检查某单词是否在字典中，按说这个并不难，先读取单词表，然后通过将单词作为键，值用空字符就可以了，然后代码如下：defread_dict():fin=open('words.txt')words_dict={}forlineinfin:word=line
zxbylx·2019-10-30 05:58

python自学日记5——文字游戏

学习python时记录自己或观察别人从错误到正确的思路远比只看正确答案效果好——傅查理1.判断单词中是否有字母“e"写一个函数has_no_e,当给定的单词不包含字母‘e'时，返回True刚开始我写的是这样的：defhas_no_e(word):forletterinword:ifletter=='e':returnFalsereturnTruehas_no_e('tdy')但是总是跟预想的结果不
zxbylx·2019-10-25 05:42

python自学日记6——列表

学习python时记录自己或观察别人从错误到正确的思路远比只看正确答案效果好——傅查理1.编写一个函数，接收一个数字列表，并返回其累积和，例如[1,2,3]的累积和为[1,3,6]看到求和想到前面用到的内置函数sum(t)，但是sum只说了是求列表内所有值的和，不知道能不能求部分和，所以需要做一下测试t=[1,2,3]sum(t[:2])返回值是3，表示可以用sum，然后得出如下代码：defcum
zxbylx·2019-10-24 23:51

python自学日记15——Tkinter

python自学日记15——Tkinter调试建议：GUI编程的挑战之一是哟啊记录哪些事情是在GUI正在构建时发生的，哪些事情是在之后用户行为的响应中发生的。
三盏灯亮一盏·2019-10-24 21:16

python自学日记4-字符串

1.for循环使用for循环遍历字符由于好久没用for循环了，有点生疏，竟然写成了下面代码fruit='banana'len(fruit)index=0forindex",line3forindex=0:#注意要大于等于0，而不是大于0,否则会少比较一个ifword1[i]!=word2[j]:returnFalsei+=1j-=1returnTrueis_reverse('stp','pots'
zxbylx·2019-10-23 13:55

python自学日记3——迭代

将下面递归函数用循环方式写出来：defprint\_n(s,n):  ifn0:    print(s)    n=n-1print\_n('hello',4)报错提示：TypeError:print()missing1requiredpositionalargument:'n'主要原因是刚开始print_n写成了print了。但是以为这段代码有问题，所以百度查了下也没查出原因来，我想按照增量开发
zxbylx·2019-10-22 02:01

python自学日记8——元组

python自学日记8——元组遇到一个问题时抓取里面的关键信息并将这些关键信息转化为你已经掌握的函数方法才是解决未知问题之道。
三盏灯亮一盏·2019-10-17 22:16

python自学日记1

遇到这么一个问题：写一个函数do_n,接受一个函数对象和一个数字n作为形参，它会调用给定的函数n次，defprint_n(s,n):ifnb+corb>a+corc>a+b:print('No')else:print('Yes')is_triangle(1,2,4)编写一个函数提示用户输入三根木棍的长度，将其转换为整数，并使用is_triangle检查是否可以组成三角形：由于我不知道怎么在一个输入
zxbylx·2019-10-16 22:53

python自学日记2——函数调试

将一个大程序分解为小函数，自然而然地引入了调试的检查点，如果一个函数不能正常工作，可以考虑3种可能性。1.函数获得的实参有问题，某个前置条件没有达到2.函数本身有问题，某个后置条件没有达到3.函数的返回值有问题，或者使用的方式不正确要排除第一种可能，可以在函数开始的地方加上print语句，显示实参的值（以及它们的类型）。或者可以添加代码来显式的检查前置条件。如果实参看起来没有错，在每个return
zxbylx·2019-10-16 21:11

python自学日记2——函数调试

将一个大程序分解为小函数，自然而然地引入了调试的检查点，如果一个函数不能正常工作，可以考虑3种可能性。1.函数获得的实参有问题，某个前置条件没有达到2.函数本身有问题，某个后置条件没有达到3.函数的返回值有问题，或者使用的方式不正确要排除第一种可能，可以在函数开始的地方加上print语句，显示实参的值（以及它们的类型）。或者可以添加代码来显式的检查前置条件。如果实参看起来没有错，在每个return
三盏灯亮一盏·2019-10-11 16:47

Hadoop学习之TextInputFormat分片逻辑探究

下载链接：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-
行走的段子·2019-09-23 17:00

HTML自学日记

2019.7.18第一天HTML是网页的结构标准，用于对网页元素的整理分类；//骨架结构CSS是网页的表现标准，是设置网页元素的版式、颜色、大小等外观样式；//穿着打扮Javascript是行为标准，主要对网页模型的定义及交互的编写；//动作行为HTMLHTML就是用各种标记标签来描述网页，把网页内容在浏览器中展示出来，用文字描述网页标签主体标签其他标签单标签（非常少）：等双标签：使用sublim
GeorgeZHAN·2019-09-05 23:35

三、Hadoop常用配置

一、更改本地目录hadoop.tmp.dir/tmp/hadoop-${user.name}Abaseforothertemporarydirectories.默认是放在/tmp中的。
诛仙89·2019-09-01 21:35

十一、 HADOOP-自定义排序及分组排序

1、自定义排序可通过实现writableComparable接口来实现自定义排序，并且使用此自定义类作为Mapper的输出key，例如有下面的订单订单ID商品ID价格0000001Pdt_01222.80000002Pdt_06722.40000001Pdt_0525.80000003Pdt_01222.80000003Pdt_0133.80000002Pdt_03522.80000002Pdt_
一种依耐丶从未离开·2019-08-22 14:59

Hadoop-(Hive)

Hadoop-(Hive)介绍数据仓库的目的是构建面向分析的集成化数据环境;数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据
不穿格子衫的徍爺·2019-08-20 15:00

Hadoop基础知识面试题整理

3)配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4)设置ssh免密码登录5)解压缩hadoop安装包，并配置环境变量6)修改配置文件（$HADOOP_HOME/conf）hadoop
bobo79888·2019-07-15 11:58

笔记-hadoop-集群时间同步

时间服务器配置（必须root用户）检查ntp是否安装rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64修改ntp配置文件vi/etc/ntp.conf修改内容如下：1.修改授权网段，修改成自己的网段r
liu_1221·2019-07-13 15:21

我的油画自学日记

2019年6月28日，体感39°很遗憾，这不是我学习油画的第一天。去年6月，我拿起了我的画笔，从基础的素描开始，开启了我的绘画路程。今年六月刚好一年。很高兴，一年后的今天，我更加热爱画画，我在其中总是能找到无限的宝藏，在把他们画到我的画中。自学油画不是一件简单的事情，可是如果你热爱，他将变得无比的简单。原本我是一个UI设计师，日复一日的工作，但不觉得乏味。我热爱设计，也爱音乐，似乎和艺术相关的东西
Gwendalyne·2019-06-28 23:10

spring data jpa使用详解

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-基于Spring的Hadoop
沙漏半杯·2019-05-29 11:16

Centos7上安装hadoop伪集群

/hadoop-
zhoupinheng·2019-04-25 15:00

Centos7上安装hadoop伪集群

/hadoop-
zhoupinheng·2019-04-25 15:00

cdh配置lzo压缩格式

格式的文件，通过hive执行同样的查询操作时要比其它格式慢几倍之多；总结：暂时不建议使用lzo压缩环境：系统：Centos7.5hadoop：hadoop-2.6.0-cdh5.7.0.tar.gz(通过hadoop
bigdata_lzw·2019-04-19 13:54

hadoop-基本笔记

什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！换个角度说，大数据是：有海量的数据有对海量数据进行挖掘的需求有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez、impal
花纵酒·2019-04-12 20:27

大数据博客目录整理

)Hadoop-HDFS四大机制和两大核心以及元数据合并Hadoop-HDFS-读写流程详解Hadoop-HDFS的shell操作mapreduceHadoop-Mapreduce的框架组成和运行流程Hadoop
qichangjian·2019-03-22 17:00

BigData-18：Kafka

Kafka概述离线部分：Hadoop->离线计算(hdfs/mapreduce)yarnzookeeper->分布式协调（动物管理员）hive->数据仓库（离线计算/sql）easycodingflume
feiyanaffection·2019-03-13 15:39

hadoop修改hadoop.tmp.dir

hadoop.tmp.dir的目录默认指向的是：/tmp/hadoop-${USERNAME}这样会有个问题，系统重启时会自动删除/tmp目录下的文件，导致你之前对hadoop做的很多操作都被删除了，需要重新再来
HBinz·2019-03-11 16:42

hadoop源码研究 编译错误记录

编译失败报错排查解决办法完成后再重新编译hadoop-common编译失败编译错误如下[WARNING]Seealso"/project/hadoop-3.2.0-src/hadoop-common-project/hadoop
plifemao·2019-01-31 10:25

hbase hadoop zookeeper的启动和停止的顺序

启动顺序Hadoop及hbase集群启动顺序zookeepeer->hadoop->hbase停止顺序Hadoop及hbase集群关闭顺序hbase->hadoop->zookeepeer启动和停止ZK
~Erin·2018-12-18 09:09

Hadoop-使用mapreduce对数字进行排序

我写了三个类创建一个Mapper类importjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.NullWritable;importorg.apache.hadoop.io.Text;import
蘑菇一小只·2018-12-15 17:46

【备忘】百战程序员大数据全套视频

-04-08(高并发-LVS).rar├─2018-04-09(高并发-keepalived-ngix).rar├─2018-04-10(hadoop-HDFS简介).rar├─2018-04-11(hadoop
qq_38472057·2018-12-15 13:51

Hadoop-（wordcount升级版）分析日志统计IP地址来源

1.前言由于隐私问题，这里不提供日志，可自行准备或随机生成。下面给出的代码统计的数据文件格式是定的，如果格式与博主不同，请适当修改代码。2.分析分析日志统计出IP地址来源，重点无非是IP地址，如下图：通过正则表达式提取合理IP地址：正则表达式在线测试网站：http://tool.oschina.net/regex/如下图：将提取出的IP地址查询其地址来源批量IP地址查询网站：http://ip.s
GYT0313·2018-11-21 20:38

hbase-2.1.0 + zookeeper-3.4.10 + hadoop-3.1.1 + elasticsearch-6.4.2 +jdk1.8.0_191 从零开始完整部署笔记(超详细)

###########OS版本号[troll@standalonesofts]$cat/etc/centos-releaseCentOSLinuxrelease7.5.1804(Core)#软件版本号hadoop
巨魔战将-深度大数据·2018-11-07 19:51

分布式系统详解--框架（Hadoop-基本shell命令）

分布式系统详解--框架（Hadoop-基本shell命令）前面的文章我们已经将一个集群搭建好了，现在就需要知道一些关于hadoop的基本操作命令，这篇文章就简单介绍一下hadoop的基本操作shell命令
JAVA和人工智能·2018-10-11 16:34

分布式系统详解--框架（Hadoop-集群搭建）

分布式系统详解--框架（Hadoop-集群搭建）前面的文章也简单介绍了，hadoop的环境搭建分为三种，单机版，伪分布式，全分布式。这篇文章为介绍hadoop的全分布式的架构搭建。
JAVA和人工智能·2018-10-09 16:20

分布式系统详解--架构（Hadoop-克隆服务器）

分布式系统详解--架构（Hadoop-克隆服务器）分布式系统上一个呢，写了一下分布式系统的单机版安装教程，并且对于hadoop来说进行了一个单机版的应用测试。
JAVA和人工智能·2018-10-09 10:12
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他