Hadoop-自学日记

分布式系统详解--框架（Hadoop-单机版搭建）

分布式系统详解--框架（Hadoop-单机版搭建）前面讲了这么多的理论知识，也有一些基础的小知识点，很简单的概括了一下。
JAVA和人工智能·2018-09-25 15:18

Hadoop-分布式资源调度

资源调度框架YARN概述YetAnotherResourceNegotiator通用的资源管理系统。为上层应用提供统一的资源管理和调度。YARN：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度XXXonYARN的好处：与其它计算框架共享集群资源，按资源需要分配，进而提高集群资源的利用率XXX:Spark/MApReduce/Storm/FlinkYARN架构：YARN架构图Cl
小超人爱小土豆·2018-09-18 23:38

Python自学日记（第一天）

在即将到来的人工智能时代，带火的一个比较简单学习的编程语言python！全民学python这个字眼可不是夸张！于是，小编同样想要尝试去学习一下！以下就是小编第一天自学Python的内容！一.了解python那些最好的程序员不是为了得到更高的薪水或者得到公众的仰慕而编程，他们只是觉得这是一件有趣的事情————Linux之父这是我自学选择的书籍《python魔力手册》第一句鸡汤！还不错，很赞！但愿我能
weixin_33831673·2018-08-16 13:08

浅析Hadoop 之 HDFS 的 磁盘配置（包含读写策略）

二、相关概念介绍：1.core-site.xml里配置临时数据存放的目录，也可以是临时运行的目录hadoop.tmp.dir/tmp/hadoop-${user
亚历山大的陀螺·2018-07-11 14:38

解决cannot be read or is not a valid ZIP file问题

DescriptionResourcePathLocationTypeArchiveforrequiredlibrary:'C:/Users/Administrator/.m2/repository/org/apache/hadoop/hadoop-hdfs/2.7.3/hadoop
asdud·2018-07-09 23:44

解决cannot be read or is not a valid ZIP file问题

DescriptionResourcePathLocationTypeArchiveforrequiredlibrary:'C:/Users/Administrator/.m2/repository/org/apache/hadoop/hadoop-hdfs/2.7.3/hadoop
asdud·2018-07-09 23:44

Hadoop-远程过程调用

HadoopIPC类图如下连接//为了提高通讯效率，连接是可以复用的，通过ConnectionId来区分不同的连接classConnectionId{InetSocketAddressaddress;//远端服务器的地址UserGroupInformationticket;//用户和用户组的信息Classprotocol;//IPC接口对应的类对象}//ConnectionHeader类是客户端和
hixiaoxiaoniao·2018-06-22 11:31

Hadoop-常用操作

使用URL的方式读取一个文件内容，需要设置一个handler工厂，这个工厂只能设置一次static{URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());}publicvoidtest1()throwsIOException{URLu=newURL("hdfs://IP:8020/test");InputStreamis=u.
hixiaoxiaoniao·2018-06-22 11:19

Hadoop-环境搭建

登陆master机器ssh-keygen-trsa生成密钥对cpid_rsa.pubauthorized_kyesscpauthorized_keys从节点1:/home/xx/.sshscpauthorized_keys从节点2:/home/xx/.ssh需要输入密码，不过输入一次密码之后以后就不用输入了配置/etc/hosts增加三台机器的信息:IPmasterIPslave1IPslave2
hixiaoxiaoniao·2018-06-20 16:32

Hadoop-相关文章

HBaseAPIhttp://hbase.apache.org/0.94/apidocs/index.htmlHBasebloghttp://blogs.apache.org/hbase/csdnhadoophttp://subject.csdn.net/hadoop/hadoop大会http://hbtc2012.hadooper.cn/index.htmlhadoop与大数据大会http://
hixiaoxiaoniao·2018-06-20 16:26

板绘自学日记--零基础小白兔的0-2月

首先，这并不是一篇板绘教程，而是想跟和TuTu一样正在或者想要自学板绘的小伙伴们分（tu）享（cao）一下自学是遇见的各种艰难困苦。如果你也是只小白兔，希望相互鼓励，相互监督。如果你是位大大，求指导，求轻虐。先说说新手自学初期的各种艰难困苦吧。艰难困苦【1】：“零基础自学板绘”本来只是想研究下AI，结果一不留神跑偏了入了板绘的坑。掰指头一算，自己仅有的那点绘画基础，好像是来源于大一学的工程制图。。
混逗法兰西de兔兔·2018-06-13 19:07

Hadoop-模拟搭建日志收集系统

一.技术点梳理Nginx:其实一个webserver,此流程中做反向代理,起到分发用户请求的作用,在集群环境时,也可以用它实现负载均衡;Spawncgi:提供一个cgi网关接口,可以将server服务,快速的暴露出去以便对外提供服务,对外提供的服务走fcgi协议,fcgi协议是一种特殊的http请求,而http请求安全性相对差一些,因为容易受到外部的攻击;ThriftRPC:通过执行thrift命
javaee_sunny·2018-05-15 13:31

详细介绍springData

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化Hadoop-基于Spring的Hadoop作业配置和一个POJO编程模型的Ma
TurkeyMiami·2018-03-29 09:17

hadoop-虚拟机linux环境安装

刚开始学习hadoop，所以边学边做笔记。本机系统win7（由于要装三个虚拟机，内存最少需要8G以上：每个虚拟机2G，留给本机2G）使用的软件VMwareWorkstation11linux系统Centos6.5（据说Centos6.*和Centos7.*会有些不同，以后再试试）1.VMware安装2.创建虚拟机。内存：2G硬盘：20GCPU：2个2核网卡：NAT3.装Centos系统主机名：ha
不放糖的咖啡·2018-03-18 16:29

配置hbase时，需注意lib下Hadoop依赖jar是否与当前hadoop的版本一致

安装实例：hadoop：hbadoop-2.7.4hbase：hbase-1.2.6此时，hbase-1.2.6/lib下的Hadoop依赖jar即hadoop-*.jar均是2.5.1版本，因此需要把
秋水长天-114·2018-02-06 14:20

Ubuntu之hadoop-分布式集群ssh免密码登录

配置ssh的实现思路:1、在每台机子上都使用ssh-keygen生成publickey，privatekey2、所有机子的publickey都拷到一台机子如master上3、在master上生成一个授权key文件authorized_keys4、最后把authorized_keys拷给所有集群中的机子，就能保证无密码登录1先在master上，在当前用户目录下生成公钥、私钥对执行命令$ssh-key
沐雨金鳞·2018-01-24 19:42

学习hadoop-远程链接 HDFS

使用javaAPI的方式远程链接HDFS首先项目进行maven管理我这边使用的hadoop是2.5.0进行学习远程在win上面使用ide开发工具进行链接hadoop首先创建maven工程4.0.0hadoop-demohadoop-hdfs-demo1.0-SNAPSHOTorg.apache.hadoophadoop-common2.5.0org.apache.hadoophadoop-clie
David宫洪深·2018-01-15 11:37

Hadoop - 多节点集群

Hadoop-多节点集群本章介绍了分布式环境中Hadoop多节点集群的设置。
全能程序猿·2017-12-09 00:15

Hadoop- Writable, WritableCompareable, WritableComparator

Hadoop-序列化序列化：对象的序列化用于将一个对象编码成字节流，以及从字节流中重新构建对象。将一个对象编码成一个字节流称为序列化该对象。序列化三种主要的用途：1.作为一种持久化格式。
JasonZhangOO·2017-10-03 22:27

hadoop-数据节点的服役和退役

节点的退役和服役1、配置新节点的core-site.xml和yarn-site.xml，指向名称节点core-site.xmlfs.defaultFShdfs://s201/yarn-site.xmlyarn.resourcemanager.hostnames2012、配置hdfs-site.xml和yarn-site.xml指定服役/退役文件，一般指向同一个文件hdfs-site.xmldfs.
AricaCui·2017-09-19 08:02

Hadoop集群启动顺序和部分命令整理

Hadoop集群启动顺序zookeepeer->hadoop->hbaseHadoop集群关闭顺序hbase->hadoop->zookeepeerHadoop主备节点状态查看与手动切换$HADOOP_HOME
chichuduxing·2017-04-09 21:25

java自学日记 day 24

day24在了解很多信息和自己判断后，自自己做出了选择就得坚定不移的走下去，这是我妈6多前给我讲的，有两个很重要一是梦想而是执行力。明天开始今天看了String类没有看完，我会走先去今天早睡。
cous_0_小墨迹·2017-03-29 21:47

java自学日记 day 22

day22昨天没有写日记，因为没有好好学去看了大四的招聘会后，发现自己差的远喃！萌生了跨专业直接考计算机研究所的想法。有点犹豫了！趁现在还来的及有的选择再过一段时间就没有时间选择了。就在这两天吧！
cous_0_小墨迹·2017-03-27 20:21

java 自学日记 day 19

day19今天晚上下个notepad配置Java环境的时候电脑就是次在线下载不了好烦去网页下载然后3264不合适要好好学英语啊又一次被英语打脸了！我感觉我电脑有时候很不好用
cous_0_小墨迹·2017-03-24 21:45

java自学日记 day18

day18今天感到头痛看不进去东西，很不开心！很烦可能是感冒了挺久了还不好又不严重吃了药也没多大的效果！今天发现了书上有一个算法有问题，一会验证以下！我发现程序是可以发挥我的数学天赋，以后说不定还能与我最爱的物理有联系！不管怎样我都会向前走！
cous_0_小墨迹·2017-03-23 22:14

Java自学日记 day 17

day17今天早上起床就发现头痛，然后我发现今天都看不进去书籍，下午去了今年的秋季招聘会，然后发现自己有很多不足，需要学的东西太多了，也算是受到了不小的打击吧！我要坚定自己的判断，走下去会很累很焦虑但那时我的选择自己选的路无论怎样也要坚定不移的走下去。
cous_0_小墨迹·2017-03-22 20:16

Java自学日记 day 14

day14今天没有学习，同学给我寄错了一本书，记起了些许不那么完美的事情，明天考科目一，这个月差不多就要看完那本书了，我也要整理自己的学习计划了。还有自己的一些准则，人不能一直向前走，得总结规划，有时候停下来更难！越努力越幸运！
cous_0_小墨迹·2017-03-19 22:50

java 自学日记 day

day13今天基本什么也没看，浪费了这个周6，今晚早睡明天早起，今天浪费了一天，全是由于自己的懒惰与自制力差，连续两个晚上都没有早睡了，不能这样了不然看书太累了，明天继续。
cous_0_小墨迹·2017-03-18 22:31

hadoop-更换ip

1、更改网卡的ip地址2、更改/etc/hosts中的master对应的ip（这个一定要写对啊）3、hadoopnamenode-format之前的准备阶段（删除一些文件重要）还要删除这个文件夹hadoop-2.4.1/logs4、hadoopnamenode-format5、再更改win系统的hosts配置VMwareWorkstationHostOnly与SecureCRTPortable创建
李孟lm·2017-03-18 14:12

Java自学日记 day 12

day12今天我感觉还好晚上强迫自己上了第一节课后没有跟室友一起回寝室，而是继续看书，终于看完了12章今天下午与晚上应该看了有60多页把吧！而且是理解并提出了很多疑问，大都解决了，还有些没有，不过今天除了对自己今早赖床浪费了一个早上的时间其他都还比较满意，我现在连累的资格都没有的，今天看了枚举理解了而且不明白的有些吵超前的问题我都翻了后面的书了解了，看了封装、继承、多态。也算理解的还不错，真的有满
cous_0_小墨迹·2017-03-17 23:04

java自学日记 day 11

day11今天差点就放纵自己，还好有小小战胜自己一次，今天没有完成制定的规划，现在总计划就是最快这个月看完基本的书，最迟下个月中旬看完，然后制定一份学习计划，三个月我可以到达哪种地步喃！今天枚举的的理解还行，看的还不错不过今天真的坑节奏了，我这么聪明一定可以的，老子天下第一哎可以的不怕累我这哪算累啊对了最近没有睡午觉晚上睡得很好初三看是睡午觉的习惯我可以改掉的，哎还是有点累的。
cous_0_小墨迹·2017-03-16 22:48

java自学日记 day 10

day10今天看的东西很少，对枚举还是不理解,今天有点累不过我还能看见未来看见希望有什么累的喃！明天白天看完12章Java的三大特性，晚上看看完枚举与后边的视频。上床睡觉。
cous_0_小墨迹·2017-03-15 22:52

java自学日记 day 09

day09今天有个好消息，驾校有了签到软件可以不用天天跑签到了。很开心啊！今天复习了一些内容。有个四舍五入与输出棱形的程序没有写出了。刚刚看了哟个电影有点累了。今天早点休息，已经有好几天没有看新的东西了，洗漱睡了！明天继续慢慢走道路段段美好，血与汉营造慢慢走啦
cous_0_小墨迹·2017-03-14 22:26

java自学日记 day 08

day08今天早上驾校校考科目一，以97分过了校考，昨晚12点才看完题，当时感觉很悬啊！做题别提有多认真了。连分析带猜反正过了，今天晚上去了科林明伦，突然感觉自己学的东西很少，很少。思考自己到底想要什么？因为机械的待遇很低，自己不甘心才转行的，还是自己真的喜欢。记得小时候很有数学天赋，后来爱上了物理，最后为了以后生活选择了机械，结果还是要换，自己到底除了为了生活真正爱的是什么？，马上21了，不小了
cous_0_小墨迹·2017-03-13 22:31

java自学日记 day 07

day07今天我起床就是11点了，然后跟同学去了驾校签到，下午回来看书也不认真，基本没看，然后5点后开始看科目一的题，明天科目一校考。决定从明天起无论多困只要睡眠时间达到了7个小时就必须起床绝不懒床。自律
cous_0_小墨迹·2017-03-12 22:03

java自学日记 day 06

day06今天上午看了矩阵的乘法，然后看了数组的常用方法，觉得老书上的一句话很有道理，二位数组就是数组的数组。1.动态初始化与静态初始化的区别。2.数组还有就是只有数组元素是分配的堆堆存储空间。而高维分配的是引用3.晚上出去看了视频，那个对函数的讲解很不错，函数就是把代码块封装起来的一个增加代码块重复使用的方法。4.return的用法：用于返回参数；结束函数块。还有个需要注意的就是如果函数的返回值
cous_0_小墨迹·2017-03-11 22:42

java自学日记

day05今天没有写什么东西，也没有学什么！无意间看到了一个女学生自杀的新闻。很有触动很有触动，也看了喜剧之王，在合适的时候看合适的东西，留了很久。要考驾照了不能拖了。90天我学好java基础，然后可能有一个算实习的机会，很难的。也很感谢。努力！奋斗！那个女孩20多年看不见希望，算自私了一回吧！什么都没有从家里拿，自私一次好像也不为过吧！不管怎样这里不是我感叹的地方。没有祝福一路走好。
cous_0_小墨迹·2017-03-10 22:00

java自学日记

day03&&day04这两天并非没有学习而是，忙到忘了写博客记录自己的学习历程。这两天是将图书馆借的书与自己买书互相互相对比名内方法。抽象类我觉得就是对类的抽象，而类就是对实例的抽象，比如啊！桌子是个类，那么家具就是抽象类。也就是抽象类的是对类的抽象，他不可能有实例方法，因为他实例的就是一个类，这是不可能的，所以抽象类没有构造方法也没有静态方法（因为构造方法是构造实例的，抽象类不能被实例的；静态
cous_0_小墨迹·2017-03-10 11:17

Java自学日记

day1:今天看了方法这一章的书，还有枚举。枚举没有看完，像以前一样突然学习效率就不高了，有点不太理解。
cous_0_小墨迹·2017-03-06 22:59

Hive 环境配置 详解

1、由于hive依赖于Hadoop框架，所以首先启动Hadoop相关守护进程注:需要先安装Hadoop->namenode$sbin/hadoop-daemon.shstartnamenode->datanode
SmallPuddingHappy·2017-01-29 07:00

Hadoop - 任务调度系统比较

Hadoop-任务调度系统比较1.概述在Hadoop应用，随着业务指标的迭代，而使其日趋复杂化的时候，管理Hadoop的相关应用会变成一件头疼的事情，如：作业的依赖调度，任务的运行情况的监控，异常问题的排查等
棒棒棒的·2016-11-24 16:39

文件收集框架Flume

一：回顾-》Java-》hadoop-》common：用于支持其他组件-》hdfs：分布式的文件系统-》分布式-》安全机制-》分块-》副本机制-》企业常见安全机制：RAID01510-》yarn：资源调度管理框架
fangtaoma·2016-11-14 08:09

运行jar包所需要的环境依赖

/lib/hadoop"forfin$hadoop_HOME/hadoop-*.jar;dohadoop_CLASSPATH=${hadoop_CLASSPATH}:$fdoneforfin$hadoop_HOME
23萝卜·2016-11-09 10:17

hadoop-基础-安装以及介绍

1.分布式：由分布在不同主机上的程序(进程)协同在一起才能构成整个应用。2.大数据三大特性：1.volumn:体量大2.velocity:速度快3.variaty:样式多4.value:价值密度低3.hadoop--------------可靠地、可伸缩的、分布式计算的开源软件。是一个框架，允许跨越计算机集群的大数据集分布式化处理，使用简单的编程模型(MapReduce)。可从单个服务器扩展到几千
deyu01·2016-10-17 13:29

深入浅出学Spring Data JPA

SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库持久化JPA-简化创建JPA数据访问层和跨存储的持久层功能Hadoop-
dragonpeng2008·2016-08-22 09:49

重启Ubuntu后Hadoop的namenode起不来的解决办法‬

因为Ubuntu每次重启之后都会将/tmp目录清空，而默认配置下每次hadoopnamenode-format总是将数据信息定位到/tmp/hadoop-${user.name}中，因此需要修改etc/
volnet（可以叫我大V）·2016-07-26 22:00

使用eclipse远程连接hive

阅读更多基础环境：namenode192.168.1.187kafka3datanode192.168.1.188kafka4datanode192.168.1.189kafka1这个集群是自己下的hadoop
LJ你是唯一LT·2016-06-03 17:00

大数据组hadoop集群启动

一.启动总体顺序zookeeper->hadoop->hbase二.用脚本启动过程（初次启动）1.启动zookeepeer：使用shzk-manager.shstart命令（manage02）2.格式化
just-天之蓝·2016-05-28 10:19

Hadoop-统计红楼梦里出现名字的次数（MapReduce学习）

packageorg.bigdata508.util; importjava.io.BufferedReader; importjava.io.File; importjava.io.FileNotFoundException; importjava.io.FileReader; importjava.io.IOException; importjava.io.StringRead
Decmber·2016-05-14 08:00

android 自学日记（六） ——SAX解析中换行问题解决

今天在写一个小项目的时候用到了SAX解析，遇到了一点小问题，网上找了好久都没有解决，最后还是自己发现了解决方法，特地和大家分享一下！问题描述：先来看下要解析XML文件：bigbɪghttp://res.iciba.com/resource/amp3/oxford/0/dd/3e/dd3eded85f7085dc92210aa496e92ba9.mp3bɪɡhttp://res.iciba.com/
Hubert_bing·2016-05-05 20:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他