Hadoop随笔第12页

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau

core512·2024-02-20 22:02

随笔

人生就算失意，也会无所谓得与失，坦坦荡荡，真真切切，平平静静，快快乐乐。人生十有八九不如意是说人生如意的人毕竟是少数。大作为大造就必经大挫折大磨难，百炼才能成好钢，炉火烧到一定火候才能变成纯青。

青柠姚姚·2024-02-20 21:18

python3 openssl_centos6/7 下升级openssl并安装python3

今天是2019年的最后一天了，看了看自己今年写的随笔就一篇，实在有点少得可怜，就想着趁现在有点时间就再写一篇，^_^centos6或者centos7python默认都是安装python2版本，现要升级到

weixin_39593354·2024-02-20 21:41

做一个够好的父母就行《教师的使命》随笔四

张文质老师在三个典型的职业困境谈到教师有三个职业困境:一、“没时间”读书二、职业封闭性三、精力枯竭带来的麻烦教师“没时间”读书，就容易成为一个单纯的“事物工作者”。所以你很难打开教育更广阔的思路，做生命教育，很难对人成长的秘密有更全面的理解。你的教育思想就停留在“应试教育”的枷锁下。当学生达不到你的要求时，你会迷茫，会对自己产生怀疑，产生自卑，产生抱怨，我究竟哪里“做错了？”此时，我们忽略了教育的

右央·2024-02-20 21:00

binder笔记

学习随笔。app能够占用多少内存，所说的是一个app进程可以占用多少内存。内存不够，突破内存，增加app进程。多进程的好处：例子，浏览手机相册，图片多卡顿。

呆咖啡·2024-02-20 21:07

随笔（一三五五）|问诊

好不容易进入了秋日，可这阴雨绵绵的天气却又不知要持续多久，弄得我已经都有些厌烦了，但还是只得默默地忍受。我本想再坚持上几天就能过去，结果小孩倒先有点儿抵抗不住了。看着刚睡醒的小孩满身都是成片的红疹，吓得我赶紧抽空将她送到了医院检查。由于出门的时间有点儿晚，刚到医院的我们就立马跑去挂号问诊，结果临见医生前还得再扫一次“行程码”。焦虑不安的我们只得耐住性子走到跟前进行扫码，好在我的“行程码”很快就显示

夏野·2024-02-20 21:42

【随笔】小气泡清洁

今天陪护士J姐姐来美容店做脸，她做接睫毛，我做小气泡清洁。店是医院内同事们口耳相传的店面，稍远，15:30下班后（对，周六半天班上到了下午）和J一起来，倒车公交+地铁约1h。和她说下次选个近一些的店面。不过医院内同事们选择这家店是因为家在这个方向，估计从家来就0.5h公共交通只能吧。广州小姐姐们的美容手法也很轻柔呀，不过因为久不做小气泡（上次是7月在南昌），这次还是有一些毛孔垃圾，把脸吸红啦一些。

笔花粥粥·2024-02-20 21:33

也说职业规划

这篇随笔提炼于我电脑一篇近八千字的专题文章（只是完成了三分之一），初衷是写给身边一些亲人和朋友看的，还想把它们变成一部小说。今天提炼一些枝干，各位看官见笑了。本文结构分为三个部分：一实际案

学习君·2024-02-20 21:19

你的眼睛如此美丽（随笔诗）

图片发自App想说一句话而已，不是写一篇文章！这种下雨天，曾经的你眼睛那么美丽，不是用来流泪的！但你流下的每滴泪，都见证过成长岁月中那些惹人疼惜的记忆！我本来不喜欢寂寞的，但寂寞却如此喜欢我！寂寞的时候习惯了写写文字，某个莫须有的身影闯入心底，才发现岁月早已经物是人非，原来曾经我们那么靠近，如今却渺无音讯！原来我追的只是像今夜一样的狂风暴雨，美丽精彩所以令人万分惊喜！图片发自App

伏魔战神·2024-02-20 21:43

教师随笔：放弃太容易，坚持有点难

今天是坚持写点东西的第24天。最近的事情真的很多，每天周转其中，如一个歇不下来的陀螺。坚持有点难今天打开电脑码字时，内心是满满的抗拒感，夹杂着由身体到内心的累。我真的很想把手边的这一堆事情都放下，好好休息一下。可是又想起，自己年轻时曾经的那些“热血”，不都是在平凡日子中的细碎琐事中被一步步消磨掉的吗？image好多的事情，原本知道坚持下去就一定会有收获，可总是因为给了自己一次放松的机会，继而有了第

知行笔迹·2024-02-20 20:16

hive 的map数和reduce如何确定

的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop

Super乐·2024-02-20 20:38

(17)Hive ——MR任务的map与reduce个数由什么决定？

MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop

爱吃辣条byte·2024-02-20 20:27

丹凤张杰‖车站随笔【心中的忧伤】

丹凤张杰‖车站随笔【心中的忧伤】多愁善感心忧愁岁月如梭度春秋两鬓微霜又何妨青春年华显苍凉家贫如洗无良方四季打工渡时光社会现实摆眼前没有特长你靠边专业虽有难如愿关系没有照靠边青春半辈已壮年再无童年好时段苦水满腔倒给谁时下难逢找贵人困境之时难逢生无依无靠等天明死水微澜伴苍生感情心死伤难平人间烟火尘埃落选择捷径奔前程

丹凤张杰·2024-02-20 20:24

年青教师新教育叙事

教师素质过硬，新教育把年青教师的潜力激发了出来，构筑理想课堂、营造书香班级、师生共写随笔、缔造完美教室等，每一个方面都与常规教学密切联系。

江左镇五里头小学王伊辉·2024-02-20 19:54

Hadoop生态圈

是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop

陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop

大勇任卷舒·2024-02-20 19:27

【YARN】【Apache Hadoop YARN】【架构】

ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)

资源存储库·2024-02-20 18:48

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。

卢说·2024-02-20 18:38

随笔(让我说声"谢谢您")

每天只顾着随笔(仅只想在美好的琐碎的存折上每天留一点给日后某个阳光的午后或黄昏时与自己慢慢咀嚼，如果您不经意停留，希望您也拥有这小小的美好一一人间值得)和阅读，不是不想与您互动，而是我沉浸在书的世界，欢喜到忘了时钟在摆动

谢秋悦生活随笔·2024-02-20 18:49

《诗刊》诗人随笔又岂是一个“雅”字了得！

《诗刊》诗人随笔，诗词评论，品诗如品茶，个中况味，又岂是一个“雅”字了得！

hahahah1·2024-02-20 18:35

长沙IT技术圈百万年薪大佬？是否存在？

date:2020-04-109:10tags:随笔author:邹溪源categories:随笔引子不知不觉，IT技术圈开始流传起“百万年薪”的故事，有人问我，长沙有百万大佬么？其实我也不知道。

溪源More·2024-02-20 18:41

遇见你！是不是新的开始？

备课中~无意间遇到app，感觉还不错，以后也能写写随笔，记下足迹！机会幸运地降临到我头上，不觉得自己有多优秀…不过，既然要做，那就尽力做好！自信，从容，是我追求的境界！

嘿咪姐姐·2024-02-20 18:45

2021-06-02

我和的故事其实来已经一年多了，一直没有开始写，觉得自己的能力不行，总觉得什么时候自己的能力长进了，才开始写也不迟，其实你如果不开始是永远没有长进的，于是我试着每天日更，写写生活写写随笔，看看自己写的东西

细语倾听·2024-02-20 17:09

随笔

今天是写工作日志的第二天，感觉反思一下，特别顺畅。知道自己下一步应该做什么，怎么做。自己在工作中有什么不足，有哪些地方做的比较妥善，是否能做的更好。今天没做到的，就是没提前做好规划。做的好的是，自己默默的暗示自己。一定不要浪费时间，我真的没有浪费时间，整取了很多有效的时间，做了些有用的事儿。虽然明天放假，但是，我也希望自己能是高效的一天。加油！

西瓜雪雪·2024-02-20 17:20

向上的亲情

时隔3个月，我终于将那时暴走写的随笔翻出来再回味，或许与其说3个月，不如说过了20多年，我终于开始咀嚼那份感情并细细品味。

叶小艾·2024-02-20 16:37

晚间随笔｜先种下一颗梦想的种子

今天是2022年11月20日，星期日，天气晴。每个周末，对于我来说是非常忙碌的。休息日没休息对于我来说已经习惯了。因为我们的周末是不放假的，而孩子们放假了，要照顾他们的饮食起居，还要送他们去培训班。反正就是家里公司机构来回跑。这几天婆婆不在家，我就更忙了。此刻虽然人已经躺在了床上，但是心还没有沉下来，似乎还飘着的。总想着还有很多事没做完、不知道还有没有什么必须要做的事而没做，比如孩子的作业打卡签字

三合燕子·2024-02-20 15:43

大数据Map Reduce (Hadoop) 和 MPP数据库的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW

山哥Samuel·2024-02-20 15:05

洋吉随笔，生活2022.8.1（八月第一天超级开心）

1、好快，今日已经是八月了，希望自己能越来越好，学会成长，不要在像个童真的小孩一样。上午在社区培训，下午请了半天假，因为昨天和婷约好了，今日带她妹妹一起去城里办身份证。中午下课后我回家吃过午饭，然后穿了双鞋随便收拾下就出门了，接上婷和她妹妹我们就出发了，她妹妹叫稀月，07年的，才15岁。稀月特别喜欢帅哥，看见帅哥会毫不避讳的去主动且正大光明的拍人家，当然这只是她姐告诉我的，我也没亲眼见过。因为我和

洋吉日记·2024-02-20 15:04

随笔0820/速记——读《王慧文的清华产品课》（五）

说完A曲线的网络效应，剩下的就是B和C：作者这里的表达是综合的，“规模”指代什么，是要视情况而定，视什么更重要而定——这个在后面我们可以辨析一下。B这条线是淘宝，每多一个用户淘宝都能接纳，淘宝就增加一点价值，但用户和用户之间没啥竞争，所以淘宝的价值是随着规模线性上升的。。。这解释了很多问题，淘宝做到今天它的竞争对手是在变多的。。。再看C曲线，随着规模的上升，规模到了一个水平后规模效应的增长变缓了，

刘东利2020·2024-02-20 15:05

叶华芳随笔第1052篇：

2021/12/02星期四，农历十月廿八［离农历新年还有61天，今天是2021年的第330天】叶华芳随笔第1052篇：20211202，今天是个神奇的日期，千年一遇对称日，万事圆满在今朝。

叶华芳随笔·2024-02-20 14:30

【随笔】自己带娃第一天（九七五）

文姐今天结束了为期四个月的月嫂工作，为我们做了最后一顿午饭，最后一次哄睡了大鱼宝宝，晾好了最后一洗衣机的衣服。下午走的时候，大鱼还睡得沉沉的。我和阿宝赶紧爬起来送她到门口，她不让我们送她下楼，自己一手提着箱子，另一只手还拎了一大袋子垃圾，一步三回头的离开了。关上门，我们仨围坐在餐桌前，忍不住一起感慨：好舍不得文阿姨啊！等到傍晚，大鱼吃了奶，哄睡了好几次，却不知为何没有睡沉。我换手把小BB接了过来，

浩然H_H·2024-02-20 14:16

延时满足

还没想好第一篇的随笔写些什么，于是随意翻开了自己的手账本，看见了“延时满足”四个字，暂且作为自己第一篇的题目吧。回想自己的2018年，遇见了很多人和事情，但是这些都是2017年积累而来的。

佳淇可爱多·2024-02-20 14:09

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构

heybo_zhang·2024-02-20 14:36

无题随笔

今天难得有时间外出散步，每天都是上班回家两点一线。稍稍有点时间，也是窝在沙发上看电视。或是泡一杯清茶，随意找本书慢慢品读。听着窗外孩童欢乐的嬉戏声，我的目光也跟着飘向了窗外。经过春风的洗礼树已抽出嫩绿的新叶。西下的阳光躲过嫩嫩的新叶洒在了窗台上。也跑进了我的心里。沿着堤路漫无目的的游荡，堤路两旁已是繁荣景象。耳边响彻着商贩的叫卖声，还有老人对孩童的呼唤声。穿过喧闹的人群后，路边有三三两两放风筝的人

现实中的我是什么样·2024-02-20 14:37

耐心陪伴，静等花开

耐心陪伴，静等花开赵凤云教育随笔世界在发展，一切都在变化，对于一个初中教师，面对所教的学生要面临中考，面对孩子人生的第一次被选择，因为每个人都有长板短板，此时的孩子的学习成绩并不一定决定孩子的一切，在孩子今后成长的道路上

Real_yun·2024-02-20 14:59

看见成长

从09年参加工作，我就开始写教学随笔，但是那时候写的随便文字上有多有少，大多数是有感而发，以故事叙事和有感而发为主，写着写着因为身边没有人写，就断断续续的了。到了2017年我遇到

荷包蛋的小屋·2024-02-20 14:04

随笔

今天又是我们班一位同学的生日，她就是姚子坤同学。在中午广播完了的时候，陈老师说，今天是姚子坤的生日。我们开始唱了生日歌。跟上一次曾子懿过生是一样的，杨铁冉给姚子坤折了一顶帽子。很多男同学都和姚子坤合影去了，过了一会儿，亚子坤开始给我们发礼物了！三个！两个！一个！到我啦到我啦！我的是一个QQ糖，QQ糖是香橙味的，我闻着都好香啊！过了一会儿，陈老师要去开会，叫熊恩希班长在讲台上播放七色光。叫我们不要说

胡夏珍妈妈·2024-02-20 13:22

随笔日记

今天，娘家一个侄儿子结婚，把手边的工作安排好，便匆匆忙忙的往酒店赶，因为离我工作的地方也不远，很快便到达了目的地！见到了好久不见的亲人，感觉有说不完的话，闲聊了一会儿，婚车就回来了，帅气的新郎和漂亮的新娘迈入了婚礼殿堂，鼓掌声，呐喊声，代表着一声声的祝福。我也在心里默默的祈祷，祝愿他们永远幸福快乐，再祝愿我的亲人和我的朋友们笑口常开！

zMjx·2024-02-20 13:10

2021-02-03

立春随笔冬天已过去，春天还会远吗？今年赶着立春坐上火车踏上回家的旅程。

慕青寒·2024-02-20 12:22

《未来教师》读后——有种相遇叫久别重逢

十数年前，大约是我们建校初期，在学校《教育随笔》的封底上，我读到一篇短文，文笔优美，涵义深邃，现在已经忘记了是什么内容，只记得作者是朱永新。那时，我问同事，这个朱永新是咱们学校的老师吗？

云在高天·2024-02-20 12:19

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复

不二人生·2024-02-20 12:59

随笔20190328

健身房偶遇外国友人，自以为自己英语水平高超，却不知对方第一句话我便绞尽脑汁，他说howareyou.按照书本正常的回答应该是fine,thankyou,andyou。却觉得这个回答太书面话，但是却也想不出更好的回答，便回了fine。之后他问了什么话，只觉得满脑子问号，你在说啥，这次对话真心打击了我对自己英语的信心。我需要更加努力的学习英语了，只为了和实验室的国外友人正常交流。

努力的小坤·2024-02-20 12:04

晚间随笔

晚间和朋友散完步，想起上周给孩子们讲小作文的情景，作文的内容是写《秋天的美景》，孩子们的作文无不例外出现了“萧瑟”、“落叶”、“瓜果飘香”、“金黄”等词语。我拿出手机在展示台给孩子们看了周末带两个小侄儿去田间拍摄的照片，又问他们“你们生活中的秋天有什么？”孩子们灵感来了“翠绿的川穹！”“新生的麦芽！”“绿意盎然的蒜苗！”“零星的菜花！”“五颜六色的野花！”“紫色的野果子！”……大家突然发现南方的秋

小瑶同学_·2024-02-20 11:39

原创分享第85天――一日行事历

上午批改昨天孩子们写的随笔。三班整体不错，绝大部分为原创，文笔虽稚嫩，却均有真情实感的流露。我挑选了十几本有特色的文章，下午阅读课准备做点评。四班改完，气不打一处。

龙儿_a97d·2024-02-20 11:44

随笔2

遍阅人情，始识疏狂之足贵，备尝世味，方知淡泊之为真这是《菜根谭》上的句子。意思是说，看遍了人情的冷暖，才认识到旷达洒脱的可贵；尝遍了世间的种种滋味，才知道了清心恬淡的真切。“疏狂”是道家的哲学思想，是豪放，不受拘束。“淡泊”是恬淡，不逐名利，是坦荡、自然和不迫。疏狂和淡泊是一种人生的态度和境界，是人们在阅尽了人间的酸甜苦辣和悲欢离合之后的感悟。疏狂必须要有淡泊打底，只有不计得失的淡泊的胸怀，才能做

惠然_2019·2024-02-20 11:06

读《高效写作》第5天想写成什么样就写成什么样

3.散文和随笔用一些口语化的

寒江独钓·2024-02-20 11:51

随笔—虚度

图片来自网络侵权必删这是三天清明节假期过后的第一天，灿烂的阳光从窗外泼洒进来，我的人坐在办公室里，却一点都不想动，身体不想动，思想也不想动。我只想坐在这里发呆。。。。。。即使我清楚地知道还有一堆工作等着我去完成，如果完不成会让后续的一些计划再推迟；即使新买的书已经到了，我对这个题目很感兴趣，如果不能一口气看完它，不知道又要推到什么时候才能再次捧起它；即使我知道如何解决自己的不想动，用什么样的方法就

马丽LoveYou·2024-02-20 11:37

随笔

一个人的时候我喜欢听歌，唱歌，看书，写作。自己唱歌或者写作都可以留下记录，自己可以重新看自己的文字。重新听自己的声音。我们平时和外界接触的多，看自己的时间便少了。为了迎合一些固有的社会角色，没有时间做自己真正想做的事情。我唱歌或者写作。并不是因为我做得很好，而是因为我觉得这件事情有趣。做这件事自己觉得有乐趣，但是并不能让别人觉得愉悦或者有收获。于是便在自己一个人的时候默默地做。随着人类的发明和进步

我是小虹·2024-02-20 11:28

一人一狗一世界

这个问题让我回忆起了我曾经写过的一篇随笔《一人一狗一世界的生活》。我毕业后理想的生活是养一只狗过着朝九晚五的生活，平平稳稳的过日子。

天不生我白先生·2024-02-20 11:19

【随笔】我想要去这里玩——阿宝趣事（九二八）

大宝的手机摔坏了，只好把卡插回旧手机上。结果，一拿起旧手机，她和阿宝就一起兴致勃勃地看起老照片来。大宝指着屏幕上留着短头发，走起路来虎虎生风的小家伙问阿宝：你看这个小可爱是谁？阿宝笑着，跟着一起翻看，时不时就指着照片叫：妈妈，我要去这里玩！大宝一一解释着：这里是老家，家婆家。你看你在抓泥鳅！这里是生态广场，我们在野餐……这里就是我们家……这是在外面餐厅，阿宝在吃饭……这是在明月山，阿宝第一次剃光头

浩然H_H·2024-02-20 11:42

推荐频道

Hadoop随笔