Hadoop小记

sqoop导入数据到hdfs

Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop
鲲鹏猿·2024-02-08 06:40

Hadoop之环境配置

1.安装环境ubuntu2.安装jdk3.安装Hadoop1.在安装ubuntu时需要注意安装ubuntu创建用户，等待时间比较长，大家需要有点耐心。
鲲鹏猿·2024-02-08 06:39

数据采集工具Sqoop、Datax、Flume、Canal

libcpmysql-connector-java-5.1.10.jar/sqoop-install-path/lib重命名文件并配置文件mvsqoop-env-template.shsqoop-env.sh#添加环境变量exportHADOOP_COMMON_HOME
yue-verdure·2024-02-08 06:08

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
道-闇影·2024-02-08 06:07

Zookeeper搭建集群步骤

[hadoop@note1~]$cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
qq_22019789·2024-02-08 06:37

MapReduce的类型与格式

MapReduce的类型Hadoop的MapReduce中，map函数和reduce函数遵循如下格式：map：(k1,v1)--->list(k2,v2)combiner：（k2,list(v2)）--
Vechace·2024-02-08 05:31

Spark安装（Yarn模式）

一、解压链接：https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码：mb4htar-zxvf/opt/software/spark-3.0.3-bin-hadoop3.2
莫噶·2024-02-08 04:44

Hadoop搭建（完全分布式）

bigdata-masterbigdata-slave1bigdata-salve2NameNodeNodeManagerNodeManagerSecondaryNameNodeDataNodeDataNodeResourceManagerNodeManagerDataNode目录一、jdk安装：二、hadoop
莫噶·2024-02-08 04:14

金鸡山露营小记

昨天傍晚，我提议去山上露营看星星。红猪同意了！我们选择了去方岩背，开车半小时，也很适合观星。红猪说吃了晚饭再去。还说联系一下朋友，看有没有人同行。我第一个电话打给娟娟熊，娟娟熊却在电话里大叫，说她们在金鸡山，让我们开车上去会合。金鸡山是东瓯第一高峰，海拔有一千八百多米。晚饭之后开经全黑了，我们还是决定出发。娟娟熊说山上非常冷，要穿羽绒服，幸亏她的提醒，我带上了两床被子。开了一个多小时的山路，终于抵
应童·2024-02-08 03:45

现成Hadoop安装和配置，图文手把手交你

为了可以更加快速的可以使用Hadoop，便写了这篇文章，想尝试自己配置一下的可以参考从零开始配置Hadoop，图文手把手教你，定位错误资源1.两台已经配置好的hadoop2.xshell+Vmware链接
叫我小唐就好了·2024-02-08 03:56

神经网络学习小记录36——Keras实现LSTM与LSTM参数量详解

神经网络学习小记录36——Keras实现LSTM学习前言什么是LSTM1、LSTM的结构2、LSTM独特的门结构3、LSTM参数量计算a、遗忘门b、输入门c、输出门d、全部参数量在Keras中实现LSTM
Bubbliiiing·2024-02-08 02:30

夏日小记

此刻，陈小朋友在我身旁熟睡，肉奶奶的脸庞，熟睡的模样，一切都让我觉得岁月静好。可是就在一个半小时前，我们两个还在这里发生了一场"大战"。吃好饭，收拾好碗筷，我就带着他回房间准备午睡，可不知怎地，他怎么着也不肯躺我旁边。我嗤笑一声，心想我先睡，他待会自己会爬到我旁边的，我便自顾自躺下，假装闷头就睡。可我等来的不是他来到我身边，而是他在地板上玩的特欢的声音。我起身一瞧，哟，这小家伙拿着宝宝金水在自己身
叨叨叨饭小文·2024-02-08 01:21

Spark Standalone 集群配置

ApacheMesos-一个通用的集群管理器，也可以运行HadoopMapReduce和服务应用程序。（已弃用）HadoopYARN-Hado
董可伦·2024-02-07 23:01

牛津小记

1.Blackwell'sBookshop英国最有名的学术书店，也是是最早开设网上书店的店家之一。里面看书买书的人非常多。在二楼历史区买了一本书作为纪念。2.牛津大学图书馆牛津大学图书馆，非本校人员进不去，据说里面的书只能看不能借，女王也拿不出去。牛津学霸的自行车和图书馆的围栏紧紧依偎。3.牛津基督教堂学院各个角度的教堂学院，下午两点开始开放，学生4.5磅一人。哈利波特的拍摄地，其实是学生食堂，我
君往独处去·2024-02-07 23:23

原创小记第114天《心理路》

我跟我的专业已经分开好久了，虽然我的床头书架都是有关心理学的书籍，虽然去年参加了一年的心理成长班，虽然几乎每周都在进行着沙盘活动，我还是觉得我把它弄丢了。想起我报考心理学的初衷，也仅仅是因为高三复习时心理专家的一次疏导。我“随便”的填了专业，“随便的”决定了自己一生的方向，这个决定“随便”也随心。四年专业学习，大多是基础理论，只是一只脚刚刚入门，连环境都没有看清楚就出来了，再者，没有考上研究生（也
青浅_33·2024-02-07 23:53

Hadoop系统应用之Zookeeper分布式集群部署

一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包（地址）https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/2.上传安装包（SecureCRT&FX）通过软件FX将安装包上传到linux系统的/export/software/目录下3.解压Zookeeper安装包执行
-牧心-·2024-02-07 22:31

Hadoop | 集群配置（一）使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令

文章目录参考资料一、前言二、rsync远程同步工具三、使用shell编写分发脚本四、总结参考资料视频链接Linuxscp命令一、前言在Hadoop完全分布式集群环境下，里面的各个节点都是通过SSH免密登陆连接的
「已注销」·2024-02-07 21:20

坚持写作第9天，随手小记

大家晚上好，因为今天加班回来的比较晚，吃完饭以后再睡觉的时候，总想着好像还有什么事情没有干，突然想起来还没有更新，便爬起来更新。今天哪没有什么干货，可以和大家分享，所以就聊聊天，写一些今天碰到的好玩的事情吧。最近一直在忙新项目，可能时间会比较紧，但是大家放心，一定会按时更新。其实坦白的说在上学的时候，我没想到今天的工作是关于文字工作类型的。大家不妨想一下，当初你为什么开始写作或者产生写作念头的。一
任二公子·2024-02-07 21:48

今日份小记～假期第三天

懒懒散散的过了三天啦，感觉时间过得真快呀。离上班的日子越来越近啦，真是想把时光定在这个假期里，这样就不用担心这工作的事情，也不用担忧生活的压力，更不用面对不想面对的人，这日子真是太舒坦啦。哎呀呀，十多年了，头一次过这么自由的假期，真是舒坦，如果时光再慢一点就更开心啦！
南笙无畏·2024-02-07 19:26

小记小记小记小记小记

不过只是个小记而已ww怕大家忘了我上面是今天和同学一起拼的兽！很有违和感不会画兽（）没练过反正就是来猜一下哪个是我画的！（？）快来猜（？）
Plum夏墨·2024-02-07 18:45

【hadoop】集群搭建之部署mysql并远程访问（连接）

的roo账号密码并连接mysql（四）更改默认密码并创建testdb数据库（五）将mysqljdbc驱动引入ider中的java项目里（六）通过jdbc连接（访问）mysql(使用ider)（七）创建hadoop
db_lcz_2014·2024-02-07 18:32

日常小记：西红柿沈腾会亲临现场讲授考研政治吗

现在的培训机构，为了吸引考生，无所不用其极。一键关闭最近都在图书馆一楼看书，这两天老是听到二楼报告厅有讲课的声音。今天一进图书馆，差点没被人流推着上了二楼。还好我一个马步向前一记左勾拳右勾拳，推开了人群，从侧面逃走。耐不住好奇，我打算还是上楼看看。报告厅门口人山人海。我拉过一个小哥哥：这干嘛呢？小哥哥：哎哟～你不知道呀？开讲座的老师昨天说今天是沈腾来的～我刚看了他的西虹市首富我好喜欢他呀～沈腾沈腾
大米蛋黄酱·2024-02-07 17:49

学习大数据需要掌握哪些知识？

而且不论是学习hadoop，还
大数据学习01·2024-02-07 15:16

居家办公小记

因为疫情突然的出现，在家办公了一个礼拜，很开心也很焦虑，开心的是能多陪伴孩子，焦虑的事是孩子不让你好好办公。但是不管如何，这一周下来我明显发现，孩子叫妈妈的次数越来越多，更希望我陪着，我抱着，没有陪她睡觉不行，没有抱她不行，没有陪玩不行，总之不管做什么，都要妈妈。这是一件真的很幸福的事情，我记得在孩子3岁之前会很黏妈妈，越大就越渐行渐远了，不说疏离，但是，至少不会再这么无条件粘着你，要你抱抱了。很
琉璃_语·2024-02-07 13:13

原创小记第74天《无》

无话可说，无字可写。有两天的荒废，内心就已经非常不安了。当然，我的不安来自自己的内心，无关外部因素，至少说明我开始了自我管理。其实这段期间，我一直是隔一天写一次，比之之前的“殷勤”，是有些懒惰。我不逼自己一定要每天都写些什么当做一记，总要言之有物，述之有理。此时窗外滴滴嗒嗒有融雪滴落的声音，没有节奏，就像我的内心。我一度以为这二十多年所学所看所悟就只是这样了，很快我就倒干了腹中的墨水，灵感枯竭不过
青浅_33·2024-02-07 12:57

CentOS7集群配置免密登录

准备工作提前开启三台虚拟机hadoop102、hadoop103,hadoop104,关于三台虚拟机的安装可以参考：https://mp.csdn.net/mp_blog/creation/editor
在下区区俗物·2024-02-07 12:00

CentOS7搭建Hadoop集群

集群环境搭建（3台）-CSDN博客2、配置虚拟机之间免密登录，参考：CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk，参考：CentOS7集群安装JDK1.8-CSDN博客4、下载Hadoop
在下区区俗物·2024-02-07 12:57

请问半吊子 C++选手该如何深入学习 C++?

java是典型的后台语言，能和netty、hadoop、hbase-、elastics
枪哥玩转嵌入式·2024-02-07 11:21

2021年8月28日青岛游戏王店赛小记

对我来说，这个周的游戏王店赛，基本可以用“虎头蛇尾”来形容。开局还算不错，越往后越拉胯。本来有希望能够获得名次，却在关键轮次连续输在关键卡上。我仍然使用电脑堺参赛，并且没有对上一次参赛时的卡组配置做出太多的调整。之前，有人说，这次比赛，用相剑和随风旅鸟的人可能会很多。当时，我没有过多地把这句话放在心上，自以为目前的这些备用卡能够应付这两类卡组。实战结果证明，目前的这些备用卡的实战效果不太好。当然，
生还者·2024-02-07 11:42

骑行，野营环华第4天

骑行小记天气：多云转小雨骑行路段：石峡乡——光泽县预计里程：78km实际完成：65km完成率：83%财务小记：食材42、午餐37、水果11、饮料及零食：16合计消费：106元（2人）扎营：因下午下雨在离光泽县
游荡流亡·2024-02-07 10:26

hadoop集群搭建踩坑实录

由于不可控以及不可知的原因我搭建的hadoop集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过
温文尔雅的流氓·2024-02-07 10:39

Hadoop分布式计算实验踩坑实录及小结

目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_·2024-02-07 10:08

与哼哼一起成长的小记录（11）

昨天头疼，断更了一天，确实佩服那些雷打不动保持日更的人。困难的事坚持做很难，简单的事重复做才是最难的。之前存了三篇备用还是有点未雨绸缪的觉悟，往后的路还很长，不打无准备之战。哼哼小时候跟妈妈比较亲近，我花了很长时间才得到他的认可。为什么用认可这个词呢，以前哼哼就连睡觉都要把我推开一段距离，即使知道他是因为处理不来与爸爸妈妈的关系而做出的举动，但心里还是有些失落。想给孩子无条件的爱，做起来真的很难。
张大箱·2024-02-07 10:00

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

小记录

昨天和女儿睡觉时又到12点多了，睡前不愿意躺床上，一躺就要哭闹，抱着睡着的，晚上醒了大概有5，6次，本来设好的5点闹钟，只能不停按延迟响铃，最终还是关掉了，实在是太困了。让人担心的是这样的睡眠质量会影响她成长！最近女儿睡觉问题越发严重，之前也一直存在这个问题，白天睡觉时间特短，有时5分钟就是一觉，除非在旁边陪她睡还好一些，晚上会突然哼唧或哭出来，迅速抱起或喂奶后她会再次入睡，一夜如此反复。已排除腹
坤凝·2024-02-07 08:45

晨间日记

小记：休整不出门。晨泳后依旧是吃茶、早餐；之后是书、剧交替进行；再就是学习视频的抽屉柜收纳整理，一组抽屉整理下来，感觉还不错。还有就是先简单整理出了一些出行西藏的物品。
笨笨王ling·2024-02-07 08:10

秋日小记

夏末秋初的早上，在浏览了各种软件朋友圈之后，终于懒懒散散的起床，洗涑。带着孩子外出吃了早餐，把要洗的衣服送往干洗店，又带孩子去了他想起的游乐场。看着他和小朋友一起开心的玩着，全然已经忘记了前一刻的纠结，纠结昨天朋友的约定，伤心朋友的爽约。小孩子的世界就是这么单纯，前一秒的泪水还在眼眶里打转，这会已经是遮不住的笑意满怀了。真羡慕孩子的世界，没有套路，没有算计，开心了就笑，伤心了就哭，一任泪水被小手抹
冷若冰雪_cebc·2024-02-07 08:15

辞职后季度小记

年前辞职后成为一名自由职业翻译，目前已经有三个月的时间，这周突然收到之前的合作伙伴的讯息:HopesuperAmiracomeback!心里既惊讶又感动，同时回忆起了自己之前为推进项目所组织的无数个电话会议，无数个加班的夜晚，无数个为协调各部门所做的努力，这时仿佛都有了最好的奖励。其实很多人在职场上一路向前，不仅仅只是为了薪水，也不仅仅为了升职，这种在工作中所获得得成就感才是更有推动力的向上努力的
Amirazhou·2024-02-07 07:47

初次踏入职场小记

文/迎风奔跑双十二这一天，我醒来时，望了眼窗外的天空，天空依然暗沉沉的，像个布满皱纹的老人家。阴沉的灰色调，仿佛随时都会下雨。寒风刺骨，我拢了拢被子靠窗坐着，单手撑着消瘦的下巴看向窗外，深吸气闻着清新的空气，经过一夜雨水的洗礼，地上一片湿濡，雨后的空气中弥漫着淡淡的青草气息。顿时的心情变得别样，不知道是忐忑、是兴奋、不安、还是担心，因为我将会迎来一场别样的挑战，我又是如何开启人生的第一次的职场，谁
c迎风奔跑·2024-02-07 07:14

一日小记

冷峻的风从山顶吹到山底，天上的雨落到了地上。朦胧的雨遮盖住朦胧般的雾气，好像秋天就这样消失在了一场雨之后，把每个人的开放都给逼到了一个角落里。行走的人们都是很匆忙的，好像这忙碌的时节成为了正常的状态。下午昏暗的路上我碰到了一个犯癫痫的同学，只有他的舍友在旁边用殷切的眼神瞅着来往的人。我拿着伞给他们遮住，还拨打了急救中心电话，在校门口等着救护车来到。可能这段时间的等待是最磨人的，是最无法忍受的，就算
远小磊·2024-02-07 06:02

win10 spark scala 本地运行wordcount

注意每次修改环境变量都要重启cmd本机运行需要hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin
疯琴·2024-02-07 06:06

干活小记

今天在外婆家干了一天的活，老觉得自己如果多干一点。外婆就会更轻松一点，但是有些活自己还是不会干，比如说做传统农活。由于幼年求学、青少年求学。在我们那个村子，似乎还是读书是唯一的出路。所以我们都是拼命读书，干简单的家务活就好了。但我还是希望，竭尽全力，多干一点。
晓祎琴·2024-02-07 06:49

同是ZooKeeper，你和架构师的理解差在哪里？

Dubbo，Kafka,Hadoop等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗？如果面试官让你给他讲讲ZooKeeper是个什么东西，你能回答到什么地步呢？
l鹿狸i·2024-02-07 06:12

Hadoop-IDEA开发平台搭建

1.安装下载Hadoop文件1）hadoop-3.3.5将下载的文件保存到英文路径下，名称一定要短。
Snower_2022·2024-02-07 05:02

【实验1】分布式模式的CentOS 6上安装Hadoop（1个master节点，2个slave节点）

实验环境：二、实验内容与步骤（过程及数据记录）：1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆HadoopSlave3
-借我杀死庸碌的情怀-·2024-02-07 05:31

在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验

一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥：mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中scpid_rsa.pubh1@对方机器IP：~/.ssh/authorize
Clearlove灬Star·2024-02-07 05:01

合肥工业大学2022大数据技术实验二

实验序号及名称：实验二在Hadoop平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在Hadoop平台上部署WordCount程序。
一头骇人鲸·2024-02-07 05:00

hadoopwordcount代码分析

输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer;用来对字符串进行切importorg.apache.hadoop.fs.Path
姹紫_嫣红·2024-02-07 05:57

【实验2】在Hadoop平台上部署WordCount程序

HDFS6.分布式文件系统HDFS上的编程实践6.1安装Eclipse6.2创建Eclipse工程6.3编写一个Java应用程序检测HDFS中是否存在一个文件7.Eclipse上的HDFS操作7.1安装Hadoop-Eclipse
-借我杀死庸碌的情怀-·2024-02-07 05:27

2020-01-02

所以这篇小记要怎么开始呢
yowaann·2024-02-07 05:12
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他