hadoop学习日记

听书稿写作指南——学习日记（9.23日）

【你的昵称】妙想想【最核心的一个问题】如何构架建听书稿的写作框架？1、这本书想要讲什么——找出核心点a、简介：主要目的是为了挑选自己感兴趣，并且适合自己的书；b、目录+引言/前言/导论/序：看目录是对全书有个整体把控；引言/前言/导论/序是为了简要了解本书的内容，对核心知识点进行把控；2、书中最令人感触的是什么？——文字基调虽然不需要过多描述自己的感想，但需要保持文章风格的统一，比如温暖、励志等；
妙想想·2024-02-07 00:08

2024-02-06（Sqoop）

1.SqoopApacheSqoop是Hadoop生态体系和RDBMS（关系型数据库）体系之间传递数据的一种工具。Sqoop工作机制是将导入或者导出命令翻译成MapReduce程序来实现。
陈xr·2024-02-06 23:29

2.2数据结构与算法学习日记

目录洛谷p4387验证栈序列题目描述输入格式输出格式输入输出样例题目分析代码示例#[USACO1.5]八皇后CheckerChallenge##题目描述题目分析代码示例洛谷p4387验证栈序列题目描述给出两个序列pushed和poped两个序列，其取值从1到n(n≤100000)。已知入栈序列是pushed，如果出栈序列有可能是poped，则输出Yes，否则输出No。为了防止骗分，每个测试点有多组
祺580·2024-02-06 23:26

1.30数据与结构算法学习日记（单调队列和栈的运用）

目录滑动窗口/单调队列题目描述输入格式输出格式输入输出样例说明/提示题目分析代码示例洛谷p-7505小小的埴轮问题题目背景题目描述输入格式输出格式输入输出样例说明/提示样例1说明样例2,3数据规模与约定题目分析代码示例洛谷p-1981表达式求值题目背景题目描述输入格式输出格式输入输出样例说明/提示题目分析代码示例滑动窗口/单调队列题目描述有一个长为n的序列a，以及一个大小为k的窗口。现在这个从左边
祺580·2024-02-06 23:56

2.5数据结构与算法学习日记

目录P8661[蓝桥杯2018省B]日志统计题目描述输入格式输出格式输入输出样例说明/提示题目分析代码示例P8662[蓝桥杯2018省AB]全球变暖题目描述输入格式输出格式输入输出样例说明/提示题目分析代码示例P8661[蓝桥杯2018省B]日志统计题目描述小明维护着一个程序员论坛。现在他收集了一份“点赞”日志，日志共有N行。其中每一行的格式是tsid，表示在ts时刻编号id的帖子收到一个“赞”。
祺580·2024-02-06 23:56

2.6数据结构与算法学习日记

洛谷P2386放苹果题目描述把m个同样的苹果放在n个同样的盘子里，允许有的盘子空着不放，问共有多少种不同的分法。（5,1,15,1,1和1,1,51,1,5是同一种方法）输入格式第一行是测试数据的数目t，以下每行均包括二个整数m和n，以空格分开。输出格式对输入的每组数据�m和�n，用一行输出相应的结果。输入输出样例输入#1复制173输出#1复制8输入#2复制3324327输出#2复制242说明/提
祺580·2024-02-06 23:56

1.26 数据结构与算法学习日记

1.洛谷p-1190接水问题题目描述学校里有一个水房，水房里一共装有m个龙头可供同学们打开水，每个龙头每秒钟的供水量相等，均为1。现在有n名同学准备接水，他们的初始接水顺序已经确定。将这些同学按接水顺序从1到n编号，i号同学的接水量为i。接水开始时，1到m号同学各占一个水龙头，并同时打开水龙头接水。当其中某名同学j完成其接水量要求wj后，下一名排队等候接水的同学k马上接替j同学的位置开始接水。这个
祺580·2024-02-06 23:55

1.29数据与结构算法学习日记

#路障##题目描述B君站在一个$n\timesn$的棋盘上。最开始，B君站在$(1,1)$这个点，他要走到$(n,n)$这个点。B君每秒可以向上下左右的某个方向移动一格，但是很不妙，C君打算阻止B君的计划。**每秒结束的时刻**，C君会在$(x,y)$上摆一个路障。B君不能走在路障上。B君拿到了C君准备在哪些点放置路障。所以现在你需要判断，B君能否成功走到$(n,n)$。**保证数据足够弱：也就是
祺580·2024-02-06 23:25

1.31数据与结构学习日记

目录洛谷p1055ISBN号码题目描述输入格式输出格式输入输出样例说明/提示题目分析代码示例洛谷p2404自然数的拆分题目描述输入格式输出格式输入输出样例说明/提示题目分析代码示例洛谷p1055ISBN号码题目描述每一本正式出版的图书都有一个ISBN号码与之对应，ISBN码包括9位数字、1位识别码和3位分隔符，其规定格式如x-xxx-xxxxx-x，其中符号-就是分隔符（键盘上的减号），最后一位是
祺580·2024-02-06 23:25

数据结构学习日记三：树

五、树1、静态查找1.1顺序查找:O(n)哨兵的好处是，可以只靠自然的循环顺序进行查找，实现当碰到哨兵自动退出循环的效果。无哨兵的时候，循环的条件需要多一条分支判断，防止数组访问越界。intSearch(ListL,ElementTypeK){//在L[1]到L[n]中查找kinti;L->Data[0]=K;//建立哨兵for(i=L->Length;L->Data[i]!=K;i--);ret
明々天·2024-02-06 23:54

2.1数据结构与算法学习日记

P3467[POI2008]PLA-Postering题目描述AllthebuildingsintheeastdistrictofByteburgwerebuiltinaccordancewiththeoldarbitecture:theystandnexttoeachotherwithnospacinginbetween.Togethertheyformaverylongchainofbuild
祺580·2024-02-06 23:24

java推荐算法_基于内容的推荐算法实现

javapackagecom.oracle.moviecf;importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.conf.Configuration
RED韵·2024-02-06 19:54

Spark简介

Spark作为第二代大数据处理工具，跟hadoop对比，它是基于内存的，所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99·2024-02-06 18:07

学习笔记124-出其不意策略

【江湖说️学习日记】[打卡宝宝]：洋芋.
洋芋g·2024-02-06 18:10

【Python】DAY06学习日记,哎，没意思，我还是做饭去吧

原本想把常用的图都整理出来，写着写着跑去找参数的含义，找着找着发现......官方文档整理得明明白白嘛，还要我干什么用。没劲，每个月总有那么二十几天不想动弹。一想到还要学spring，心态都崩了。做饭去。放个代码证明我来过。#根据Excel表格里的数据制作图importpandasaspdfrompyechartsimportGeo,GeoLines,Style#读文件frompyecharts.
northwest332·2024-02-06 16:19

致IT领域那些忽悠过的概念

这里我要说的是：1：Hadoop是大数据解决方案之一，是个代名词，但是不是全部。2：除了少数公司，绝大多数（99.99%）的公
薛晓刚·2024-02-06 15:08

Hbase 数据迁移

Hbase数据迁移可选方案对比l已验证方案操作说明：nExport&importu导出命令及示例hbaseorg.apache.hadoop.hbase.mapreduce.Export“表名”文件路径导出至本地文件系统
运维那些事儿·2024-02-06 14:44

flink学习记录

flink-conf.yaml配置文件：jobmanager.rpc.address:hadoop1jobmanager.rpc.port:6123jobmanager.heap.size:512mtaskmanager.heap.size
戏 剧·2024-02-06 14:34

Hadoop 命令手册

翻译：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/CommandsManual.html版本：2.9.0
金刚_30bf·2024-02-06 13:29

热数据存储在HDFS，冷备数据存储于对象存储中

改方案均采用同一套Hadoop架构，使用hive均可以读取到，在降低成本的同时提高数据的利用率。2.准备条件c
tuoluzhe8521·2024-02-06 10:11

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）...

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
weixin_30273931·2024-02-06 09:08

心理账户

【江湖说️学习日记】[打卡宝宝]：嘿黑~[打卡日期]：2018/10/29[累计坚持]：这是我坚持学习的第1天️[学习内容]：5分钟商学院·心理账户[学习笔记]：概念:心里账户我们会把钱分门别类的存在不同的心理账户里面
栗小蒙·2024-02-06 08:50

linux安装hadoop详细步骤（伪分布式）

今天重装了下hadoop，特在此记录下！
红烧柯基·2024-02-06 08:28

Hadoop-Yarn-启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、脚本部分1、start-yarn.sh如果我们想单独启动
隔着天花板看星星·2024-02-06 07:16

——学习日记（9.27日）

【你的昵称】妙想想【最核心的一个问题】如何把一本书写成多篇精彩的拆解稿？一、每篇文章的写作框架1、标题：《书名》+标题内容。题目要与文章相符，同时有吸引力。引起人们的好奇心；2、开篇语：引入或引导期待3、主内容：每篇文章文稿内容控制在2500-3000字以内；小标题：为了方便读者对全文的理解，每篇文章至少分成4部分，标注小标题。每部分标题1/2/3/4....；4、段落：文末最好不要出现过长段落，
妙想想·2024-02-06 07:12

想学大数据？先看完这几本书再说

除了这些技术领域，还有一些特定的技术和语言需要你继续研究：Hadoop，Spark，Python，和R等等，还有无数实现自动化的工具等等，这些工具几乎每天都会用到，这就需要你不断的学习。
yoku酱·2024-02-06 06:55

CentOS 8 安装配置 Hadoop3.3.6 伪分布式安装方式（适用于开发和调试）

1.配置服务器ssh免密登录，否则后面启动会报错：尝试通过SSH连接到主机出现认证错误的提示配置服务器ssh免密登录：1.生成SSH密钥对（如果尚未生成）：执行下面的命令生成密钥对，一直回车即可ssh-keygen-trsa出现下面的提示说明生成成功了：2.第二步，将公钥添加到~/.ssh/authorized_keys文件：cat~/.ssh/id_rsa.pub>>~/.ssh/authori
鱼大虾·2024-02-06 05:39

HDFS入门基础

HDFS命令基础语法：【hadoopfs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty·2024-02-06 05:33

电商推荐系统

一、获取用户对商品的偏好值代码实现packagezb.grms;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.conf.Configured
nucty·2024-02-06 05:31

Apache Hadoop

ApacheHadoop_狭义上说，Hadoop指Apache一款java语言开发的开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度
VincentLeon·2024-02-06 05:28

记3.6学习日记

今天重新作用了昨天学的以及放假之前学的内容。将电容触摸板和lcd完美的结合在了一起。通过今天的锻炼，把放假前的知识巩固了一下。发现可以运用的更加顺手了哈哈！！哎只可惜最近要做毕设不仅两头忙还两头跑好累！！
刘芳铭CC·2024-02-06 05:14

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装1简介Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。
WaiSaa·2024-02-06 02:53

关于Spark/Hadoop中Master/Slave IP不正确的问题

在配置SparkStandAloneMode的时候，我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置./conf/spark_env.sh文件，只要在这个文件里定义好了SPARK_LOCAL_IP和SPARK_MASTER_HOST，就可以解决这个问题。而我设置了configure文件之后问题依然存在。原因在于MasterNode上有多个网卡，每个网卡
ecce·2024-02-06 02:37

hbase基本命令

1、进入hbase的shellhbase提供了一个shell的终端给用户交互[root@hadoop3conf]#hbaseshell退出使用quit或者ctrl+c需要关闭hadoop的安全模式不然进行一些操作
小月半会飞·2024-02-06 01:52

shell中正则表达式

[atguigu@hadoop101shells]$cat/etc/passwd|grepatguigu1.常用特殊字符^$.*[]\^：匹配一行的开头$：匹配一行的结束.
看山不是山a·2024-02-05 23:07

【python】使用python操作XML文件及JSON与XML互转

XML文件2.2.2使用DOM方式更新xml文件，向xml中插入子元素3.XML文件和JSON文件互转3.1XML文件转为JSON文件3.2JSON文件转为XML文件活动地址：CSDN21天学习挑战赛**学习日记
小地瓜重新去华容道工作·2024-02-05 21:51

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

链接：https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit·2024-02-05 20:29

长光工程师学习日记day5

第一题#includeintmain(){inta,sum=0;for(a=1;aintmain(){inta,i=1;scanf("%d",&a);while(ivoidmain(){intnum,i;scanf("%d",&num);for(i=1;iintmain(){inta,b,c:}for(j=1;j<5;j++){/for(k=1;k<5;k++){/if(i!=k&&i!=j&&j
Sergey_2ab6·2024-02-05 18:44

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他