Hadoop-自学日记

Hadoop-生产调优(更新中)

第1章HDFS-核心参数1.1NameNode内存生产配置1）NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？128*1024*1024*1024/150byte≈9.1亿GMBKBByte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果内存服务器内存4G，NameNode内存可以配置3g。在ha
OnePandas·2024-02-02 07:47

Swift自学日记 2020-07-22

32岁又重新开始踏上新的征程，而且还是走上了程序猿的不归路，似乎有些那么不太明智。在民航圈混了10来个年头，之后毅然决然走出了舒适圈，寻找生活的其他可能性和对自己的探索。留学是成为了我踏上探索之路的第一步，一切从头开始，重新认识一个完全不同的社会，用着完全不同的语言，遇见一个个陌生人。生活似乎像一局新开的游戏，更确切的说像是在玩Rougelike游戏重生后的第二回合：天赋技能还在，生存技能也已经升
强死壮·2024-01-31 14:52

Hadoop-分布式

分布式分步+并行处理+汇总结果Hadoop分布式一台计算机存储不了了，也计算不了了Hadoop把多台计算机资源（存储资源：硬盘；计算资源：CPU，内存）连接在一起，形成集群输入文件，拆分成块，多个节点存储计算任务，拆分成小任务，多个节点并行计算，汇总结果
日月交辉·2024-01-27 23:48

网络安全全栈培训笔记（55-服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE）

-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE知识点：1、服务攻防数据库类型安全2、Redis&Hadoop&Mysql安全3、Mysql-CVE-2012-2122漏洞4、Hadoop
清歌secure·2024-01-23 07:24

hadoop- yarn启动后用jps查看没有resourcemanager

1.问题启动hadoop的yarn时发现jps并没有resourcemanager2.排查在hadoop-xxx-resourcemanager-.log日志文件中发现了报错日志日志内容如下contextlogs2024-01-1511:46:14,440ERRORorg.apache.hadoop.yarn.server.resourcemanager.ResourceManager:Error
寂夜了无痕·2024-01-16 06:30

初识Hadoop-概述与关键技术

一.大数据概述1.什么是大数据高速发展的信息时代，新一轮科技革命和变革正在加速推进，技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量，而“大数据”无疑是核心推动力。那么，什么是“大数据”呢？如果从字面意思来看，大数据指的是巨量数据。那么可能有人会问，多大量级的数据才叫大数据？不同的机构或学者有不同的理解，难以有一个非常定量的定义，只能说，大数据的计量单位已经越过TB级别发展到PB、EB
僖僖cc·2024-01-15 14:58

当发送“Hello，World”时，channel发生了什么？

Cassandra-nosql数据库Spark-大数据分布式计算框架Hadoop-大数据
仙草不加料·2023-12-05 22:53

【自学日记】用python pandas库实现excel数据处理

注：本人土木自学转码菜鸟一枚，文中代码仅做个人学习记录，欢迎大家提出更好的代码，一起学习，加油！核心目的：对数据进行多层分类筛选之后对满足条件的重复值依次进行编号问题背景：（比较复杂希望我自己能解释清楚）对象是在读博士，做问卷调研回收了3000多份问卷，研究教师之间的知识交流。回收上来的数据需要进行清洗，具体方法如下图，excel每行是一个人填写的问卷，列teamid为同一数字的可以认为这几个人是
Dongsdbzyt·2023-12-04 16:05

大数据之路-Hadoop-概述（2）

Hadoop集群首先，区分下集群和分布式的概念。分布式结构就是将一个完整的系统，按照业务功能，拆分成一个个独立的子系统。比如我们在做一个项目时，团队中按角色可分为项目经理、产品经理、开发、测试等，不同角色做不同的事，互相之间也可能存在沟通和协作。集群，相对于单机而言，解决的都是同一个问题。以上一个例子来说，单机好比团队中只有一个测试，一个人做了所有的测试工作。因此扩招了2个测试人员，可以把这个3个
胡萝卜土豆·2023-11-19 10:27

Hadoop-伪分布式单节点搭建hive

1.在搭建hadoop完成一台电脑后，hive是利用的MySQL数据库进行操作（推荐与Java技术不好MySQL学的好的学生使用）话不多说操作如下：2.先把hive数据包和MySQL连接jar包放到Linux（下面是我班hive包的版本）；3.安装hive到/opt目录下；tar-zxvfapache-hive-1.2.1-bin.tar.gz-C/opt/4.hive安装完后名字太长我们改成hi
A.一十五·2023-11-10 15:27

大数据技术之Hadoop-入门

第1章Hadoop概述1.1Hadoop是什么分布式：多台服务器共同完成某一项任务。1.2Hadoop发展历史1.3Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP
华尔街的幻觉·2023-10-26 06:14

Linux下搭建Hadoop分布式教程

JAVA_HOMEexportJAVA_HOME=/opt/module/jdk1.8.0_231exportPATH=$PATH:$JAVA_HOME/bin#HADOOP_HOMEexportHADOOP_HOME=/opt/module/hadoop
数据库农民工·2023-10-24 04:45

小迪安全_服务攻防 数据库，中间件安全

、数据库安全&Redis&Hadoop&Mysql&未授权访问&RCE#知识点：1、服务攻防-数据库类型安全2、Redis&Hadoop&Mysql安全3、ysq1-CVE-2012-2122漏洞4、Hadoop
飞辽个飞·2023-10-23 09:33

大数据-hadoop-初探03

**####一、完全分布式的安装**1、集群规划角色分配组件PC1PC2PC3HDFSNamenodeSecondaryNamenodeDatanodeDatanodeDatanodeYarnRecourceManagerNodemanagerNodemanagerNodemanagerHistroryHistroryServer2、基本环境准备2.1系统和软件【3台】CentOS6.5hadoo
taco詹詹·2023-10-17 15:49

Hadoop-总览

Hadoop一、什么是hadoop1.什么是hadoop2.hadoop产生背景3.生态圈4.集群搭建：二、常见命令三、HDFS3.1HDFS构成3.2概述3.3NameNode工作机制3.3.1职责：3.3.2NameNode中元数据的存储形式：3.3.4NameNode写数据3.3.5NameNode读数据3.4SecondaryNameNode工作机制3.4.1SecondaryNameNo
吃再多糖也不长胖·2023-10-17 05:39

服务攻防-数据库安全-服务应用的安全问题以及测试流程-Mysql&Hadoop&未授权访问&RCE-漏洞复现

安全机制——弱口令爆破攻击二、服务应用的安全测试思路1、判断服务是否开放2、判断服务类型3、判断利用方式三、Mysql-未授权访问-CVE-2012-2122利用1、漏洞概述2、漏洞复现3、知识点补充四、Hadoop
ranzi.·2023-10-14 04:36

day55 数据库安全&Redis&Hadoop&Mysql&未授权访问&RCE

#知识点：1、服务攻防-数据库类型安全2、Redis&Hadoop&Mysql安全3、Mysql-CVE-2012-2122漏洞4、Hadoop-配置不当未授权三重奏&RCE漏洞3、Redis-配置不当未授权三重奏
匿名用户0x3c·2023-10-14 04:29

数据库安全-Redis&Hadoop&Mysql&未授权访问&RCE

目录数据库安全-&Redis&Hadoop&Mysql&未授权访问&RCE定义漏洞复现Mysql-CVE-2012-2122漏洞Hadoop-配置不当未授权三重奏&RCE漏洞Redis-未授权访问-Webshell
rumilc·2023-10-14 04:58

大数据学习(2)Hadoop-分布式资源计算hive(1)

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦1.1什么是Hive1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。那为什么会有Hive呢？它是为了解决什么问题而诞生的呢？下面通过一个案例，来快速了解一下Hiv
viperrrrrrr·2023-10-11 00:19

Hadoop-学习笔记-黑马程序员

2022最新黑马程序员大数据Hadoop入门视频教程，最适合零基础自学的大数据Hadoop教程_哔哩哔哩_bilibili资料链接：https://pan.baidu.com/s/11au8SBZGE-iUaWBGbg_3dQ提取码：1234目录01、大数据导论分布式与集群02、Linux系统03、VMwareWorkstation虚拟机使用虚拟机配置：VMware虚拟机常规使用04、FinalS
暗河、·2023-10-09 05:41

Apikit 自学日记：安装、使用浏览器插件测试

Apikit研发管理和自动化测试产品中，提供了多种发起API测试的方式：服务器测试：通过Apikit官方远程服务器发送请求，不需要安装任何插件，但是无法访问本地服务器(localhost)、内网、局域网。插件测试：通过Apikit官方浏览器插件发送请求，需要安装Chrome或者Firefox插件，可访问本地服务器(localhost)、内网、局域网。PC客户端测试：PC客户端拥有完整的网页端功能，
·2023-09-24 20:44

Apikit 自学日记：从 API 文档添加请求

进入流程测试用例详情页，点击添加测试步骤，在下拉菜单中选择从API文档添加API请求。系统会弹出API选择弹窗，你可以在弹窗中选择API所在的项目、分组，并且选择需要导入的API文档。通过导入API文档来创建测试步骤时，会自动将测试步骤关联相应的API文档，当API文档发生改变的时候，测试人员可以方便地同步改变的信息到测试用例中。降低维护测试用例的成本。如果你已经在API文档中创建好了相应的API
·2023-09-24 20:44

Apikit 自学日记：创建自动化测试项目

在API自动化测试中，所有的测试用例都是以项目维度来进行管理，一个自动化测试项目可以从多个API文档项目中引用API信息来创建API测试用例。点击左侧菜单栏，进入API自动化测试项目列表页，点击添加按钮：在弹窗中输入相应的信息，点击确定即可：在创建项目时，您也可以指定一位空间内的成员成为该项目的初始管理员，他能够帮助您进行项目内的人员权限管理工作，如绑定空间内的成员到该项目，或者修改某个成员的操作
·2023-09-22 13:37

MapRdeuce工作原理

hadoop-(三)通俗易懂地理解MapReduce的工作原理-个人文章-SegmentFault思否MapReduce架构MapReduce执行过程Map和Reduce工作流程(input)->
丢雷劳谋·2023-09-21 18:11

hadoop集群搭建

hadoop:https://dlcdn.apache.org/hadoop/common/hadoop-
我有甜甜·2023-09-21 15:45

Apikit 自学日记：新建 API 请求

进入流程测试用例详情页，点击添加测试步骤，在下拉菜单中选择添加API请求，系统会自动进入API测试步骤编辑页面，接下来你可以编辑API的请求参数、返回结果、校验规则等内容。设置API测试步骤API测试步骤设置分为以下几个部分：测试步骤基本信息：包括测试步骤名称、API请求地址、绑定的API文档等；API请求参数：包括请求头部、请求体等内容；提取的返回结果：可以将测试结果进行提取，并传递给后续测试步
·2023-09-21 12:17

Apikit 自学日记：团队管理

团队管理一、工作空间管理工作空间类似于部门或公司的概念，能帮助您更好地管理团队。1.1创建空间点击页面左上角功能菜单，在下拉菜单中选择要切换的工作空间。点击创建/加入，在引导页面中选择创建工作空间，填写工作空间名称、域名并点击确定即可。1.2空间管理在页面左上方功能菜单，在下拉菜单中选择工作空间管理-工作空间。会在新标签页跳转到用户管理后台。在管理后台可以进行个人账号设置以及对当前工作空间进行管理
·2023-09-19 12:14

hdfs的JavaAPI操作

hdfs的JavaAPI操作一、在window下安装hadoop-（一）安装-（二）配置环境变量二、hdfs的JavaAPI操作1.常用类2.HDFSAPI开发的步骤（1）在HDFS上创建文件夹（2）在
LMY~~·2023-09-18 08:09

0301yarn&mapredude入门-hadoop-大数据学习

文章目录1MapReduce概述2YARN2.1yarn概述2.2yarn与MapReduce关系2.3yarn架构2.4辅助角色3MapReduce&YARN部署3.1集群规划3.2配置文件3.3分发配置文件4体验4.1集群启动命令介绍4.2提交MapReduce任务到YARN执行结语1MapReduce概述分布式计算是一种计算模型，它涉及将计算任务分解成多个子任务，并将这些子任务分配给多台计算
gaog2zh·2023-09-08 12:16

Apikit 自学日记:邀请成员一起协作

邀请成员一起协作在Apikit中，所有的API接口都是以项目的方式进行管理，因此首先需要创建一个API管理项目。除了创建API项目，还可以创建项目组来对项目进行分类或者设置统一的用户操作权限。一、手动创建项目进入API研发管理项目列表页，点击添加项目按钮。在弹窗中输入项目名称等信息，点击确认即可创建API管理项目。二、导入第三方产品数据除了手动创建项目，系统也提供了一键导入Swagger、Post
·2023-09-07 15:12

0401hive入门-hadoop-大数据学习.md

文章目录1Hive概述2Hive部署2.1规划2.2安装软件3Hive体验4Hive客户端4.1HiveServer2服务4.2DataGrip5问题集5.1CouldnotopenclienttransportwithJDBCUri结语1Hive概述ApacheHive是一个开源的数据仓库查询和分析工具，最初由Facebook开发，并后来捐赠给Apache软件基金会。Hive允许用户使用SQL语
gaog2zh·2023-09-06 17:43

Apikit 自学日记：发起文档测试-TCP/UDP

进入某个TCP/UDP协议的API文档详情页，点击文档上方测试标签，即可进入API测试页，系统会根据API文档的定义的求头部、Query参数、请求体自动生成测试界面并且填充测试数据。填写/修改请求参数1.1设置请求参数与发起HTTP协议测试类似，您可以通过设置或者导入请求参数。1.2设置请求体WS/WSS协议请求体提供了三种类型：JSONXMLRaw（自定义文本类型数据）Eolink提供了的JSO
·2023-09-05 23:25

Apikit 自学日记:版本管理

功能入口：API管理应用/选中某个项目/项目管理菜单/项目版本管理项目版本管理功能模块提供对项目级别的版本管理，可新增、删除、对比项目级版本。在创建项目版本号的时候会对整个项目的部分模块数据进行快照保存。可用于每次迭代发布打全局版本号，可以进行项目对比以便于后续查看每次迭代产生变更的差异，我们也可以在API的历史记录查看每次迭代该API有没有产生变化，产生变化的内容，甚至我们可以把已经打了版本号的
·2023-09-01 18:03

0202hdfs的shell操作-hadoop-大数据学习

文章目录1进程启停管理2文件系统操作命令2.1HDFS文件系统基本信息2.2介绍2.3创建文件夹2.4查看指定文件夹下的内容2.5上传文件到HDFS2.6查看HDFS文件内容2.7下载HDFS文件2.8HDFS数据删除操作3HDFS客户端-jetbrians产品插件3.1BigDataTools安装3.2配置windows3.3配置BigDataTools结语以下命令执行默认配置了hadoop的环
gaog2zh·2023-09-01 06:08

0201hdfs集群部署-hadoop-大数据学习

文章目录1前言2集群规划3hadoop安装包上传与安装3.1上传解压4hadoop配置5从节点同步和环境变量配置6创建用户7集群启动8问题集8.1InvalidURIforNameNodeaddress(checkfs.defaultFS):file:///hasnoauthority.结语1前言下面我们配置下单namenode节点hadoop集群，使用vmware虚拟机环境搭建。vmware虚拟
gaog2zh·2023-08-28 06:31

Apikit 自学日记：测试数据集

测试数据集添加数据集的变量在测试用例详情页面中，您可以点击上方的测试数据标签，进入用例的数据管理页面。在这里您可以添加多组测试数据，以及每组测试数据的变量。在添加数据集前，我们需要设置数据集中存在什么变量。可以将数据集和变量理解为是Excel表格中的行（数据集）和列（变量）。点击添加变量按钮，在弹窗可以输入多个变量值，并且通过换行分隔。比如我们希望在测试步骤中将user_name、user_pas
·2023-08-25 14:50

Hadoop-理解yarn

微信公众号：北风中独行的蜗牛YARN集群也分为Master/Slave架构，主要由ResourceManager，NodeManager，ApplicationMaster，Container等组成。ResourceManager全局资源管理器，负责整个系统的资源管理分配和任务调度。ResourceManager包含Scheduler调度器和应用程序管理器Applicationmananger。调
lurenjia·2023-08-10 15:45

Apikit 自学日记：如何使用 API 异常监控-告警规则

在APIkit中也有API异常监控功能，针对异常可以发送告警。本文将分两部分介绍告警设置：全局告警设置以及项目告警设置邮件告警若需要对所有监控项目设置全局的告警通知，可以在API监控的项目列表页面，选择异常告警页面：在这里设置的告警信息，对所有项目有效。在告警邮箱内设置相应人员的邮箱：注意事项：发送告警邮件需要消耗告警资源包。API告警、API恢复正常，均会产生告警邮件。告警邮件以项目为单位，同一
luffy_fe·2023-07-27 03:23

Apikit 自学日记：如何使用定时执行测试用例功能呢？

API自动化测试其实可以设置定时任务，实现项目在无人值守的情况下自动测试并且发送报告给相应的邮箱，监控项目监控情况。这样一来，就能大大提高工作效率。目前在APIkit中这一部分主要功能有：1.允许对测试任务进行分组，最大支持二级分组；2.测试任务支持设置循环条件：永久、仅执行一次；3.测试任务周期可为周、日，时间粒度为每小时；4.可以从已有的用例中选择测试用例；5.支持设置测试环境；6.支持测试完
luffy_fe·2023-07-27 03:23

Apikit 自学日记:数据结构

您可以将API文档中的重复部分提取出来成为数据结构，方便其他文档中复用。当数据结构发生改变时，所有引用了该数据结构的API文档会同步发生改变。创建数据结构进入数据结构管理页面，点击添加数据结构按钮，输入相关内容并保存即可。在API文档中引入数据结构进入API编辑页，添加参数时选择引用现有的数据结构，在弹窗中选择需要引用的数据结构，点击确认即可。引用的数据结构会在页面中用红色背景标识出来，我们可以在
luffy_fe·2023-07-27 03:50

Hadoop-分布式文件系统HDFS

目录HDFS简介HDFS特点HDFS相关概念1.块2.名称节点和数据节点HDFS体系结构1.HDFS体系结构概述2.HDFS命名空间管理3.通信协议4.HDFS体系结构的局限性HDFS常用的shell命令HDFS简介分布式文件系统(HadoopDistributedFileSystem,HDFS)是Hadoop项目的两大核心之一，是针对谷歌文件系统(GoogleFileSystem,GFS)的开源
Eureka_MAN·2023-07-23 14:43

APIKIT 自学日记：不光有测试报告，还可以保存测试方案呢

在APIkit中做测试，可以直接查看测试报告的！测试报告进入测试报告页面，在这里会列出所有手动批量测试、定时测试、Openapi测试的测试报告。查看测试报告点击顶部的标签，进入定时测试报告列表，你可以在这里选择某次测试任务，依次点击查看详情-全部。在弹出的HTML页面可查看详细记录该次测试报告的所有信息。测试报告支持测试总结编写用户查看测试报告详情时，可以编写测试总结。例如测试背景，测试目标以及测
luffy_fe·2023-07-20 05:32

Apikit 自学日记：测试模板

在APIKIT中，你可以将重复的测试步骤添加到测试模板库中，并且在测试用例中引用测试模板来实现复用测试步骤的目的。如将用户登录、清理数据库等操作作为测试模板，并将该用例引入到多个测试用例中，减少不必要的工作。添加测试模板在自动化测试界面，选择用例模板，点击添加模板：在弹窗中正确填写信息后保存，即可完成新建模板。新建模板后可在模板用例内添加测试步骤，测试模板的编写方法和流程测试用例的一样。引用模板测
luffy_fe·2023-07-20 05:32

Apikit 自学日记：私有云才有的测试文件库功能，该如何使用呢

在APIkit的私有云版本中，提供了测试文件库功能。不过目前该功能仅供私有云产品，线上SaaS产品不提供测试文件库功能API自动化测试中可以添加文件参数。在这里统一管理所有测试文件。在测试文件库界面，点击上传文件：在私有云产品系统管理后台中可以设置上传文件的大小限制。选择需要上传的文件后，确认即可上传。上传后的文件可以在自动化测试中添加文件参数。除了测试文件库功能，APIkit中还提供定时任务功能
luffy_fe·2023-07-20 05:32

Apikit 自学日记：发起文档测试-Websocket

Websocket进入某个WS协议的API文档详情页，点击文档上方测试标签，即可进入API测试页，系统会根据API文档的定义的求头部、Query参数、请求体自动生成测试界面并且填充测试数据。填写/修改请求参数1.1设置请求头部（Header）、Query参数与发起HTTP协议测试类似，您可以通过设置或者导入请求头部或者Query参数。1.2设置请求体WS/WSS协议请求体提供了三种类型：JSONX
luffy_fe·2023-07-20 05:32

Apikit 自学日记：发起文档测试-TCP/UDP

进入某个TCP/UDP协议的API文档详情页，点击文档上方测试标签，即可进入API测试页，系统会根据API文档的定义的求头部、Query参数、请求体自动生成测试界面并且填充测试数据。填写/修改请求参数1.1设置请求参数与发起HTTP协议测试类似，您可以通过设置或者导入请求参数。1.2设置请求体WS/WSS协议请求体提供了三种类型：JSONXMLRaw（自定义文本类型数据）Eolink提供了的JSO
luffy_fe·2023-07-20 05:32

Apikit 自学日记：如何测试多个关联的 API

肯定会有人好奇，如果有多个关联的API如何做测试呢？很简单！在APIkit中也有测试多个关联API的功能。1、在流程测试用例详情页中，点击“+添加测试步骤”，选择“从API文档添加API请求”2、在对应的项目下选择关联的多个API文档3、加入后的测试步骤，通过拖拉测试步骤最左侧的排序按钮，调整测试顺序。如果API之间存在数据关联，则拖动步骤有可能会破坏API之间的数据关联，导致无法正常获得绑定的参
luffy_fe·2023-07-20 05:57

linux编译kafka源码,Linux Kafka源码环境搭建

使用java-version命令来查看当前JDK的版本，示例如下：lenmom@M1701:~/workspace/software/hadoop-/bin$java-versionjavav
2001室的库布里克·2023-07-17 04:19

1.5.5 HDFS读写解析-hadoop-最全最完整的保姆级的java大数据学习资料

文章目录1.5.5HDFS读写解析1.5.5.1HDFS读数据流程1.5.5.2HDFS写数据流程1.5.5HDFS读写解析1.5.5.1HDFS读数据流程客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。DataNode开始传
假装文艺范儿·2023-06-22 16:33

Apikit 自学日记:分享 API 文档

开启/关闭在线分享您可以在线分享项目给团队以外的人，其他人可以通过分享链接在线查看API文档并且进行API测试。通过这种方式查看API文档不需要注册账号，用户可方便查看接口文档和测试接口。在项目内，点击进入项目管理菜单，选择在线分享，即可启用或禁用项目在线分享功能。进入点击项目页面顶部的分享项目按钮，亦可启用或禁用项目在线分享功能。设置访问密码默认无需密码访问项目，开启需要密码访问后，系统会默认提
·2023-06-21 17:40
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他