Hadoop小记

大数据开发（Hadoop面试真题-卷九）

大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？
Key-Key·2024-03-09 10:06

莫斯科特列季亚科夫斯基画廊观看小记

图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App
一個人的大沙·2024-03-08 22:09

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

木棉小记

木棉（其花称木棉花，别名英雄花）是南方的特产，落叶大乔木，高可达33米。树干直立有明显瘤刺，掌状复叶互生，叶柄很长；早春先落叶后开花，花簇生于枝端，花冠红色或橙红色，直径约12cm，花瓣有5瓣，肉质，椭圆状倒卵形，长约9cm，外弯，边缘内卷，两面均被星状柔毛;雄蕊多数，合生成管，排成3轮，最外轮集生为5束；蒴果甚大，木质，呈长圆形，可达15cm，成熟后会自动裂开，里头充满了棉絮，棉毛可做枕头、棉被
不倒翁9000·2024-03-04 02:39

【Hadoop】在spark读取clickhouse中数据

读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233·2024-03-03 06:54

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233·2024-03-03 06:23

《明天是猪日》｜你有没有试着让孩子当回小记者？

继续日更挑战，这是日更第2篇。适读人群：6-9岁共读绘本：「晴天下猪系列」之《明天是猪日》「晴天下猪系列」是矢玉四郎的代表作品，它是日本儿童文学荒诞故事经典中的经典，畅销了36年，展示了矢玉四郎不可思议的想象力。我会按照每天一本的进度，从成人角度来聊聊从书中得到的心得。今天聊第二本《明天是猪日》。往期文章请戳：001｜《晴天有时下猪》｜你有没有写过「明天」的日记？在这个《明天是猪日》的故事里，小学
Para的藏金阁·2024-03-02 16:24

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
不想起的昵称·2024-03-02 15:03

hadoop里需要的libhadoop.so版本不一致导致问题及解决办法

$HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so
weixin_34304013·2024-03-02 09:23

hadoop启动报错处理

1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191·2024-03-02 08:51

浮木云随笔小记（8）---模块设计统计

在SaaS系统中，统计模块是非常重要的一个功能。对于C端产品，可能会展示用户个人使用数据，比如Keep中的锻炼时长统计。虽然这些数据只是供用户了解自己的使用情况，并非必需。然而，在B端的SaaS系统中，由于用户众多且业务复杂，公司管理层需要查看全公司数据和员工绩效情况。因此，SaaS系统必须具备独立的统计模块，以方便管理人员查看系统数据。那么作为产品经理，又该如何对统计模块进行设计呢？怎么设计才会
·2024-03-02 05:22

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

Hadoop-Yarn-NodeManager是如何监控容器的

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星·2024-02-28 06:15

舞动课间

有的学生欣喜若狂，仿佛榜上题名的幸运儿；有的学生三五成群，仿佛娱乐八卦的小记者；有的学生奋笔疾书，仿佛学习狂魔的大傀儡；有的学生安安静静，仿佛规规矩矩的乖乖宝……如这些，如那些，她们再也不会浪费那青春大好时光了
柠檬的清香521·2024-02-27 03:31

Zookeeper实现分布式锁

首先需要确保有hadoop102，hadoop103，hadoop104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中·2024-02-25 23:35

江山100小记

不会写，从来没有写过赛记。再过几天，我就怕自己就忘了这一路的酸甜苦辣。江山100毕竟算是我真正完成的第一个百公里，20小时的心酸路程，也想记录一下。无伙伴，不越野。这次江山100应该算是远距离出征最多的。团长跟小吕是30K“玩”赛选手，毫无压力；当下60K站台选手，随他去；小嗨最近几个月训练比我还努力，平时跟我一起跑的也最多，虽然不是速度型选手，但是稳的很；静静跟胸哥的105KM，应该是我们最担心
天大还是地大·2024-02-25 13:54

Springboot 使用升级小记-MVC path

上文Springboot使用升级小记-循环依赖在升级springboot时遇到了循环依赖的问题，这次说说mvcpath问题。
牧码人 - blacksonny在路上·2024-02-24 16:58

没事，已经好了

先说一下今日，上午在家，觉得又荒废了青春，下午去上班，见到了焦作日报的小记者团队。一路上见到了很多好玩儿可爱的事情，两岁的小孩子拉着布袋子在路上走，看到一个树，长得很正，很圆滚滚，很好看。
竹子在心·2024-02-22 19:49

盐先生创业小记2022210

1.清晰的愿景你的企业到底是做什么的？要非常清楚的告诉你的客户和员工。这一点一定要准备好，如果不够清晰，就暂时不要做。2.大市场不要试图去找那种全新的市场，要找那些已经被证明有需求的已经存在的市场，并且将要快速发展或者发生大的变化的市场。市场规模要足够大，最好要达到10亿以上。因为它提供了足够的试错的空间，并允许随着时间最终盈利。3.愿意付费的客户锁定那些会立即购买并为独特的产品支付溢价的客户。高
盐先生·2024-02-20 23:52

小记(11)

猫，摊着人怀的东西，青面獠牙，叱咤，乖巧，团团绒绒。不用去求了原本的肉与酒，洒脱的吃着面像施舍，隐隐高与求，没有气力去走眼前，也不够装迟暮老妪，病怏的太阳挂在天上，地下该怎样就怎样，奖与戒罚，爱与憎恶，照本去喜风厌水，只因水湿羽肉，风扶冠及。图片发自App
青柯木的瓶子·2024-02-20 23:03

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512·2024-02-20 22:02

hive 的map数和reduce如何确定

的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop
Super乐·2024-02-20 20:38

(17)Hive ——MR任务的map与reduce个数由什么决定？

MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop
爱吃辣条byte·2024-02-20 20:27

Hadoop生态圈

是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop
陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop
大勇任卷舒·2024-02-20 19:27

【YARN】【Apache Hadoop YARN】【架构】

ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库·2024-02-20 18:48

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

盆栽小记

女朋友送了几个盆栽，试着养养。左到右依次是鸾凤玉，芦荟，仙人球。刚刚栽好，第一次浇水浇到盆底滴水。冬天很冷，外面没太阳，放电脑桌上。求活下去。图片发自App
活不好_6e15·2024-02-20 17:25

今日小记

2022.07.12文|白喻晚已经开始习惯用这个笔名了。不止一个人夸我的名字好听，嘿嘿。我也觉得很好听。白喻晚曾经是我笔下的女主。我曾起过很多主角的名字。比如：尚浅，路修远，许尚荣，尹恩晴，陆晟，沈郁，楚凌歌，顾泠沅等等。总是会因为起了一个好听的名字而开始书写他们的故事。但他们的故事大抵没迎来他们的结局。我总是个半途而废的人。三分钟的热度。但是，我还是热爱写作的。投了几次稿，过了三篇，拒了三篇。很
白喻晚·2024-02-20 17:24

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel·2024-02-20 15:05

先秦小记13/28 | 野史

每一个炎黄子孙，都有权利、有必要了解自己民族的真实历史。中华史籍昌盛发达、浩如烟海，其中包括《史记》、《汉书》等由当权者主持编纂的二十四史，也有散存于各种历史杂著、传记小说、笔记书信、公案典章等典籍中的野史。历史是个任人打扮的小姑娘，哪怕是正史，也难以反映出历史的真实面貌，很难完整地展示历史的本真。历史文献的形成，也就是用文字将历史记录下来，本身就是一个主观行为，处理史料时，必然会掺杂研究者的主观
乔木晨曦·2024-02-20 15:50

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

20190913中秋小记

一年一度的中秋节终于到了。小时候，对这个节日是特别期盼的。因为，每一年的中秋节晚上，我们都会一家人围坐在一起，桌子上摆满了月饼，板栗，拐枣，苹果，煮花生，毛豆等吃食。一家人吃吃喝喝，有说有笑，那情景现在回忆起来还是满满的幸福。随着年龄的增长，或许是成家后换了家庭环境，节日的仪式感没有了，于是对中秋节也不是特别期盼了。节假日，我的早上从上午开始。九点多起床，吃完早饭已是将近十点。带着侄女上街，给孩子
在水一方198158·2024-02-20 14:21

出行小记

假期已半，受疫情影响，每日催核酸、打卡及日复一日的居家日常，使得本就疲乏的心灵一度封闭在绿色竹篾编制的笼子里，盼望着、期待着笼口放开的自由。犹记放假前的一度疲累和信誓旦旦的出行计划，更为临行前遭遇疫情退票遗憾……而今天，我们一家在盈一家的邀请下终于出行，虽只一个多小时的路程，这一行却足以慰藉久困笼中的心灵。车飞速行驶在两行翠绿之间的高速路上，透过车窗，远山青翠，云朵绵绵，溪水澄澈，山路蜿蜒，观之怡
a91fd2ac90ac·2024-02-20 13:32

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生·2024-02-20 12:59

2021-06-15

平常心——2021年六月七号小记两年前的今天，女儿高考第一天，有人告诉我，孩子高考，妈妈要穿旗袍，我没有。我给孩子的是一颗我平常的心，所以，我也让她有了一颗平常安静的心。
54ceeecdde7e·2024-02-20 12:50

Kafka核心逻辑介绍 | 京东云技术团队

分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
·2024-02-20 11:54

无题:此时小记

今日是个什么情况？怎么拖到了现在才开始打卡？对于这个问题我仔细回想了一下所做的一些事情，首先我当然和往常一样在那个时段醒来，只不过是在时间上完了那么一刻钟，究其原因，这迟到的一刻钟跟我的自制力是有一定的关系的，尽管我已经是戒掉了很多外界的诱惑，可有一些终究是怎么戒也戒不掉。目前来看虽说没有什么太大的影响，不过呢我是会不断地告诫自己一定要慢慢地克制。好了，继续说一下起初的那个问题，我收拾完仪容后，本
諦羽沐楓·2024-02-20 10:53

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

2017.12.9星期六晴

今天上午陪女儿写完了周末的语文作业，下午去了小记者培训班，女儿学的很认真，但有点放不开，有些不自信呢！希望她能大胆的表现自己。晚上写上周未写完的语文作业，但是找不到已经写了一半的作业本了，真令人生气！
李烽熠妈·2024-02-20 10:00

今日小记 |感觉中介小白忽悠我

昨天和中介小哥约好今天晚上去看房的，下午的时候提醒了他一下，然后又给我推荐了附近的两套房源。心里打算着，过去看完中意的那一套，有时间的话可以去看看另外的两套房源。合适的话就租下来，可惜了，那中介稀里糊涂的给房源搞错了，中意的那一套房图并不是一室户，而是与房东家合租的，看中的那个地方也不是之前聊的地方。从房源位置，到房源信息，完全没有一样是对得上的，昨天说好今天看房，结果，来了这么个意外，真的被气到
墨野书香·2024-02-20 09:10

vue小记——this

原生和Vue中使用this的这几个坑你都知道吗？-掘金(juejin.cn)在JavaScript中，this是一个特殊的关键字，它在函数被调用时自动定义。this的值在函数被调用时决定，取决于调用的上下文（context），它代表了函数运行时的当前对象。让我们来看几种不同的情况下this的指向：全局上下文：在全局作用域中，this指向全局对象。在浏览器环境中，全局对象是window。consol
松果猿·2024-02-20 09:58

二（2）班班级日志

图片发自App图片发自App图片发自App石家庄广播电视台花儿朵朵小记者走进康福外国语学校宗燃妈妈给大家买的柚子，酸酸甜甜超好吃的呦！
赵小语·2024-02-20 08:01

Linux之Shell

第1章Shell概述1）Linux提供的Shell解析器有[zhao@hadoop101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy·2024-02-20 08:16

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。
宇智波云·2024-02-20 08:05

睡前小记

亲爱的小猪猪：此刻是23:11，你鼾声四起，妈妈刚提交完工作日记。眼睛其实很不想睁开的。谁叫你半天都睡不着呢！刚刚才想起还没有写作业，哎！真是的！最近你是各种翻腾倒柜，都说岁半才这样，你才一岁一个月，你外公都忍不住吐槽你早熟！当然，你洗澡的时候已经会自己用帕子给自己洗了，有模有样的。有时还会哼着歌，我和你外婆都要被你笑死了！今天就写到这儿吧！那该死的蚊子在旁边飞来飞去的，刚才它叮你的手，妈妈没有捏
冷香人的人间烟火·2024-02-20 08:30

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶·2024-02-20 07:18

Java transient关键字使用小记

原文1.transient的作用及使用方法我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化，java的这种序列化模式为开发者提供了很多便利，我们可以不必关系具体序列化的过程，只要这个类实现了Serilizable接口，这个类的所有属性和方法都会自动序列化。然而在实际开发过程中，我们常常会遇到这样的问题，这个类的有些属性需要序列化，而其他属性不需要被序列化，打个比方，如
一_贫·2024-02-20 07:43
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他