Hadoop；Spark 第22页

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark

Southwest-·2024-01-28 08:46

mac上搭建hbase伪集群

/blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+hdfs（hadoop

寂夜了无痕·2024-01-28 08:15

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter

Southwest-·2024-01-28 08:42

Hive面试题精选！附答案！！！

HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库，它定义了简单的类似SQL的查询语言，称为HQL，允许熟悉SQL的用户查询数据

yhy_only·2024-01-28 07:36

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行

OnePandas·2024-01-28 07:33

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。

404个问号·2024-01-28 07:02

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？

韩顺平的小迷弟·2024-01-28 07:29

【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer；

2022-10-2010:43:59,633ERRORorg.apache.hadoop.hdfs.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor

叹了口丶气·2024-01-28 06:02

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式

Vicky_Tang·2024-01-28 06:17

Ubuntu22.04三台虚拟机Hadoop集群安装和搭建（全面详细的过程）

虚拟机Ubuntu22.04Hadoop集群安装和搭建（全面详细的过程）环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop

WuRobb·2024-01-28 06:41

面试整理

数据分析/hadoop/机器学习面试题集锦，可能是最全的了…发表于：2017-09-2115:17阅读：178评论：0无论你是想从事大数据相关职位的职场小白，还是准备往高处走的牛牛。

qq_20962187·2024-01-28 06:09

Hadoop集群部署流程

前置要求需要3台虚拟机，系统为Centos7，分别host命名为node1，node2，node3，密码均为root请确保这三台虚拟机已经完成了JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作在3台虚拟机的/etc/hosts文件中，填入如下内容：（同时这也是三台虚拟机的ip地址）192.168.88.131node1192.168.88.132node2192.168.88.133nod

正在绘制中·2024-01-28 02:09

Apache Spark架构与特点

1.背景介绍ApacheSpark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。

OpenChat·2024-01-27 23:35

20190824 课堂笔记

20190824课堂笔记设置快捷键设置编译创建项目选择quickstartGAV设置项目设置修改添加hadoop-version,repositoryUTF-81.81.82.6.4clouderahttps

赛尔木·2024-01-27 23:37

Hadoop-分布式

分布式分步+并行处理+汇总结果Hadoop分布式一台计算机存储不了了，也计算不了了Hadoop把多台计算机资源（存储资源：硬盘；计算资源：CPU，内存）连接在一起，形成集群输入文件，拆分成块，多个节点存储计算任务

日月交辉·2024-01-27 23:48

用户行为数据采集

Flume——Hadoop——VMVM环境准备安装JDK安装HadoopHadoop运行模式本地模式伪分布式完全分布式集群启动组件逐一启动。模块启动

日月交辉·2024-01-27 23:18

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块

luckboy0000·2024-01-27 23:12

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。

csdn产品小助手·2024-01-27 19:18

ClickHouse(22)ClickHouse集成HDFS表引擎详细解析

用法实施细节配置可选配置选项及其默认值的列表libhdfs3支持的ClickHouse额外的配置限制Kerberos支持虚拟列资料分享系列文章clickhouse系列文章知乎系列文章HDFS这个引擎提供了与ApacheHadoop

张飞的猪大数据·2024-01-27 17:35

apache 前30个开源项目

个具有代表性的项目序号项目名称功能描述业务范围活跃度（参考性描述）1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop

临水逸·2024-01-27 17:35

HBase基础知识与架构概述

1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable论文设计，并作为Hadoop生态系统的一部分。

OpenChat·2024-01-27 17:31

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图1.2集群部署官方下载地址：ApacheKafka（1）安装和Hadoop

江中散人·2024-01-27 16:16

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

1命令操作1.1主题命令操作查看操作主题命令参数：[atguigu@hadoop102kafka]$bin/kafka-topics.sh参数描述--bootstrap-server，连接的KafkaBroker

江中散人·2024-01-27 16:16

Linux静态ip配置重启后 ip 恢复的问题（CentOS 6.7）

Linux静态ip配置重启后ip恢复的问题（CentOS6.7）文章目录Linux静态ip配置重启后ip恢复的问题（CentOS6.7）一、配置静态IP二、重启后IP恢复解决方案一、配置静态IP在学习Hadoop

Travis_del·2024-01-27 16:50

【数据可视化技术】数据可视化概述&工具

在Hadoop生态群中，核心部件（如

Francek Chen·2024-01-27 16:39

如何使用irsa将火花提交给亚马逊eks集群

Inpreviousarticle,IhaveintroducedhowwesubmitaSparkjobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract

weixin_26755331·2024-01-27 15:26

Pyspark分类--LogisticRegression

LogisticRegression：逻辑回归分类classpyspark.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol

Gadaite·2024-01-27 14:53

搭建大数据平台常用的端口号

journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark

修勾勾L·2024-01-27 13:51

Spark连接Hive的两种方式

一、使用hive-site.xml第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc:mysql://192.168.38.160:3306/hive_db?crea

修勾勾L·2024-01-27 13:50

项目中常用的utils

importcryptofrom'crypto'importSparkMD5from'spark-md5'importCryptoJsfrom'crypto-js'importJSEncryptfrom'jsencrypt'importstoragefrom

乐夫天命兮·2024-01-27 13:05

YARN 工作原理

1、Hadoop2新增了YARN，YARN的引入主要有两个方面的变更：其一、HDFS的NameNode可以以集群的方式部署，增强了NameNode的水平扩展能力和高可靠性，水平扩展能力对应HDFSFederation

无羡爱诗诗·2024-01-27 13:43

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

第一步、编写python脚本，产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855

printf200·2024-01-27 12:24

一台虚拟机上的文件怎么复制给另一台虚拟机

1.想要将zookeeper文件复制给另一台虚拟机2.使用终端命令压缩该文件3.压缩完毕4.将压缩文件传至另一台虚拟机的hadoop账户上5.显示传送完毕6.文件已传送到另一台虚拟机上7.使用终端命令将压缩文件解压缩文件复制完毕

白嫖叫上我·2024-01-27 11:44

【Scala-spark.mlib】分布式矩阵——分布式计算的基石与利器

分布式矩阵1.mlib.linalg.distributed包2.DistributedMatrix特质3.BlockMatrix类4.CoordinateMatrix类5.IndexedRowMatrix类6.RowMatrix类7.小结1.mlib.linalg.distributed包矩阵计算是很多科学计算的重要步骤，而分布式矩阵存储则是分布式计算的基础。根据不同的计算需求，需要将用于计

JimmyShis·2024-01-27 10:12

深入浅出hdfs源码

1、hadoop基本介绍2、周边生态图3、hdfs读源码解析4、hdfs写源码解析5、hdfs副本机制解读6、hdfs常见管理源码解析7、hdfs高可用源码解析-ha8、hdfs监控源码解析-dnmetrics-nnmetrics

大数据之家·2024-01-27 10:39

2021-03-07

解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop

残月冷无声·2024-01-27 10:39

深入浅出hdfs-hadoop基本介绍

一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目，这个是由DougCutting开发的开源网络搜索引擎，这个项目刚开始的目标是为了更好的做搜索引擎，后来Google发表了三篇未来持续影响大数据领域的三架马车论文

大数据之家·2024-01-27 10:03

Hadoop三大核心组件，hadoop原理

Hadoop的三大核心组件分别是：HDFS（HadoopDistributeFileSystem）：hadoop的数据存储工具。

你敢和我比剑吗·2024-01-27 09:03

Hadoop2.0架构及其运行机制，HA原理

文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.HDFS2.MapReduce3.Yarn1.组件2.调度流程一、Hadoop2.0

Toner_唐纳·2024-01-27 09:30

Hadoop 原理及架构详解

###README本文是基于黑马程序员的Hadoop网课的前半部分整理的笔记，主要介绍了相关操作与组件架构。

Should·L·2024-01-27 09:25

2019年12月10日

今天在公司继续看spark教程，这么说来我已经快一个月没啥正事了（望向每日记录Excel文档），究竟说明公司药丸还是我药丸……反正先做好多手准备【今天明明温度不低办公室的三恒系统却还是开着高温，仿佛电费不要钱

真昼之月·2024-01-27 08:49

Spark-RDD持久化

(1)persist算子使用方法：varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明：StorageLevel的构造函数：classStorageLevelprivate(privatevar_useDisk:Boolean,#是否

printf200·2024-01-27 08:02

Spark SQL中掌控sql语句的执行 - 了解你的查询计划

本文翻译自BeinchargeofQueryExcutioninSparkSQL背景自spark2.x的sql以及申明行DataFrameAPi以来，在spark查询数据越来越方便。

鸿乃江边鸟·2024-01-27 08:18

Hadoop与Spark横向比较【大数据扫盲】

大数据场景下的数据库有很多种，每种数据库根据其数据模型、查询语言、一致性模型和分布式架构等特性，都有其特定的使用场景。以下是一些常见的大数据数据库：1.**NoSQL数据库**：这类数据库通常用于处理大规模、非结构化的数据。它们通常提供简单的查询语言，并强调水平扩展和高可用性。例如：-**键值存储**：如Redis，AmazonDynamoDB-**列式存储**：如ApacheCassandra，

super_journey·2024-01-27 07:51

Hadoop增加新节点环境配置（自用）

完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤1.在VMware中安装CentOS7新建虚拟机1.

革斤要加油·2024-01-27 07:50

Hadoop-MapReduce-MRAppMaster启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在上一篇中已经将到：作业提交到ResourceManager

隔着天花板看星星·2024-01-27 07:20

企业级大数据安全架构（六）数据授权和审计管理

作者：楼高本节详细介绍企业级大数据架构中的第六部分，数据授权和审计管理1.Ranger简介ApacheRanger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架，为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面

云掣YUNCHE·2024-01-27 07:30

使用spark mllib训练中文文本分类器的

importorg.apache.spark.mllib.classification.NaiveBayesimportorg.apache.spark.mllib.feature.HashingTFimportorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.sql.functions

DreamNotOver·2024-01-27 07:45

使用 Spark MLlib 使用 jieba 分词训练中文分类器

importorg.apache.spark.ml.classification.NaiveBayesimportorg.apache.spark.ml.feature.HashingTFimportorg.apache.spark.sql.functions