实时处理spark安装部署

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-·2024-01-28 08:46

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter
Southwest-·2024-01-28 08:42

debian aptget php7,Debian7使用apt-get源安装LNMP

Debian7官方源添加了php-fpm软件包，现可通过apt-get快速安装部署LNMP环境了。
祁了个画·2024-01-28 07:40

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

Kafka的安装部署、基本操作、集群环境

1、Kafka的安装部署下载kafkakafka_2.11-2.0.0.tgz安装过程安装过程非常简单，只需要解压就行，因为这个是编译好之后的可执行程序tar-zxvfkafka_2.11-2.0.0.
有梦想的虫子_2018·2024-01-28 01:46

部署LNMP、Nginx+FastCGI、Nginx地址重写语法，地址重写应用案例

1案例1：部署LNMP环境1.1问题安装部署LNMP环境实现动态网站解析静态网站在不同环境下访问，网站内容不会变化动态网站在不同环境下访问，网站内容有可能发生变化安装部署Nginx、MariaDB、PHP
Mick方·2024-01-28 01:58

Apache Spark架构与特点

1.背景介绍ApacheSpark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。
OpenChat·2024-01-27 23:35

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。
csdn产品小助手·2024-01-27 19:18

小程序如何安装部署SSL证书

小程序安装部署SSL证书的必要性，对于小程序而言目前已经是强制安装部署SSL证书了，从2017年年底开始，对于小程序的审核步骤添加了一个服务器端必须部署SSL证书，即实现服务器加密传输https。
JoySSL-云诏·2024-01-27 17:00

apache 前30个开源项目

高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃4ApacheSpark
临水逸·2024-01-27 17:35

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图1.2集群部署官方下载地址：ApacheKafka（1）安装和Hadoop
江中散人·2024-01-27 16:16

Spring Cloud组件

NamingandConfigurationService）：服务发现、管理、配置2.Springcloud常用组件2.1注册中心nacos注册中心分为客户端和服务端，它们之间存在心跳，客户端停止，服务端会报错客户端：可直接在docker中安装部署服务端
一路向北看星晴·2024-01-27 16:59

ansible自动化运维安装部署实践-部署、搭建、模块、playbook

运维⾃动化平台介绍运维⾃动化平台是由管理机器和业务机器组成的。管理机器：任务定制及发布；业务机器：接收任务并执⾏任务。运维⾃动化平台的优势：1、⼀次性任务定制：任务⼀次性发布给所有机器2、节省任务执⾏时间：任务主机并发完成任务，节省部署时间3、错误率低：避免重复，保证⼀次任务定制准确即可1、ansible特性1.noagents：不需要在被管控主机上安装任何客户端；2.noserver：⽆服务器端
情绪零碎碎·2024-01-27 15:31

如何使用irsa将火花提交给亚马逊eks集群

Inpreviousarticle,IhaveintroducedhowwesubmitaSparkjobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract
weixin_26755331·2024-01-27 15:26

EKS【k8s】集群使用helm部署 jumpServer

、环境要求Kubernetes1.20+Helm3.0redis>=6.2mysql>=5.7【也可以使用MariaDB但是版本必须>=10.6】jumpserver版本:v3.10.1【社区版】二、安装部署
干运维小白·2024-01-27 15:24

K8s 安装部署-Master和Minion(Node)文档

K8s安装部署-Master和Minion(Node)文档操作系统版本：CentOS7.4Master：172.20.26.167Minion-1：172.20.26.198Minion-2：172.20.26.210
lqcbj_IT老混混·2024-01-27 15:17

Pyspark分类--LogisticRegression

LogisticRegression：逻辑回归分类classpyspark.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol
Gadaite·2024-01-27 14:53

搭建大数据平台常用的端口号

journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark
修勾勾L·2024-01-27 13:51

Spark连接Hive的两种方式

一、使用hive-site.xml第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc:mysql://192.168.38.160:3306/hive_db?crea
修勾勾L·2024-01-27 13:50

项目中常用的utils

importcryptofrom'crypto'importSparkMD5from'spark-md5'importCryptoJsfrom'crypto-js'importJSEncryptfrom'jsencrypt'importstoragefrom
乐夫天命兮·2024-01-27 13:05

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

第一步、编写python脚本，产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200·2024-01-27 12:24

GitBook在Linux下安装部署，安装nodejs、Gitbook使用

gitbook安装升级步骤先安装nodjs下载nodejswgethttp://cdn.npm.taobao.org/dist/node/v10.16.0/node-v10.16.0-linux-x64.tar.xz如果提示-bash:wget:commandnotfound说明没有wget没有wget的下载wgetyum-yinstallwget解压tar-xvfnode-v10.16.0-li
EraJieZhang·2024-01-27 11:15

【Scala-spark.mlib】分布式矩阵——分布式计算的基石与利器

分布式矩阵1.mlib.linalg.distributed包2.DistributedMatrix特质3.BlockMatrix类4.CoordinateMatrix类5.IndexedRowMatrix类6.RowMatrix类7.小结1.mlib.linalg.distributed包  矩阵计算是很多科学计算的重要步骤，而分布式矩阵存储则是分布式计算的基础。根据不同的计算需求，需要将用于计
JimmyShis·2024-01-27 10:12

Linux之堡垒机的安装部署

目录一、Linux安装启动1.上传安装包到/opt下2.解压缩3.在解压的目录下运用脚本自动安装#默认回车就行4.安装完成5.启动二、堡垒机页面部署1.浏览器访问//初始化用户：admin密码：admin修改密码admin123重新登陆2.初始化用户：admin密码：admin修改密码admin123重新登陆3.初始化界面4.先创建一个组，写一个组名即可5.设置邮件6.添加一个用户7.堡垒机添加一
Atmj·2024-01-27 10:41

Zabbix5.0安装部署

目录一、zabbix-server安装部署1、准备工作2、安装mysql3、mysql部署4、导入数据5、启动服务二、zabbix-agent安装部署1、准备客户机2、关联客户机3、给客户机设置监控项4
Atmj·2024-01-27 10:41

Kafka面试题

0.思维导图  Kafka是一个分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理邻域  消息队列分为点对点模式（消费者主动拉取数据，消息收到后清除消息）和发布订阅模式（消费者消费数据之后，不删除数据
韩顺平的小迷弟·2024-01-27 10:33

“数据同步大揭秘：Canal工具如何让实时处理变得轻而易举？“

介绍：Canal是一个基于MySQL数据库增量日志解析的开源数据同步工具。Canal的主要功能是提供增量数据订阅和消费，它通过解析MySQL数据库的增量日志来捕获数据变更事件，并将这些事件转换成数据变更流，供用户订阅和消费。这样，用户可以实时地获取数据库的变更信息，而无需不断地轮询整个数据库。Canal的特点包括：增量数据同步：Canal专注于增量数据的同步，这意味着它只关注和传输自上次同步后发生
知识分享小能手·2024-01-27 09:07

Hadoop 原理及架构详解

bilibili一、基础概念1、版本架构变迁2、集群简介主要包括两个集群：HDFS、YARN（MapReduce是计算框架，是代码层面的）这两个集群逻辑上分离，物理上在一起这两个集群都是标准的主从架构二、安装部署
Should·L·2024-01-27 09:25

Hive3.1.3基础

参考B站尚硅谷目录什么是HiveHive架构原理Hive安装Hive安装地址Hive安装部署安装Hive启动并使用HiveMySQL安装安装MySQL配置MySQL配置Hive元数据存储到MySQL配置元数据到
魅美·2024-01-27 08:55

2019年12月10日

今天在公司继续看spark教程，这么说来我已经快一个月没啥正事了（望向每日记录Excel文档），究竟说明公司药丸还是我药丸……反正先做好多手准备【今天明明温度不低办公室的三恒系统却还是开着高温，仿佛电费不要钱
真昼之月·2024-01-27 08:49

Spark-RDD持久化

(1)persist算子使用方法：varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明：StorageLevel的构造函数：classStorageLevelprivate(privatevar_useDisk:Boolean,#是否
printf200·2024-01-27 08:02

Spark SQL中掌控sql语句的执行 - 了解你的查询计划

本文翻译自BeinchargeofQueryExcutioninSparkSQL背景自spark2.x的sql以及申明行DataFrameAPi以来，在spark查询数据越来越方便。
鸿乃江边鸟·2024-01-27 08:18

Hadoop与Spark横向比较【大数据扫盲】

大数据场景下的数据库有很多种，每种数据库根据其数据模型、查询语言、一致性模型和分布式架构等特性，都有其特定的使用场景。以下是一些常见的大数据数据库：1.**NoSQL数据库**：这类数据库通常用于处理大规模、非结构化的数据。它们通常提供简单的查询语言，并强调水平扩展和高可用性。例如：-**键值存储**：如Redis，AmazonDynamoDB-**列式存储**：如ApacheCassandra，
super_journey·2024-01-27 07:51

2020-09-26 数据库知识点

MySQLMaridb数据库:存储数据分类用户信息--用户信息库商品信息---商品交易信息---支付业务数据表:数据表信息数据字段:存储具体内容信息,存储信息规范数据行:真实每一条合法的数据信息2.数据库服务环境安装部署
Double_G9·2024-01-27 07:15

使用spark mllib训练中文文本分类器的

importorg.apache.spark.mllib.classification.NaiveBayesimportorg.apache.spark.mllib.feature.HashingTFimportorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.sql.functions
DreamNotOver·2024-01-27 07:45

使用 Spark MLlib 使用 jieba 分词训练中文分类器

importorg.apache.spark.ml.classification.NaiveBayesimportorg.apache.spark.ml.feature.HashingTFimportorg.apache.spark.sql.functions
DreamNotOver·2024-01-27 07:45

Spark Thrift Server 架构和原理介绍

也可以看我CSDN的博客：https://blog.csdn.net/u013332124/article/details/90339850一、SparkThriftServer介绍SparkThriftServer
疯狂的哈丘·2024-01-27 04:17

ARM全国产云平台部署容器实战

目录第一节基于国产CPU的服务器2第二节国产云平台61、安装云平台91.1启动ARM服务器，从U盘启动91.2ARM服务器BIOS基本设置10第三节基于ZStack云主机构建K8S集群181、准备工作202、安装部署
bjczhl·2024-01-27 04:08

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
云台095·2024-01-27 03:40

idea上搭建pyspark开发环境

1环境版本说明python版本：Anaconda3.6.5spark版本：spark-2.4.8-bin-hadoop2.7idea版本：2019.32环境变量配置2.1python环境变量配置将python.exe
jackyan163·2024-01-27 00:06

Zookeeper3.5.7基础学习

文章目录一、Zookeeper入门1、概述2、特点3、数据结构4、应用场景二、Zookeeper安装部署1、本地模式安装1.1基础操作1.2配置参数解读2、集群部署2.1集群安装2.2选举机制(面试重点
魅Lemon·2024-01-27 00:32

Flume1.9基础学习

文章目录一、Flume入门概述1、概述2、Flume基础架构2.1Agent2.2Source2.3Sink2.4Channel2.5Event3、Flume安装部署3.1安装地址3.2安装部署二、Flume
魅Lemon·2024-01-27 00:01

opengauss-高斯数据库的安装部署及MySQL数据迁移实战.

目录介绍下载安装包安装1.设置SEMMNI2.新建用户和用户组3.下载安装包解压4.安装数据库5.修改配置6.重启服务数据库使用gsql命令和常用sql1.使用omm用户连接数据库-本地登陆无需输入密码：2.查看用户信息3.删除数据库4.创建用户5.创建数据库B模式即MySQL模式(一定要设置成B)6.切换到数据库7.创建SCHEMA，需切换到指定的数据库执行8.退出gsql参考介绍opengau
一只打酱油De篴·2024-01-26 23:57

kubernetes版本升级

kubernetes版本升级我当前的kubernetes环境是基于二进制安装部署的主机IPservices192.168.21.120apiservice，etcd,kubectl,kube-controller-manager
捞一碗月光-zq·2024-01-26 23:44

QT5.14.2开发的Mysql8.0系统安装部署过程

最近在Windows1164位系统下使用QT5.14.2开发了套系统、使用了MYSQL8.0数据库，项目使用mingw-64编译器进行编译，编译完成后使用windeployqt进行发布，并制作安装包，拷贝到工控机Windows1064位系统上进行安装运行。本文记录下安装包制作和工控机部署中的过程如下。1、MySQL8.0的下载安装：下载地址：MySQL::DownloadMySQLInstalle
疾风铸境·2024-01-26 20:40
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他