Spark安装部署

创建属于自己的gitbook

目录一、gitbook简介二、gitbook安装部署1、安装nodejs2、安装gitbook3、gitbook使用一、gitbook简介GitBook是一个基于Node.js的命令行工具，可使用Github
rivercoder·2023-12-18 13:37

LAMP安装部署网站

目录什么是LAMP?实验（搭建一个论坛）一，安装apache1.关闭防火墙，将安装Apache所需软件包传到/opt目录下2.安装环境依赖包3.配置软件模块4.编译及安装5.优化配置文件路径，并把httpd服务的可执行程序文件放入路径环境变量的目录中便于系统识别6.添加httpd系统服务7.修改httpd服务配置文件8.浏览器访问验证二，编译安装mysqld服务1.将安装mysql所需软件包传到/
思华年^O^·2023-12-18 12:24

大数据分析技术与实战之Spark Streaming

Spark是基于内存的大数据综合处理引擎，具有优秀的作业调度机制和快速的分布式计算能力，使其能够更加高效地进行迭代计算，因此Spark能够在一定程度上实现大数据的流式处理。
丨程序之道丨·2023-12-18 11:30

面试题---机器学习算法

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:05

机器学习算法---分类

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:05

Linux服务器配置免密SSH

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:35

CentOS服务器搭建Miniconda环境

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:34

面试题---推荐系统

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:04

Spark中广播变量和累加器

一、前述Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。累机器相当于统筹大变量，常用于计数，统计。
printf200·2023-12-18 10:06

【物联网】EMQX(二)——docker快速搭建EMQX 和 MQTTX客户端使用

安装部署非常的简单，下面小编亿在mac上进行do
你个佬六·2023-12-18 09:30

Zabbix5.0安装部署

登录体验地址，联系客服领取！http://maxserver.xybcbc.com全盘展示运行状态，减轻运维人员的重复性工作量，提高系统排错速度，加速运维知识学习积累。1.png1、环境安装关闭SELinux并重启系统2.png安装httpd、mariadb、php运行yum-yinstallhttpdmariadb、mariadb-server安装3.png4.png安装release-scl运
益达_glmsb·2023-12-18 09:11

机器学习算法---时间序列

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 08:23

机器学习算法---聚类

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 08:23

Jenkins----基于 CentOS 或 Docker 安装部署Jenkins并完成基础配置

查看原文文章目录基于CentOS7系统部署Jenkins环境基于Docker安装部署Jenkins环境配置Jenkins中文模式配置用户名密码形式的Jenkins凭据配置ssh私钥形式的Jenkins凭据配置
redrose2100·2023-12-18 08:41

pyspark Exception: Java gateway process exited before sending its port number（2021年10月29日版）

前奏为了实现一个spark的客户端访问服务端的python访问，折腾了好几天，现在终于解决了，查了网上的很多人写的文章，都没解决，跟着他们说的改，也没解决问题。
明天,今天,此时·2023-12-18 07:05

【Spark面试】Spark面试题&答案

目录1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆）2、Spark为什么比MapReduce块？（☆☆☆☆☆）3、简单说一下hadoop和spark的shuffle相同和差异？
话数Science·2023-12-18 06:52

Llama2-Chinese-7b-Chat安装部署

文章目录前言一、文件介绍二、环境配置♟三、Llama2-Chinese-7b-Chat下载⏬总结前言本文主要介绍如何使用Llama2-Chinese-7b-Chat，最后的效果如图所示：一、文件介绍⬇️下载地址：https://pan.baidu.com/s/1smUeYoocrPzwPdjyKpawYg?pwd=22vx提取码:22vxLlama2-Chinses-7B-Chat文件夹中的具体内
drj御用programmer·2023-12-18 05:27

Hudi 在 vivo 湖仓一体的落地实践

一、Hudi基础能力及相关概念介绍1.1流批同源能力与Hive不同，Hudi数据在Spark/Flink写入后，下游可以继续使用Spark/Flink引擎以流读的形式实时读取数据。
vivo互联网技术·2023-12-18 03:15

h2-database 安装部署学习

1，下载jar包ArchiveDownloads进入到下载的包的位置：cdE:\IDE\Java\jre\lib2，参考以下说明进行数据库创建：Tutorial执行如下可以进行创建默认的数据库设置用户密码E:\IDE\Java\jre\lib>java-cph2-2.2.224.jarorg.h2.tools.ShellWelcometoH2Shell2.2.224(2023-09-17)Exit
jimiStephen·2023-12-18 02:55

spark_shuffle相关参数整理

1、spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shufflewritetask的BufferedOutputStream的buffer缓冲大小。
耗子背刀PK猫·2023-12-18 02:23

吸血鬼日记第1季第5集台词

,Ihavelivedinsecretuntilnow.一个多世纪以来我都秘密地活着IknowtheriskbutIhavetoknowher.我知道很冒险但我必须要认识她Howcouldyounotsparkle
英美剧台词·2023-12-18 01:32

提交Application的两种方式

一.提交Application的两种方式分别是client方式和cluster方式1.client方式这种方式，Driver进程是在client端启动启动代码样例spark-submit--masterspark
0_9f3a·2023-12-17 23:54

Git----学习Git第一步基于 Windows 10 系统和 CentOS7 系统安装 Git

查看原文文章目录基于Windows10系统安装Git客户端基于CentOS7系统安装部署Git基于Windows10系统安装Git客户端（1）打开git官网，点击【windows】（2）根据自己的电脑选择安装
redrose2100·2023-12-17 22:26

备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

//www.mysql.com/软件名称版本ubuntu18.0464位Hadoop：hadoop-3.1.3.tar.gz3.1.3Jdk：jdk-8u212-linux-x64.tar.gz1.8Spark
Stitch .·2023-12-17 22:18

Spark基础入门

spark基础入门环境搭建localstandlonesparkhasparkcodesparkcoresparksqlsparkstreaming环境搭建准备工作创建安装目录mkdir/opt/softcd
李昊哲小课·2023-12-17 21:04

云计算：Vmware 安装 FreeNAS

FreeNAS2.配置Web界面二、问题1.iSCSI如何限定名称2.LUN和LVM的区别一、实验1.Vmware安装FreeNAS（1）环境准备VMwareWorkstation17FreeNAS相关安装部署镜像
cronaldo91·2023-12-17 21:48

【高性能计算】Cpp + Eigen + Intel MKL + 函数写成传引用

【gcc,cmake,eigen,opencv,ubuntu】三.eigen和mkl安装和使用Linux下MKL库的安装部署与使用，并利用cmake编译器调用MKL库去提升eigen库的计算速度Eigen
dataloading·2023-12-17 21:15

Docker容器的可视化管理工具—DockerUI本地部署与远程访问

文章目录前言1.安装部署DockerUI2.安装cpolar内网穿透3.配置DockerUI公网访问地址4.公网远程访问DockerUI5.固定DockerUI公网地址前言DockerUI是一个docker
小沈YO.·2023-12-17 20:49

Spark课程大纲

Spark环境搭建CentosSpark单机版伪分布式模式Spark单机版intelij开发(maven)Spark完全分布式集群搭建Sparkhistoryserver配置使用二种方法实现Spark计算
小猪Harry·2023-12-17 19:11

91、Spark Streaming之transform以及广告计费日志实时黑名单过滤案例实战

transform以及实时黑名单过滤案例实战transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。它可以用于实现，DStreamAPI中所没有提供的操作。比如说，DStreamAPI中，并没有提供将一个DStream中的每个batch，与一个特定的RDD进行join的操作。但是我们自己就可以使用transform操作来实现该功能。DStream.join()
ZFH__ZJ·2023-12-17 19:31

Java技术栈 —— 微服务框架Spring Cloud —— Ruoyi-Cloud 学习（一）

Ruoyi-cloud项目学习一、项目环境搭建与启动1.1nacos安装部署1.1.1nacos安装、启动1.1.2nacos部署1.2seata安装部署1.3后端部署与运行1.3.1ruoyi-modules-file
躬身入世，以生证道·2023-12-17 19:58

Spark SQL中coalesce()函数

在SparkSQL中，`coalesce()`函数用于从给定列中选择非空值。它接受一个或多个列作为参数，并返回第一个非空值。
小辉懂编程·2023-12-17 18:16

Zabbix5.0 LTS+PHP7.4.30+Nginx-1.21.6编译安装+mysql rpm安装教程

Zabbix5.0LTS，PHP7.4.30，Nginx-1.21.6编译安装，mysqlrpm安装教程由于生产环境各种权限要求，没有rpm安装权限以及内网环境限制，本文主要介绍Zabbix生产环境编译安装方法，方便内网安装部署
挖坑专业户·2023-12-17 18:52

Spark SQL 写入hive表 字段名称或者类型不一致

解决方案：valtargetTableSchemaArray=spark.catalog.listColumns(dbName,tableName).select("name","dataType","
团团饱饱·2023-12-17 17:12

大数据存储技术（3）—— HBase分布式数据库

）概念（二）特点（三）HBase架构二、HBase原理（一）读流程（二）写流程（三）数据flush过程（四）数据合并过程三、HBase安装与配置（一）解压并安装HBase（二）配置HBase（三）配置Spark
Francek Chen·2023-12-17 17:44

CentOS 8 安装部署Nginx

CentOS8安装部署Nginx1.安装必要插件yum-yinstallgccpcrepcre-develzlibzlib-developensslopenssl-devel#如果缺少makeyum-yinstallgccautomakeautoconflibtoolmakeyum-yinstallgcc-c
babybear315·2023-12-17 16:04

报名众筹小程序系统源码：在线投票+众筹模式+完整的安装部署教程

随着互联网的普及和发展，众筹作为一种新型的融资方式，逐渐受到越来越多人的关注和认可。众筹不仅可以帮助个人或企业筹集资金，还可以促进创意的传播和实现。因此，开发一款具有在线投票和众筹功能的微信小程序，对于满足广大用户的需求具有重要意义。以下是部分代码示例：系统特色功能一览：1.在线投票功能该小程序系统支持在线投票功能，用户可以通过上传图片、文字、视频等方式展示自己的创意或产品，并邀请朋友参与投票。投
罗峰源码·2023-12-17 15:42

Linux Ubuntu环境下使用docker构建spark运行环境（超级详细）

LinuxUbuntu环境下使用docker构建spark运行环境（超级详细）这篇文章深入研究了在LinuxUbuntu环境下使用Docker构建Spark运行环境的详细步骤。
星川皆无恙·2023-12-17 15:39

流批一体神器 Flink 之 Flink State 架构原理解析

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！
zhisheng_blog·2023-12-17 14:32

大规模异常滥用检测：基于局部敏感哈希算法——来自Uber Engineering的实践

为了解决我们和其他系统中的类似挑战，UberEngineering和Databricks共同向ApacheSpark2.1开发了局部敏感哈希（LSH）。LSH是大规模
djph26741·2023-12-17 14:49

在 idea 中以 yarn-client 远程提交 Spark 作业

示例代码RemoteSubmitApp主类packagecom.clouderaimportorg.apache.kafka.clients.consumer.ConsumerConfigimportorg.apache.kafka.common.serialization.StringDeserializerimportorg.apache.log4j.Loggerimportorg.apach
lei_charles·2023-12-17 13:41

安装部署Docker-Compose

随笔记录目录1.要在CentOS7上安装Docker，操作如下：1.1更新系统1.2安装Docker依赖1.3添加Docker官方存储库1.4安装Docker引擎1.5启动Docker服务1.6验证Docker是否成功安装1.7设置Docker开机自启动1.8权限问题2.安装Docker-compose2.1准备2.1.1系统设置2.2在/usr/local/bin目录下下载DockerCompo
芝麻馅汤圆儿·2023-12-17 11:51

KVM+GFS分布式存储系统构建KVM高可用

一、安装部署KVM虚拟化平台1、安装KVM虚拟化平台yum-yinstallqemu-kvmqemu-kvm-toolsvirt-installqemu-imgbridge-utilslibvirtvirt-manager2
叮咚网工·2023-12-17 10:28

在linux下正确安装部署locust

我们在安装python，pip之后，利用pip安装locust并不能执行相应的locust命令，原因是linux下面无像在windows下面pycharm一样的解释器，这个时候需要创建虚拟环境，在虚拟环境下面能运行的环境中，才能运行locust，有两种方案：1.在python的安装的bin目录下面创建虚拟环境，生效之后运行对应的命令即可。![img](https://devpress.csdnim
新鲜的柠檬·2023-12-17 09:39

Flink 简介

Flink简介#一、Flink简介#1.Flink发展这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。
lz_matlab·2023-12-17 09:09

图解Spark Graphx实现顶点关联邻接顶点的collectNeighbors函数原理

在用Sparkgraphx中，通过函数collectNeighbors便可以获取到源顶点邻接顶点的数据。下面以一个例子来说明，首先，先基于顶点集和边来创建一个Graph图。
朱季谦·2023-12-17 09:31

K8S（一）—安装部署

目录安装部署前提以下的操作指导(在master)之前都是三台机器都需要执行安装docker服务下面的操作仅在`k8smaster`执行安装部署前提以下的操作指导(在master)之前都是三台机器都需要执行关闭防火墙
哈密猿·2023-12-17 08:16

Spark sql 写分区表，设置format报错

sparksqldataset写入表的时候，我写的是一个用ymd分区的表，我想设置输出格式format("hive")，然后报错了代码如下ds.write().partitionBy(partitionsStr
南修子·2023-12-17 07:25

Hadoop，Hive和Spark大数据框架的联系和区别

Hadoop，Hive和Spark是大数据相关工作中最常用的三种框架。1Hadoophadoop是一个分布式计算框架，是大数据处理的基石，大多其他框架都是以hadoop为基础。
Weiyaner·2023-12-17 06:00

Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）

Win10下安装大数据开发环境spark+hadoop+hive（实测可用）基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先，我们需要搭建软件的运行环境，本文中所使用的软件均需要运行在
YannAdams·2023-12-17 06:30
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他