云原生阿里云spark云计算

Linux 属主属组设置和文件类型

我是公众号「想吃西红柿」「云原生运维实战派」作者，对云原生运维感兴趣，也保持时刻学习，后续会分享工作中用到的运维技术，在运维的路上得到支持和共同进步！
尘嫣慕曦·2024-08-29 15:50

Spark MLlib 数据预处理－特征变换

2019独角兽企业重金招聘Python工程师标准>>>Tokenizer（分词器）算法介绍：Tokenization将文本划分为独立个体（通常为单词）。RegexTokenizer基于正则表达式提供更多的划分选项。默认情况下，参数“pattern”为划分文本的分隔符。或者可以指定参数“gaps”来指明正则“patten”表示“tokens”而不是分隔符，这样来为分词结果找到所有可能匹配的情况。调用
weixin_33841722·2024-08-29 14:40

spark应用程序转换_4.Spark特征提取、转换和选择 - 简书

在实际机器学习项目中，我们获取的数据往往是不规范、不一致、有很多缺失数据，甚至不少错误数据，这些数据有时又称为脏数据或噪音，在模型训练前，务必对这些脏数据进行处理，否则，再好的模型，也只能脏数据进，脏数据出。这章我们主要介绍对数据处理涉及的一些操作，主要包括：特征提取特征转换特征选择4.1特征提取特征提取一般指从原始数据中抽取特征。4.1.1词频－逆向文件频率(TF-IDF)词频－逆向文件频率(T
weixin_39956182·2024-08-29 14:10

Spark权威指南读书笔记（二）：结构化API

API主要指三种核心分布式集合类型API：Dataset、DataFrame、SQL表和视图DataFrame和Dataset类型DataFrame和Dataset是具有行和列的类似于数据表的集合类型Spark
kaiker·2024-08-29 11:23

新手用户便宜购买阿里云服务器方式与购买技巧分享（2023更新）

新用户首次购买阿里云产品，特别是购买阿里云服务器产品，掌握便宜购买阿里云服务器的方式与技巧是重要的，尤其是在2023年，各大品牌云服务商的云服务器价格都普遍上涨的今天，方法对了可以帮助我们节约一大笔资金
阿里云最新优惠和活动汇总·2024-08-29 10:32

飞凌方案丨基于LS1028A系列核心板打造一款边缘计算网关

随着物联网、大数据、人工智能等技术的快速发展与应用,给传统的云计算模式带来了巨大的挑战,这也催生出了计算模式的变革,边缘计算由此诞生。
spear800·2024-08-29 10:48

Spark-RDD迭代器管道计算

一、上下文《Spark-Task启动流程》中讲到我们提交Stage是传入的是这个Stage最后一个RDD，当Task中触发ShuffleWriter、返回Driver数据或者写入Hadoop文件系统时才触发这个
隔着天花板看星星·2024-08-29 07:24

阿里云服务器共享型n4、s6和计算型c6、sn1ne实例有何区别？如何选择？

在阿里云活动中，如果你计划购买2核4G、4核8G、8核16G这种处理器与内存配比为1:2的云服务器，有共享型n4、共享型s6、计算型c6和计算网络增强型sn1ne这四个云服务器实例可选，不同实例之间的差别是很大的
阿里云最新优惠和活动汇总·2024-08-29 06:09

云计算时代容器安全综述-容器的网络安全（上）

互联网应用已经深深的渗透到我们日常生活的方方面面，比如很多同学应该有很长时间都没有使用过现金了。不过任何事情都具有两面性，科技发展给我们造成便利的同事，不容忽视的一个事实是，大部分在线交付系统每天都会遭受各种各样的网络攻击，因此无论你的系统部署在哪里，我们都需要有基本的网络知识来保护系统的正常运行以及核心数据不会被窃取。读者看到这里可能会说讲网络原理的书和文章太多了，这个东西还有什么好说的。笔者认
攀师傅·2024-08-29 06:32

每天一个数据分析题（五百零五）- 提升方法

A.AdaboostB.GBDTC.XGBOOSTD.随机森林数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-29 05:43

每天一个数据分析题（五百零六）- 装袋方法

A.AdaboostB.GBDTC.XGBOOSTD.随机森林数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-29 05:43

spark mllib 特征学习笔记 （一）

PySparkMLlib特征处理详解PySparkMLlib提供了丰富的特征处理工具，帮助我们进行特征提取、转换和选择。以下是PySparkMLlib中常用的特征处理类及其简要介绍。
路人与大师·2024-08-29 03:57

Spark MLlib 特征工程系列—特征转换VectorSizeHint

SparkMLlib特征工程系列—特征转换VectorSizeHintVectorSizeHint是Spark提供的一个特征转换器，用于指定向量列的大小（即维度）。
不二人生·2024-08-29 03:56

《未来二十年，AI、区块链、云与大数据技术引领全球变革》

摘要在未来二十年，全球社会与经济将深刻受到人工智能（AI）、区块链（Blockchain）、云计算（Cloud）和大数据（Data）四大核心技术的驱动。
久绊A·2024-08-29 03:25

WIFI的配网方式

WIFI的配网方式一、基本概念二、配网的关键点三、WIFI的配网方式1、AP配网2、手机热点配网3、一键配网4、蓝牙配网6、零配本文参考文档：阿里云-帮助中心由于作者也是个小白，正在学习当中，如有错误，
Small_Six_·2024-08-29 00:11

GPU算力租用平台推荐

一、国内GPU算力租用平台1.阿里云（AlibabaCloud）平台概述：阿里云作为中国领先的云计算服务提供商
hong161688·2024-08-29 00:07

阿里云和腾讯云高性价比云服务器有哪些？活动价格是多少？

现在提到上云和购买云服务器，很多用户第一选择就是买阿里云和腾讯云的，那么阿里云和腾讯云高性价比云服务器有哪些？价格有是多少呢？
阿里云最新优惠和活动汇总·2024-08-28 21:17

华云数据荣获“国民云计算品牌TOP3”：讲中国故事 做好中国云

4月15日，业内权威自媒体《信创产业》公布了2022“国民云计算品牌”。华云数据（微信号：chinac_com）凭借突出的技术优势及发展态势荣获“2022国民云计算品牌TOP3”。
互联网科技、·2024-08-28 21:16

教你如何搭建本地私有云

目录本地私有云的使用场景如何使用IBCS虚拟专线搭建本地私有云本地私有云的使用场景搭建本地私有云是指在企业或组织内部搭建云计算基础设施，用于存储、处理和共享各种数据和资源。
坚持就是胜利1986·2024-08-28 19:05

【python】如何通过Python中的http.server搭建文件上传下载服务

✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等
景天科技苑·2024-08-28 18:55

【软考】【多媒体应用设计师】元数据与数字对象标识码

DOI能唯一地标识网络环境下的任何数字对象，它一经产生和分配就永久不变，不随其所标识的对象属性的改变而改变，这是云计算背景下的大数据样本存储和应用技术的体现
软考鸭·2024-08-28 17:19

渗透学习-8-信息打点-系统篇&端口扫描&CDN 服务&负载均衡&WAF 防火墙

知识点：1、获取网络信息-服务厂商&网络架构服务厂商-获知服务器的一些特性，比如阿里云会自带防护网络架构-获知网络架构的一些情况，多台服务器？
wh00am·2024-08-28 15:32

Clickhouse 集群部署安装

ClickHouse集群部署安装1、环境准备（1）、阿里云服务器两台集群节点信息192.168.5.13ch01192.168.5.14ch02（2）、修改/etc/cloud/cloud.cfg(所有节点
想当厨子的小章同学·2024-08-28 14:59

购买阿里云服务器需要多少钱？活动价2000元左右的阿里云服务器分享

购买阿里云服务器需要多少钱，如果你计划购买一台价格在2000元左右的阿里云服务器，目前活动价格在2000元左右的阿里云服务器大概有16台，月付最低只要1814.00元可购买一台通用算力型u1实例8核32G
阿里云最新优惠和活动汇总·2024-08-28 13:57

每天一个数据分析题（五百零二）- 分割式聚类算法

B.CentroidMethodC.Ward’sMethodD.以上皆非数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-08-28 13:19

慢sql问题解决，sql优化，数据库（mysql）

文章目录1、count效率比较2、作者遇到的慢sql问题2.1、使用排序导致变慢问题2.2、使用LEFTJOIN导致索引失效的问题2.3、子查询导致索引失效3、explain命令介绍4、阿里云rds数据库
北风toto·2024-08-28 11:11

SparkStreaming 如何保证消费Kafka的数据不丢失不重复

目录SparkStreaming接收Kafka数据的方式有两种：Receiver接收数据和采用Direct方式。
K. Bob·2024-08-28 10:02

SparkSql

SparkSQL基本介绍什么是SparkSQL?用于处理结构化数据的Spark模块。可以通过DataFrame和DataSet处理数据。
李思缘的大数据之路·2024-08-28 09:00

SparkSQL优化查询性能的方法

一、PySpark如何提高程序的运行效率和性能PySpark的运行效率和性能受到多个因素的影响，包括数据大小、算法复杂度、硬件资源等。
大数据海中游泳的鱼·2024-08-28 09:57

Spark on YARN

ApacheSpark和ApacheHadoopYARN是两个紧密相关的项目，它们经常一起使用来处理大规模数据集。
静听山水·2024-08-28 09:26

智慧综合执法办案平台源码，城管执法app源码，快速执法办案

智慧综合执法管理平台源码，智慧城管系统源码综合执法办案平台是智慧城市框架下，依托物联网、云计算、多网融合等现代化技术，运用数字基础资源、多维信息感知、协同工作处置、智能化辅助决策分析等手段，形成具备高度感知
项目源码库·2024-08-28 08:52

数据库系列 - MySQL用户权限以及死锁排查

参看：《MySQL必知必会》https://www.cnblogs.com/Richardzhu/p/3318595.html一、MySQL用户权限最近有一个项目，在开发过程中直接把数据库安装到阿里云服务器
知行-wts·2024-08-28 08:50

云计算实训35——镜像的迁移、镜像的创建、使用docker查看ip、端口映射、容器持久化

一、镜像的迁移打包镜像dockersave-o文件名称镜像名：标签#查看帮助命令[root@docker~]#docker--help#查看save打包用法[root@docker~]#dockersave--help#查看原有镜像[root@docker~]#dockerimages#将镜像打包[root@docker~]#dockersave-ocentos.tarcentos:latest#
麻辣鱿鱼须783·2024-08-28 07:45

云计算实训36——mysql镜像管理、同步容器和宿主机时间、在容器外执行容器内命令、容器的ip地址不稳定问题、基础镜像的制作、镜像应用

一、线上考试系统的数据虚拟化技术部署1.部署前段服务器步骤一：将资源上传到服务器将dist.zip上传给服务器下载unzip的包yum-yinstallunzip解压unzipdist.zip步骤二：创建基础容器在服务器上启动服务systemctlstartdocker.service拉取镜像dockerpullcentosdockerrun-it--namec0centos:latest/bin
麻辣鱿鱼须783·2024-08-28 07:45

Kubernetes (K8s) 监控方案：Prometheus 实战指南

1.引言在当今云原生时代，Kubernetes(K8s)已成为容器编排的标准解决方案。然而，随着K8s集群规模和复杂性的增加，有效的监控变得至关重要。
ivwdcwso·2024-08-28 07:14

阿里云上的云服务配置fastdfs时，storage启动成功却端口没有打开

先在安全组策略里将22122和23000打开（也不知道具体是不是都要开，时间匆忙没测试）输入ifconfig命令，查看网络配置，找到inet后面那个ip，就是内网ip将这个ip配置到storage.conf中的tracker_server中，如172.16.4.89:22122将tracker和storage重启：/etc/init.d/fdfs_trackerdstart和/etc/init.d
09c72470861c·2024-08-28 07:27

阿里云服务器降价活动亮点解析，助力用户优惠购买云服务器

云服务器降价活动是阿里云当下关注度很高的一个热门活动，活动包含了轻负载场景推荐轻量应用服务器、性价比推荐u1系列、企业推荐c7/g7/r7系列、云服务器全球购、精选产品，免费试用3个月等几个板块，小编为大家解析了阿里云服务器降价的七大亮点
阿里云最新优惠和活动汇总·2024-08-28 04:24

如何使用阿里云OSS进行前端直传以及分片上传

在使用阿里云OSS进行前端直传时，首先我们需要去阿里云官网注册自己的存储桶，然后申请相关的accessKeyId和accessKeySecret，然后新建一个桶，为这个桶命名以及选择对应的地区。
I will.874·2024-08-28 00:31

分享一个基于Spark的招聘数据可视化与分析系统Hadoop大数据源码（源码、调试、LW、开题、PPT）

作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
计算机源码社·2024-08-27 20:05

【云原生】Kubernetes中常见的Pod故障排查定位与解决方案

✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等
景天科技苑·2024-08-27 20:00

在亚马逊云科技上搭建云原生生成式AI教育学习平台

项目简介：小李哥将继续每天介绍一个基于亚马逊云科技AWS云计算平台的全球前沿AI技术解决方案，帮助大家快速了解国际上最热门的云计算平台亚马逊云科技AWSAI最佳实践，并应用到自己的日常工作里。
佛州小李哥·2024-08-27 18:20

个人和企业注册阿里云账号、实名认证、领取代金券图文教程

在我们购买阿里云服务器等云产品之前，首先要做的就是注册账号并完成实名认证，之后才能购买阿里云各种云产品，在购买过程中还可以使用代金券抵扣订单金额，减少购买成本。
阿里云最新优惠和活动汇总·2024-08-27 16:57

spark采坑集锦之用kafka作为DStream数据源，并行度问题

在SparkStreaming中作为数据源的Kafka怎样接收多主题发送的数据呢？
方兵兵·2024-08-27 16:41

阿里云k8s扩展节点最大pod数量(两种方式)

一、亲测可用vim/etc/systemd/system/kubelet.service.d/10-kubeadm.conf[Service]EnvironmentFile=-/etc/kubernetes/kubelet-customized-args.confEnvironment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kub
想见感·2024-08-27 16:08

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki4·2024-08-27 15:42

云原生周刊：KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard

开源项目推荐AdmiraltyAdmiralty是一个Kubernetes控制器系统，可以智能地在多个集群之间调度工作负载。它使用简单，并且易于与其他工具集成。CozystackCozystack是一个免费的PaaS平台和框架，用于构建云服务。通过Cozystack，你可以将一组服务器转变为一个智能系统，并通过简单的RESTAPI轻松生成Kubernetes集群、数据库即服务、虚拟机、负载均衡器、
KubeSphere 云原生·2024-08-27 14:59

云计算实训35——镜像的迁移、镜像的创建、使用docker查看ip、端口映射、容器持久化

一、镜像的迁移打包镜像dockersave-o文件名称镜像名：标签#查看帮助命令[root@docker~]#docker--help#查看save打包用法[root@docker~]#dockersave--help#查看原有镜像[root@docker~]#dockerimages#将镜像打包[root@docker~]#dockersave-ocentos.tarcentos:latest#
是小赵鸭.·2024-08-27 14:56

云计算--基于docker容器爬虫数据持久化到mysql

背景1、如何进入启动状态的dockermysql并使用python代码在其中创建数据表并插入爬虫获取的数据？2、忘记container密码，如何从images重新实例化一个？3、直接在liunx系统当中安装的mysql如何通过.sql文件创建对应的表。4、由于使用sudo安装的mysql的普通用户没有访问权限。问题1解决方案：启动DockerMySQL容器:首先，确保你已经安装了Docker。然后
bw876720687·2024-08-27 14:55

基层医疗云HIS系统源码：云计算、大数据等现代信息技术研发

云HIS源码，基层云HIS系统源码，基层医疗云HIS系统利用云计算、大数据等现代信息技术研发的基层医疗云HIS系统实现了医院信息化从局域网向互联网转型，重新定义医疗卫生信息化建设的理念、构架、功能和运维体系
项目源码库·2024-08-27 14:24

Spark -- 基础开发和RDD相关知识总结!!!

目录一、基础开发1.Anaconda2.案例(基本代码)3.案例(链式编程)3.spark-submit3.StandAlone模式4.SparkOnYarn模式二、RDD1.RDD模型2.RDD常用算子
Alfie-·2024-08-27 12:13
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他