大数据运维spark数据安全

稳稳的数字化转型！华为云SAP解决方案

[endif]数据安全保障难[if!supportLists]3.
舒意从生·2024-01-27 21:47

深入解析HTTPS：安全机制全方位剖析

随着互联网的深入发展，网络传输中的数据安全性受到了前所未有的关注。HTTPS，作为HTTP的安全版本，为数据在客户端和服务器之间的传输提供了加密和身份验证，从而确保了数据的机密性、完整性和身份真实性。
地瓜伯伯·2024-01-27 21:54

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。
csdn产品小助手·2024-01-27 19:18

数据安全与隐私保护策略： Zero Trust 架构

1.背景介绍数据安全和隐私保护是当今数字世界中最重要的问题之一。随着数字化的推进，数据的产生和传输量不断增加，数据安全和隐私保护的需求也越来越高。
OpenChat·2024-01-27 17:51

apache 前30个开源项目

高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃4ApacheSpark
临水逸·2024-01-27 17:35

Apache Pulsar 为滴滴大数据运维带来了哪些收益？

ApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。该系统源于Yahoo，最初在Yahoo内部开发和部署，支持Yahoo应用服务平台140万个主题，日处理超过1000亿条消息。Pulsar于2017年由Yahoo开源并捐赠给Apache软件基金会进行孵化，2018年成为Apache软件基金会顶级项目。滴滴大数据于2021年
滴滴技术·2024-01-27 17:58

如何使用irsa将火花提交给亚马逊eks集群

Inpreviousarticle,IhaveintroducedhowwesubmitaSparkjobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract
weixin_26755331·2024-01-27 15:26

Pyspark分类--LogisticRegression

LogisticRegression：逻辑回归分类classpyspark.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol
Gadaite·2024-01-27 14:53

搭建大数据平台常用的端口号

journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark
修勾勾L·2024-01-27 13:51

Spark连接Hive的两种方式

一、使用hive-site.xml第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc:mysql://192.168.38.160:3306/hive_db?crea
修勾勾L·2024-01-27 13:50

项目中常用的utils

importcryptofrom'crypto'importSparkMD5from'spark-md5'importCryptoJsfrom'crypto-js'importJSEncryptfrom'jsencrypt'importstoragefrom
乐夫天命兮·2024-01-27 13:05

人大金仓助力某市公积金核心业务系统国产化升级

“适应信息技术应用创新趋势的重点示范项目该项目是某市公积金中心为响应市政府相关政策，优化信息资源配置，促进信息共享，保障数据安全，适应信息技术应用创新趋势的重点示范项目，涉及到主要业务系统的升级上云。
金仓数据库·2024-01-27 13:21

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

第一步、编写python脚本，产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200·2024-01-27 12:24

【Scala-spark.mlib】分布式矩阵——分布式计算的基石与利器

分布式矩阵1.mlib.linalg.distributed包2.DistributedMatrix特质3.BlockMatrix类4.CoordinateMatrix类5.IndexedRowMatrix类6.RowMatrix类7.小结1.mlib.linalg.distributed包  矩阵计算是很多科学计算的重要步骤，而分布式矩阵存储则是分布式计算的基础。根据不同的计算需求，需要将用于计
JimmyShis·2024-01-27 10:12

全同态加密的硬件加速：让机器学习更懂隐私保护

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。
PrimiHub·2024-01-27 09:18

2019年12月10日

今天在公司继续看spark教程，这么说来我已经快一个月没啥正事了（望向每日记录Excel文档），究竟说明公司药丸还是我药丸……反正先做好多手准备【今天明明温度不低办公室的三恒系统却还是开着高温，仿佛电费不要钱
真昼之月·2024-01-27 08:49

Spark-RDD持久化

(1)persist算子使用方法：varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明：StorageLevel的构造函数：classStorageLevelprivate(privatevar_useDisk:Boolean,#是否
printf200·2024-01-27 08:02

Spark SQL中掌控sql语句的执行 - 了解你的查询计划

本文翻译自BeinchargeofQueryExcutioninSparkSQL背景自spark2.x的sql以及申明行DataFrameAPi以来，在spark查询数据越来越方便。
鸿乃江边鸟·2024-01-27 08:18

Hadoop与Spark横向比较【大数据扫盲】

大数据场景下的数据库有很多种，每种数据库根据其数据模型、查询语言、一致性模型和分布式架构等特性，都有其特定的使用场景。以下是一些常见的大数据数据库：1.**NoSQL数据库**：这类数据库通常用于处理大规模、非结构化的数据。它们通常提供简单的查询语言，并强调水平扩展和高可用性。例如：-**键值存储**：如Redis，AmazonDynamoDB-**列式存储**：如ApacheCassandra，
super_journey·2024-01-27 07:51

多线程经典案例（Java实现）

对象使用同步方法2）解决生产者没有生产商品，消费者就可以获取的问题3）用JUC中的BlockingQueue类实现卖票问题问题描述如下代码是实现四个窗口同时卖票的场景，但是从输出结果可以看出，在实现数据共享的同时，数据安全无法保证
control CV工程师·2024-01-27 07:07

企业级大数据安全架构（六）数据授权和审计管理

作者：楼高本节详细介绍企业级大数据架构中的第六部分，数据授权和审计管理1.Ranger简介ApacheRanger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架，为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面
云掣YUNCHE·2024-01-27 07:30

[AIGC] 后台开发者必看：大数据背景下的关键技能与难点

文章目录后台开发者必看：大数据背景下的关键技能与难点关键技能1.数据结构和算法2.分布式计算3.数据库技术4.编程语言难点1.数据安全2.高并发访问3.数据清洗与预
专注于Java中间件的程序员木木·2024-01-27 07:30

使用spark mllib训练中文文本分类器的

importorg.apache.spark.mllib.classification.NaiveBayesimportorg.apache.spark.mllib.feature.HashingTFimportorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.sql.functions
DreamNotOver·2024-01-27 07:45

使用 Spark MLlib 使用 jieba 分词训练中文分类器

importorg.apache.spark.ml.classification.NaiveBayesimportorg.apache.spark.ml.feature.HashingTFimportorg.apache.spark.sql.functions
DreamNotOver·2024-01-27 07:45

数据安全与数据交易中的安全

数据安全与数据交易中的安全提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加数据交易是一个新的名词，之前只听过数据作为生产要素这个提法的时候，本来就觉得很新奇，24年初，1月21日，福建省数据管理局
fengtangjiang·2024-01-27 07:13

Onvif/RTSP视频流对接云平台-实现高性能云端直播及录像存储方案

在数据安全要求比较高的地方，录像需要至少保留两份，且需要支持快速的
jinlong0603·2024-01-27 06:28

Spark Thrift Server 架构和原理介绍

也可以看我CSDN的博客：https://blog.csdn.net/u013332124/article/details/90339850一、SparkThriftServer介绍SparkThriftServer
疯狂的哈丘·2024-01-27 04:17

PHP AES加密

PHPAES加密：保护数据安全的重要工具在数字化时代，数据安全是一个至关重要的问题。随着互联网的普及和信息的快速传播，我们需要采取措施来保护敏感数据。
AICodeThunder·2024-01-27 03:58

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
云台095·2024-01-27 03:40

线上讲座 “计算机发展与演进中的云边端协同安全保障” 笔记

沈玉龙提纲计算机演进与发展云-边-端协同安全云-边-端计算安全云-边-端数据安全平台安全态势感知总结一、计算机演进与发展起源：查尔斯·巴贝奇——差分机电子计算机诞生：图灵首台通用计算机：ENIAC，支持重复编程冯诺依曼体系结构
九歌问天·2024-01-27 02:36

idea上搭建pyspark开发环境

1环境版本说明python版本：Anaconda3.6.5spark版本：spark-2.4.8-bin-hadoop2.7idea版本：2019.32环境变量配置2.1python环境变量配置将python.exe
jackyan163·2024-01-27 00:06

万字干货教你如何保证业务数据全流程安全

数据安全的基本概念首先，来看一下数据安全的基本概念。用户的云上数据安全是用户的生命线，也是云上安全整体能力最重要的表现，平台有责任和义务帮助客户保障数据的安全性。
云布道师·2024-01-26 22:14

工作手机监管系统开发与应用：合规与精细化运营

与个人日常使用的手机不同，工作手机在软硬件配置和系统功能上进行了深度定制化设计，以满足企业对数据安全、通信记录存档、员工行为监管以及工作效率提升等方面的特殊需求。
LAOLIUSHUO·2024-01-26 22:42

【前沿技术杂谈：边缘计算】连接未来的桥梁

【前沿技术杂谈：边缘计算】连接未来的桥梁引言第一部分：边缘计算的基础定义与原理关键技术第二部分：边缘计算的挑战与机遇数据安全与隐私保护网络稳定性实时性与本地处理能力方向一：数据安全与隐私保护安全机制设计隐私保护算法方向二
jcfszxc·2024-01-26 19:56

边缘计算在电力行业的应用：挑战与机遇

然而，这一变革同时带来了数据安全和隐私保护等一系列挑战。本文探讨了边缘计算在电力行业的应用现状，面临的挑战以及应对策略，展望了边缘计算技术在智慧电网、分布式发电和灾害响应中的潜力。
雨微尘·2024-01-26 19:55

Spark 2.3.4 StandAlone 集群模式部署

Spark2.3.4StandAlone集群模式部署相关文档依赖服务系统优化创建路径配置/etc/profile配置$SPARK_HOME/conf/spark-env.sh配置$SPARK_HOME/
JP.Hu·2024-01-26 19:07

Flink 基础入门

前言SparkStreaming准确来说算是一个微批处理伪实时的做法，可是Flink是真的来一条就会处理一条，而且在SparkStreaming和Kafka进行整合时我们需要手动去管理偏移量的问题，而在
IT领域君·2024-01-26 19:28

全球零部件巨头拥抱中国创新力量，大陆集团携银基科技共创新标杆

大陆集团投资银基科技暨双方战略合作框架签约仪式在美国拉斯维加斯举行据悉，双方将充分发挥各自在车辆进入系统技术、产业化生产、工具链、数据安全、用户体验、生态服务等方面的优势，面向中国以及全球汽车生产商提供行业领先的数字钥匙一体化集成解决方案
高工智能汽车·2024-01-26 17:18

Spark常见问题解决-日志和排查办法

Spark日志与排查报错问题查看：https://blog.csdn.net/qq_33588730/article/details/109353336Spark常见问题1.org.apache.spark.SparkException
for your wish·2024-01-26 15:39

Spark3内核源码与优化

文章目录一、Spark内核原理1、Spark内核概述1.1简介1.2Spark核心组件1.3Spark通用运行流程概述2、Spark部署模式2.1YARNCluster模式(重点)2.2YARNClient
魅Lemon·2024-01-26 15:38

Spark3学习笔记

文章目录一、Spark基础1、Spark概述1.1Spark简介1.2SparkVSHadoop1.3Spark特点1.4Spark入门Demo2、Spark运行模式2.1概述2.2Local模式2.3Standalone
魅Lemon·2024-01-26 15:38

pyspark学习_dataframe常用操作_02

#回顾01常用操作frompysparkimportSparkSession,DataFramespark=SparkSession.builder.getOrCreate()peopleDF=spark.read.json
heiqizero·2024-01-26 15:07

关于AWS数据分析认证(DAS-C01)的备考总结

AWSCertifiedDataAnalytics–Specialty2.考察的内容2.1考试包含的主要内容2.2涉及到的服务3.AWS中如何收集数据4.AWS中如何存储数据5.AWS中如何处理数据6.AWS中如何分析数据7.AWS中如何可视化数据8.AWS中如何保证数据安全
BAStriver·2024-01-26 12:45

iOS底层 -- 多线程之线程同步

一、多线程的安全隐患资源共享一块资源可能会被多个线程共享，也就是多个线程可能会访问同一块资源比如多个线程访问同一个对象、同一个变量、同一个文件当多个线程访问同一块资源时，很容易引发数据错乱和数据安全问题代码例子如下
happy神悦·2024-01-26 11:50

梳理离线批次spark作业提交脚本

/bin/bash-x#[email protected]_NAME="SparkALS"CDHUSER=adminCDHPASSWORD=adminCDHURL=http:/
赛尔木·2024-01-26 11:47

Apache Spark

ApacheSpark是一种快速、通用的大数据处理引擎，用于分布式数据处理和分析。它支持在大规模数据集上进行高性能计算，并且具有内置的分布式数据处理功能。
先------------------·2024-01-26 10:30

一年一度的星环开发者奇妙之旅招募活动开始啦

来自国内外政府、金融、交通、能源、制造等行业的超过1500名嘉宾将出席会议，共同探讨最新的大数据技术发展趋势、国产化数据库、数字化转型、数据安全、数据要素与流通等热门话题。
星环科技·2024-01-26 07:39

深度干货｜谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析

本文将分享AnalyticDBMySQLSpark助力构建低成本数据湖分析的最佳实践。
阿里云瑶池数据库·2024-01-26 06:57

Spark OLAP高阶分析函数总结

我们经常困惑在数据挖掘和报表分析场景中sql不会写，或者因为sql太长以至于可读性降低;今天我为大家总结了一些SparkSQL中的高阶函数，它们将会对你的业务形成助力，百倍提升你的工作效率GROUPING
易企秀工程师·2024-01-26 06:47

Spark学习笔记五：Spark资源调度和任务调度

一、StageSpark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是
开发者连小超·2024-01-26 04:42
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他