Spark企业内训

使用Docker安装Spark集群(带有HDFS)

本实验在CentOS7中完成第一部分：安装Docker这一部分是安装Docker，如果机器中已经安装过Docker，可以直接跳过[root@VM-48-22-centos~]#systemctlstopfirewalld[root@VM-48-22-centos~]#systemctldisablefirewalld[root@VM-48-22-centos~]#systemctlstatusfi
Sicilly_琬姗·2025-02-18 10:52

使用Docker部署Spark集群

使用Docker部署Spark集群克隆包含启动脚本的git仓库启动Spark0.8.0集群并切换至SparkShell环境不带参数运行部署脚本*运行一些小的例子终止集群克隆包含启动脚本的git仓库*gitclone-bblogpostgit
小孩真笨·2025-02-18 10:17

从0开始使用Docker搭建Spark集群

utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation最近在学习大数据技术，朋友叫我直接学习Spark
吃鱼的羊·2025-02-18 10:16

vsan数据恢复—VMware虚拟机磁盘文件（vmdk）丢失的数据恢复案例

2、将取出来的硬盘接到北亚企安数据恢复工程师准备好的
·2025-02-18 04:41

Hbase深入浅出

大家熟知的Spark、以及Hadoop的MapReduce，可以理解为一种计算框架。而HDFS，我们可以认为是为计算框架服务的存
天才之上·2025-02-18 03:13

深入浅出了解HBase及RDD编程

HBase为什么能存储海量数据创建一个HBase表配置Spark编写程序读取HBase数据编写程序向HBase写入数据关于搭建HBase高可用集群的图文教程，可参考我的另一篇博文——安装并配置HBase
山海王子·2025-02-18 03:11

AIMv2：多模态自回归预训练的视觉新突破

多模态自回归预训练的视觉新突破阅读时长：19分钟发布时间：2025-02-17近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】
·2025-02-17 20:28

企业文件安全管理基础及防范策略

一、文件安全管理的重要性数据泄露风险企业内部员工、外部攻击者或第三方供应商的不当操作均可能导致敏感文件泄露，给企业带来巨大经济与信誉损失。法律合规要求随着GDPR、ISO27001等数据保护法规
够快云库·2025-02-17 18:32

《六月集训》（第二十三天）——字典树

今天是六月集训第二十三天：字典树一、练习题目472.连接词面试题17.15.最长单词二、算法思路1、472.连接词：题目有点难。还在从基础看起，2、面试题17.15.最长单词：三、源码剖析//472
EchoRouRou·2025-02-17 18:28

DeepSeek 混合专家（MoE）架构技术原理剖析

DeepSeek混合专家（MoE）架构技术原理剖析在人工智能快速发展的当下，大规模语言模型不断突破创新，DeepSeek混合专家（MoE）架构脱颖而出，成为业内关注焦点。
计算机学长·2025-02-17 13:15

企业内部管理软件使用saas还是源码呢

SaaS：一种通过互联网提供软件应用的服务模式。用户通过订阅方式使用软件，无需自行安装或维护。SaaS服务按需收费，供应商负责维护和更新，用户可以在不同设备上访问软件。它适用于各种规模的企业和个人，方便快捷。开源代码：软件的源代码公开发布，任何人都可以查看、修改和共享。它允许用户根据需求自由定制，完全掌控软件和数据的所有权。开源代码通常由社区支持，并且购买后无需持续支付订阅费用。SaaS模板和源代
·2025-02-17 11:35

乐企数字开放平台几个概念及操作手册

一、能力改造和订阅、沙箱测试能力是指乐企平台提供的处理涉税业务的开放规则集合。
戊寅戊子·2025-02-17 11:28

服务熔断与服务降级

服务熔断的原理：业内普遍采用断路器模式原理:当远程服务被调用时，断路器将监视这个调用，如调用时间太长，断路器将会介入并中断调用。
程序员琛琛·2025-02-17 06:16

python爬取天眼查存入excel表格_python爬取企查查江苏企业信息生成excel表格

requests,BeautifulSoup,xlwt,lxml1.BeautifulSoup：是专业的网页爬取库，方便抓取网页信息2.xlwt：生成excel表格3.lxml：xml解析库3.具体思路企查查网站具有一定的反爬机制
吴寿鹤·2025-02-17 05:39

企业文件安全：防范内部人员数据泄露风险

一、内部人员数据泄露的现状与原因当前，企业内部人员数据泄露事件时有发生。一方面，部分员工安全意识淡薄，随意将文件存储在不安全的设备上，或通过不加密的渠道传输文件，增加了数据泄露的风险。
够快云库·2025-02-17 02:50

Spark 性能优化（四）：Cache

在Spark中，缓存是一种将计算结果存储在内存中的方式，目的是加速后续操作。当你执行迭代算法或查询时，如果多次重复使用相同的数据集，缓存可以避免每次都重新计算相同的转换操作。
LevenBigData·2025-02-17 00:04

使用Docker搭建Flink集群

我们知道，像spark、flink这些计算框架都有多种运行模式：在本地使用多线程模拟集群真正的分布式集群如果直接在IDE（Intellj）里面编译和运行写好的程序，实际上是用的前一种运行模式；如果想尝试真正的生产环境中任务的提交和管
O_1CxH·2025-02-16 20:34

Spark 和 Flink

Spark和Flink都是目前流行的大数据处理引擎，但它们在架构设计、应用场景、性能和生态方面有较大区别。
信徒_·2025-02-16 12:04

spark任务运行

运行环境在这里插入代码片[root@hadoop000conf]#java-versionjavaversion"1.8.0_144"Java(TM)SERuntimeEnvironment(build1.8.0_144-b01)[root@hadoop000conf]#echo$JAVA_HOME/home/hadoop/app/jdk1.8.0_144[root@hadoop000conf]#
冰火同学·2025-02-16 11:56

【Redis】golang操作Redis基础入门

【Redis】golang操作Redis基础入门大家好我是寸铁总结了一篇【Redis】golang操作Redis基础入门sparkles:喜欢的小伙伴可以点点关注Redis的作用Redis（RemoteDictionaryServer
寸 铁·2025-02-16 07:24

hive spark读取hive hbase外表报错分析和解决

问题现象使用Sparkshell操作hive关联Hbase的外表导致报错；hive使用tez引擎操作关联Hbase的外表时报错。
spring208208·2025-02-16 07:21

spark-广播变量

当本地数据极大的时候，可以使用广播变量，使得减少内存。本地集合对象和分布式集合对象（RDD）进行关联的时候，需要将本地集合对象广播变量。本地的数据传输到集群上，会发到每一个线程，每一个分区。每一个进程executor，有多个线程分区，进程内的线程数据共享因此，给每一个线程发送数据会导致数据占用，浪费资源。所有，出现了广播变量，使得只发送给进程代码使用：broadcast=sc.broadcast(
哈哈哈哈q·2025-02-16 05:12

Badcase归因分析“四部曲”

badcase是业内的专业名词，简单解释一下。bad是坏，ca
姚瑞南·2025-02-15 22:14

数据总线/一致性维度/总线矩阵

数据孤岛企业内部各个系统中的数据被隔离在不同的数据库中，无法进行共享和整合，严重影响了企业的决策能力和运营效率。
DouMiaoO_Oo·2025-02-15 17:43

探索数据云的无缝桥梁：Apache Spark 与 Snowflake 的完美结合

探索数据云的无缝桥梁：ApacheSpark与Snowflake的完美结合spark-snowflakeSnowflakeDataSourceforApacheSpark.项目地址:https://gitcode.com
窦育培·2025-02-15 12:32

maven插件学习(maven-shade-plugin和maven-antrun-plugin插件)

整合spark3.3.x和hive2.1.1-cdh6.3.2碰到个问题，就是spark官方支持的hive是2.3.x，但是cdh中的hive确是2.1.x的，项目中又计划用spark-thrift-server
catcher92·2025-02-15 08:00

硅谷新潮流：“Vibe Coding” 让AI写代码

与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！
新加坡内哥谈技术·2025-02-15 07:48

使用SparkLLM实现智能聊天：技术原理与实战演示

在本篇文章中，我们将探讨如何使用iFlyTek的SparkLLM模型来实现智能聊天功能。我们将详细介绍SparkLLM的技术背景、核心原理，并通过实际代码展示如何进行实现。
shuoac·2025-02-15 06:41

2024年最新Web应用安全威胁与防护措施(3)

许多金融企业会让员工不受限地访问各类文档资源，他们甚至可以访问到本企业内部大约17%的敏感文件(约1100万个文件)。平均而言，只有5%的公司文件夹受到了适当的保护。
2401_84240129·2025-02-15 03:13

Spark 性能优化 （三）：RBO 与 CBO

1.RBO的核心概念在ApacheSpark的查询优化过程中，规则优化（Rule-BasedOptimization,RBO）是Catalyst优化器的一个关键组成部分。
LevenBigData·2025-02-15 02:09

【笔记】使用 Pytorch 进行分布式训练

其实Pytorch分布式训练已经不算什么新技术了，之所以专门写一篇blog是因为今天训模型的时候出现了一个没见过的问题，在调试的时候发现自己平时都是用别人写好的分布式代码，没有深入研究过其中的实现细节，
LittleNyima·2025-02-14 23:49

焦损函数（Focal Loss）与RetinaNet目标检测模型详解

RetinaNet目标检测模型详解阅读时长：19分钟发布时间：2025-02-14近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】
·2025-02-14 22:31

MES管理系统解决方案在制造企业中的实施路径

一、战略导向的需求规划体系项目实施团队需通过"三维分析法"建立需求规划模型：纵向维度系统梳理企业现有工艺流程，横向维度对接供应商与客户端的协同需求，时间维度统筹企
深蓝易网·2025-02-14 21:27

python 并行框架_基于python的高性能实时并行机器学习框架之Ray介绍

这种框架名为Ray，看起来有望取代Spark，业界认为Spark对于一些现实的人工智能应用而言速度太慢了;过不了一年，Ray应该会准备好用于生产环境。目前ray已经发布了0.3.0
weixin_39778582·2025-02-14 20:54

java获取hive表所有字段,Hive Sql从表中动态获取空列计数

我正在使用datastaxspark集成和sparkSQLthrift服务器,它为我提供了一个HiveSQL接口来查询Cassandra中的表.我的数据库中的表是动态创建的,我想要做的是仅根据表名在表的每列中获取空值的计数
拾亿年·2025-02-14 16:23

PySpark查询Dataframe中包含乱码的数据记录的方法

首先，用PySpark获取Dataframe中所有非ASCII字符，找到其中的非乱码字符。
weixin_30777913·2025-02-14 16:23

spark streaming基础操作

sparkstreaming基础操作一、什么是sparkstreamingSparkStreaming用于流式数据的处理。
天选之子123·2025-02-14 09:33

六西格玛培训：解锁红海迷局，打造企业蓝海战略——张驰咨询

然而，随着经济环境的不断变化，行业内卷加剧，许多企业即便已经实施了六西格玛管理，依然面临业绩下滑的困扰。为何这些管理变革手段对企业经营状况的改善帮助有限？
张驰课堂·2025-02-14 05:31

ALBERT：轻量级的BERT，用于语言表征的自监督学习

BERT，用于语言表征的自监督学习阅读时长：19分钟发布时间：2025-02-13近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】
·2025-02-14 05:05

广汽本田销量暴跌近三成，李进没有交出好答卷？

这家曾经稳坐年度销量榜单前十的车企，如今却面临着销量骤降近三成的严峻挑战，而且这场溃败似乎仍未触底。回顾过去一年，我国汽车市场呈现出整体增长的态
财经三剑客·2025-02-14 05:27

2025年：信创替代的关键之年

2023年9月底下发的79号文更是为信创替代按下了“快进键”，明确要求到2027年央企国企100%完成信创替代，涵盖芯
了不起的云计算V·2025-02-14 04:23

电脑文件防泄密系统

以下是对该系统的详细介绍：一、系统概述天锐绿盾防泄密系统通过先进的加密技术和精细的权限管理，确保企业内部的敏感文件在创建、存储、传输和使用过程中始终处于受控状态。
Tianrui Green Shield·2025-02-14 04:19

Meta AI 最近推出了一款全新的机器学习框架ParetoQ，专门用于大型语言模型的4-bit 以下量化

与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！
新加坡内哥谈技术·2025-02-14 03:00

RAG中的双编码器与跨编码器模型

RAG中的双编码器与跨编码器模型阅读时长：19分钟发布时间：2025-02-13近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】
·2025-02-14 01:01

2024年办公协作新趋势：8种值得瞩目的工作方式

在线团队协作就像在不同应用场景中搭建了一座虚拟桥梁，打破了企业内部的数据孤岛，促进了各部门之间的多维协作。在线协作设计软件则成为企业数字化转型的理想选择，满足了企业在数字
不秃头的UI设计师·2025-02-13 23:04

Yocto 项目：嵌入式 Linux 生态的大统之战

不同厂商和行业根据各自的需求，采用不同的Linux发行版，导致软件兼容性问题、开发维护成本高企，以及生态难以整合。
嵌入式Jerry·2025-02-13 22:24

DeepSeek R1：开启AI推理新时代，强在哪里？

DeepSeekR1：开启AI推理新时代阅读时长：19分钟发布时间：2025-02-13近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】
·2025-02-13 20:19

如何训练LLMs进行“思考”（如o1和DeepSeek-R1）

o1和DeepSeek-R1）阅读时长：19分钟发布时间：2025-02-13近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】
·2025-02-13 16:07

如何通过私有化看板工具实现高效工时管理与团队协作

以下是实现这一目标的详细步骤和策略：看板软件私有化的关键步骤1.1明确私有化需求●数据安全：确保敏感数据存储在企业内部，满足合规性要求（如GDPR、HIPAA）。
·2025-02-13 15:32

自动驾驶技术的未来趋势与挑战分析

当前，行业内涌现出多种解决方案，各大汽车制造商与科技公司纷纷加大投入，推动这一领域的技术进步。市场需求不断增加，为自动驾驶技术注入活力。城市交通拥堵、环境污染等问题促使人们寻求更加智能
智能计算研究中心·2025-02-13 12:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他