【大数据】Yarn

move移动语义详解

move移动语义移动语义是C++11引入的一种机制，用于提高程序的性能和资源管理效率，特别是在涉及大数据对象的场景下。移动语义通过转移资源所有权，而不是复制资源，减少了不必要的拷贝操作。
Say-hai·2025-01-30 21:45

大数据毕业设计hadoop+spark+hive豆瓣图书数据分析可视化大屏 豆瓣图书爬虫 图书推荐系统

系统总体目标基于Spark的个性化书籍推荐系统是一种基于大数据技术的智能推荐系统，它可以根据用户的历史行为和偏好，为用户提供个性化的书籍推荐。
qq_79856539·2025-01-30 20:03

企业数字化规划蓝图、企业数字化运营分析管理大数据平台建设方案

**企业数字化规划蓝图及运营分析管理大数据平台建设方案****一、企业数字化规划蓝图**1.**数字化目标设定**企业在规划数字化进程时，首先需要明确数字化目标。
公众号：优享智库·2025-01-30 19:57

使用Flink进行流式图处理

使用Flink进行流式图处理1.背景介绍1.1大数据时代的到来随着互联网、物联网和移动互联网的快速发展,数据呈现出爆炸式增长。根据IDC的预测,到2025年,全球数据量将达到175ZB。
AI天才研究院·2025-01-30 19:26

python与excel整合全教程

Python与Excel的整合非常强大，尤其适合处理大数据、自动化表格操作以及进行高级数据分析。
刘同学Python学习日记·2025-01-30 19:53

如何写一份合格的大数据简历（附简历模板）教程

【编辑/下载】：大数据开发简历范文二、简历结构基本信息：包含姓名、性别、联系方式（电话、邮箱）、求职意向。
itLeeyw573·2025-01-30 15:46

React使用less语法

1.安装yarnaddlessless-loaderornpmilessless-loader2.打开webpack配置文件创建项目的时候我们是看不到webpack文件的需要暴露出来yarnejectornpmruneject3
世间万物皆对象·2025-01-30 12:26

MongoDB 大俗大雅，上来问分片真三俗 -- 4 分什么分

开头还是介绍一下群，如果感兴趣PolarDB,MongoDB,MySQL,PostgreSQL,Redis,OceanBase,SqlServer等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题
Austindatabases·2025-01-30 11:48

大数据技术在数据安全治理中的应用

摘要面对新形势下的数据安全治理挑战，顺应数据安全领域的技术发展趋势，针对大型国企在数据安全治理实际应用中突出的关键权限人员识别问题，提出了一种基于图算法的关键权限人员识别技术。该技术可以发现系统中潜在的权限影响因素，并可从多个角度衡量不同含义的权重影响力，识别结果可解释性强。针对数据安全治理中的用户与实体行为异常检测问题，提出一种基于生成对抗网络的用户与实体行为异常检测方法，实验结果表明，所提方法
罗思付之技术屋·2025-01-30 11:17

TypeScript 学习 - 创建一个项目

创建一个项目实际使用中,使用yarncreatereact-app比npxcreate-react-app更顺利一些.使用yarncreatereact-appts-react-app--templatetypescript
草明·2025-01-30 10:08

阿里巴巴大数据系统体系架构

数据应用层：这是最顶层，面向不同的用户群体提供服务，包括对内（公司内部使用）、对平台（平台用户）、对商家（商家使用）、对公众（普通消费者）。数据服务与基础工具层：这一层提供了一些基础服务和工具，例如：OneService：可能是一种服务或工具，用于统一数据服务。TDDL+MySQL：TDDL是淘宝分布式数据层的缩写，与MySQL结合使用，提供数据库服务。HBase：一个分布式列存储系统，适合于存储
大连赵哥·2025-01-30 09:34

python 分布式集群_Python搭建Spark分布式集群环境

前言ApacheSpark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark最大的特点就是快，可比HadoopMapReduce的处理速度快100倍。
小国阁下·2025-01-30 05:32

spark集群完全分布式搭建

1.spark的运行架构（主从模式）主节点：master-----资源管理调度和任务的分配---------类似yarn从节点：worker-----执行具体的计算任务整体运行架构：编写spark运行程序用户将应用程序提交给
。 。，。，。·2025-01-30 05:59

【硬刚大数据】2021年从零到大数据专家之Hbase八股文

本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)
王知无(import_bigdata)·2025-01-30 01:35

史上最强！Spring Boot 3.3 高效批量插入万级数据的多种方案

在大数据处理场景下，如何高效地将大量数据插入数据库是一个重要课题。
m0_74825074·2025-01-30 01:34

多租户架构未提供足够的租户安全培训和教育

多租户架构下租户安全培训与教育的需求分析与解决方案引言随着云计算和大数据技术的飞速发展，多租户架构已成为企业数字化转型的重要基石。
图幻未来·2025-01-29 23:22

一文了解大数据概论

一.大数据概论1.1大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
·2025-01-29 23:54

Hadoop3.3.4伪分布式环境搭建

准备1.下载Hadoop2.配置环境变量3.配置免密二、Hadoop配置1.hadoop-env.sh2.hdfs-site.xml3.core-site.xml4.mapred-site.xml5.yarn-site.xml
凡许真·2025-01-29 21:28

中国BI步入增长大周期，腾讯云ChatBI加速AI+BI融合

过去十年，大数据技术的快速发展，让数据消费前进一大步，数据价值得到一定程度的挖掘与释放，真正开启了“用数”的大时代。
大数据在线·2025-01-29 15:09

乐学智伴：基于人工智能与大数据的学生个性化学习辅助平台

随着人工智能、大数据和云计算等技术的快速发展，教育科技（EdTech）为个性化学习提供了全新的解决方案。
IT源码大师·2025-01-29 14:33

Hive存储系统全面测试报告

引言在大数据时代，数据存储和处理技术的重要性日益凸显。ApacheHive作为一个基于Hadoop的数据仓库工具，因其能够提供类SQL查询功能（HiveQL）而广受欢迎。
蚂蚁质量·2025-01-29 13:27

企业数字化转型AI能力中台（总体架构、系统功能）建设方案

**企业数字化转型AI能力中台建设方案**一、建设背景与目标随着大数据、云计算、人工智能等技术的快速发展，企业正面临着数字化转型的重要机遇。
公众号：优享智库·2025-01-29 13:25

Yarn vs npm：你了解了吗

奠定基础回到过去，一个简单的文本编辑器就足以让开发人员创建和管理他们的大部分项目。但从那时起，Web发生了翻天覆地的变化。如今，即使是一个相当简单的项目也很常见，拥有数百或数千个脚本，具有复杂的嵌套依赖项，如果没有某种自动化工具，这些脚本根本无法管理。这就是管理器发挥作用的地方。包管理器是一种以多种方式自动处理项目依赖关系的工具。例如，在包管理器的帮助下，我们可以安装、卸载、更新和升级包，配置项目
那只斑马不睡觉·2025-01-29 07:49

npm cnpm pnpm npx yarn的区别

npm、cnpm、pnpm、npx、yarn这几个工具都与Node.js项目的包管理和命令执行相关，它们的区别具体如下：本质与功能定位npm：是Node.js官方的包管理工具，提供了安装、卸载、更新、发布等全方位的包管理功能
chenNorth。·2025-01-29 07:49

数据挖掘的常用算法

在大数据时代,数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程,也是一种决策支持过程。
北柠陌寒0207·2025-01-29 07:48

主流包管理工具npm、yarn、cnpm、pnpm之间的区别与联系——原理篇(1)

大多数npm库都严重依赖于其他npm库，这会导致嵌套依赖关系，并增加无法匹配相应版本的几率。虽然可以通过npmconfigsetsave-exacttrue命令关闭在版本号前面使用^的默认行为，但这个只会影响顶级依赖关系。由于每个依赖的库都有自己的package.json文件，而在它们自己的依赖关系前面可能会有^符号，所以无法通过package.json文件为嵌套依赖的内容提供保证。为了解决这个问
2401_84091580·2025-01-29 07:16

主流包管理工具npm、yarn、cnpm、pnpm之间的区别与联系——原理篇

}解析，^字符，告诉npm，安装主版本等于4的任意一个版本即可现在运行npm进行安装，npm将安装lodash的主版本为4的最新版，可能是[email protected]（@是npm约定用来确定包名的指定版本的）理论上，次版本号的变化并不会影响向后兼容性。因此，安装最新版的依赖库应该是能正常工作的，而且能引入自4.17.4版本以后的重要错误和安全方面的修复。但是，即使不同的开发人员使用了相同的packa
2401_84091628·2025-01-29 07:16

解锁Zustand的潜力：轻量级状态管理的无限可能

安装zustandyarnaddzustand创建store使用creat来创建一个新的storeimport{create}from'zustand'import{AsyncData}from'..
LLlan_lan·2025-01-29 06:39

大数据生态的Apache RocketMQ5.0

本文作者：李伟-ApacheRocketMQCommitter，RocketMQPython客户端项目Owner，ApacheDorisContributor，腾讯云消息队列资深开发工程师，著有《RocketMQ分布式消息中间件(核心原理与最佳实践)》。一、RocketMqueue101RocketMQ拥有诸多出色的特性：比如多副本机制，RocketMQ支持存储层的多副本Dledger，它是基于R
Apache RocketMQ·2025-01-29 06:09

ZooKeeper数据模型和节点类型

ZooKeeper数据模型和节点类型ZooKeeper是一个开源的分布式协调服务，用于管理和协调分布式系统中的大数据。
代码指四方·2025-01-29 05:28

DeepSeek：突破传统的AI算法与下载排行分析

DeepSeek，作为一款基于深度学习技术和大数据算法的搜索引擎，以其独特的优势在国内外市场上引起了广泛关注。下面介绍一下针对De
smart_ljh·2025-01-29 04:53

2000-2021年上市公司数字化转型数据（MD&A报告词频、文本统计）

2000-2021年上市公司数字化转型数据（MD&A报告词频、文本统计）1、时间：2000-2021年2、来源：上市公司NB3、范围：上市公司4、指标：包括人工智能技术、大数据技术、云计算技术、区块链技术
m0_71334485·2025-01-29 01:29

【高级篇】第7章 Elasticsearch 索引生命周期管理(ILM)

引言在大数据时代，有效地管理数据的生命周期是确保系统性能、成本控制和合规性的关键。Elasticsearch的索引生命周期管理（ILM）为此提供了强大的解决方案。
JAVA和人工智能·2025-01-29 00:18

Elasticsearch 索引生命周期管理：优化大数据存储

Elasticsearch索引生命周期管理：优化大数据存储在处理大规模数据时，存储和检索效率是至关重要的。
静谧星光c·2025-01-29 00:15

npm、cnpm、pnpm、yarn包管理工具别傻傻分不清楚了

干啥的：nodejs的包管理工具。用于自动化处理包的安装、更新、配置和管理。它们之间的主要区别在于它们各自的实现方式、性能优化、以及一些特有的功能。怎么用：1、npm1.1、描述NodePackageManager默认包管理器从npm公共仓库中安装、共享和分发代码包npm在项目中创建一个node_modules文件夹，其中包含所有的依赖项。每个项目的依赖都是独立安装的，这可能会导致重复的包和较大的
青苔猿猿·2025-01-28 22:35

npm、cnpm、pnpm、yarn的区别

npm,cnpm,pnpm,和yarn都是JavaScript的包管理工具，用于自动化处理包的安装、更新、配置和管理。它们之间的主要区别在于它们各自的实现方式、性能优化、以及一些特有的功能。
迷途小码农零零发·2025-01-28 22:05

包管理器-npm、yarn、cnpm、pnpm的比较

1.npm(nodepackagemanage)1.1本地安装使用命令：npminstall包名或npmi包名本地安装的包出现在当前目录下的node_module目录中如果本地安装的包带有CLI，npm会将它的CLI脚本放置到node_modules/.bin下，使用npx命令即可调用。1.2全局安装全局安装的包放置在一个特殊的全局目录。使用命令npminstall--global包名或npmi-
小禄不迷路·2025-01-28 22:02

运维面试常问的100道题（大数据统计）

一、基础知识类1、请解释什么是运维？运维是指对企业的IT系统进行运行维护，包括硬件设备、软件系统、网络等的监控、管理、优化和故障处理，以确保系统的稳定、高效运行，满足业务需求。2、简述运维的主要职责有哪些？服务器的安装、配置、维护和监控。网络设备的管理和维护。数据库的管理和维护。应用系统的部署、升级和维护。故障处理和应急响应。性能优化和容量规划。安全管理和漏洞修复。3、什么是服务器？有哪些类型？服
m0_67403143·2025-01-28 22:00

Yarn安装和使用

安装npminstall-gyarnYarn的官网Home|Yarn-JavaScript软件包管理器|Yarn中文文档-Yarn中文网部分命令yarninit-初始化某个项目yarninstall/link
米粒宝的爸爸·2025-01-28 21:57

基于centos6.5安装ElasticSearch

前面我们讲述了solr的安装搭建过程，今天讲讲ElasticSearch，ElasticSearch是另一款作为分词和搜索的服务器，相比solr，ElasticSearch在做大数据方面更有优势，因为其天然支持分布式
小码农叔叔·2025-01-28 21:51

大数据开发的底层逻辑是什么？

大数据开发的底层逻辑主要围绕数据的生命周期进行，包括数据的采集、存储、处理、分析和可视化等环节。
瑰茵·2025-01-28 18:56

AI智能获客工具的意义是什么

1.2精准定位潜在客户利用机器学习和大数据分析技术，AI
雪叶雨林·2025-01-28 17:49

大数据和智能数据应用架构系列教程之：大数据与人工智能

作者：禅与计算机程序设计艺术1.背景介绍概述“大数据”是指海量、高维、多样化的数据集合。随着人类对数据处理和管理的需求越来越复杂，越来越依赖机器学习、人工智能等新兴技术。
AI天才研究院·2025-01-28 14:28

Scala在大数据和分布式计算领域的应用与优势

大数据和分布式计算是当今信息技术领域的热点话题，它们处理着海量数据并需要高效的计算能力。Scala，作为一种多范式编程语言，因其在并发编程和函数式编程方面的优势，成为大数据和分布式计算领域的理想选择。
夜色呦·2025-01-28 14:24

图文详解 MapReduce on YARN

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2025-01-28 13:20

深入MapReduce——从MRv1到Yarn

引入我们前面篇章有提到，和MapReduce的论文不太一样。在Hadoop1.0实现里，每一个MapReduce的任务并没有一个独立的master进程，而是直接让调度系统承担了所有的worker的master的角色，这就是Hadoop1.0里的JobTracker。在Hadoop1.0里，MapReduce论文里面的worker就是TaskTracker，用来执行map和reduce的任务。而分配
黄雪超·2025-01-28 12:49

RDD 算子全面解析：从基础到进阶与面试要点

CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交：本地与集群模式全解析-CSDN博客SparkonYARN
天冬忘忧·2025-01-28 12:16

360大数据面试题及参考答案

数据清理有哪些方法？数据清理是指发现并纠正数据文件中可识别的错误，包括检查数据一致性，处理无效值和缺失值等。常见的数据清理方法有以下几种：去重处理：数据中可能存在重复的记录，这不仅会占用存储空间，还可能影响分析结果。通过对比每条记录的关键属性，若所有关键属性值都相同，则判定为重复记录，可保留其中一条，删除其余重复项。例如在客户信息表中，若有两条记录客户姓名、联系方式、地址等关键信息都一样，就可进行
大模型大数据攻城狮·2025-01-28 12:42

大数据小白系列——YARN(1)

这是大数据小白系列，YARN的第一篇，准确的说是介绍YARN的“前身”，即MapReduce第一版(下称MRv1)中的资源管理系统。
weixin_44386638·2025-01-28 07:13

Hadoop学习笔记 --- YARN执行流程与工作原理

一、YARN简述首先介绍一下YARN在Hadoop2.0版本引进的资源管理系统，直接从MapReduceV1演化而来(由于引擎的功能缺陷)；原因是将MapReduce1中的JobTracker的资源管理和作业调度两个功能分开
杨鑫newlfe·2025-01-28 07:42
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他