大数据~集群

【大数据】Flink on Kubernetes 原理剖析

.核心概念4.架构5.JobManager6.TaskManager7.交互8.实践8.1SessionCluster8.2JobCluster9.问题解答Kubernetes是Google开源的容器集群管理系统
G皮T·2024-02-12 13:27

【机器学习实战】大数据与MapReduce

当运算需求超出了当前资源的运算能力，一、可以考虑购买更好的机器；二、可以将计算转换成并行作业，MapReduce就提供了这种方案的一个具体实施框架。MapReduce：分布式计算的框架MapReduce是一个软件框架，可以将单个计算工作分配给多台计算机执行。工作流程包括map和reduce阶段。第一阶段，输入数据被切片分发到节点上，各个节点对本地数据进行处理对应的运算代码叫做mapper。第二阶段
吵吵人·2024-02-12 12:48

【更新】以集群促发展：中国各省市高新区创新型产业集群DID（2010-2024）

一、“城市创新”发文趋势和主题分布二、数据来源：国家科技部三、时间跨度：2010-2024年四、数据范围：中国各省五、数据指标1行政区划代码2年份3所属省份4地区5长江经济带6经度7纬度8TreatPost9statement行政区划代码年份所属省份地区长江经济带经度纬度TreatPost1100002010北京市北京市0116.40752639.90403001100002011北京市北京市01
T0620514·2024-02-12 12:40

Docker环境下创建Redis集群出现ERR Invalid node address specified: redis1:6379错误

利用容器名称创建redis集群里报ERRInvalidnodeaddressspecified:redis1:6379错误。集群创建错误解决方法把容器名称改在IP地址即可解决。
AdairSong·2024-02-12 12:53

「精心整理」Ceph搭建硬件建议详解

Ceph是专为在商品硬件上运行而设计的，这使得构建和维护超大规模的数据集群在经济上是可行的。当规划出你的集群硬件时，你需要平衡一些考虑因素，包括故障域和潜在的性能问题。
Lin_b0c9·2024-02-12 12:41

【Spring学习】Spring Data Redis：RedisTemplate、Repository、Cache注解

spring-data-redis官网1）特点提供了对不同Redis客户端的整合（Lettuce和Jedis）提供了RedisTemplate统一API来操作Redis支持Redis的发布订阅模型支持Redis哨兵和Redis集群支持基于
兔兔西·2024-02-12 12:35

用python实现删除ES的索引

定义了一个名为delete_index的函数，它接受一个索引名称列表作为参数，遍历列表并对每个索引执行如下操作：检查该索引在Elasticsearch集群中是否存在。
jia_xue·2024-02-12 11:25

一本Python爬虫的书，凭什么能畅销10W册

Python作为一种广泛应用的编程语言，在Web开发、大数据开发、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。
程序员老冉·2024-02-12 11:21

苏溪笔迹_2018年5月16日_ 按照大数据...

按照大数据角度来看，人与人的本质没有区别，一生都在为俗事所恼，没有例外。
更好时代·2024-02-12 11:01

zk01

提供的功能包括：命名服务、配置管理、集群管理、分布式锁、队列管理。
矮肥·2024-02-12 11:41

Spark MLlib

目录一、SparkMLlib简介（一）什么是机器学习（二）基于大数据的机器学习（三）Spark机器学习库MLlib二、机器学习流水线（一）机器学习流水线概念（二）流水线工作过程（三）构建一个机器学习流水线三
Francek Chen·2024-02-12 11:15

“大数据“对当今信息时代产生的影响

2.思维方式层面大数据的产业链主要有三个层面，第一层是数据层，主要是数据的采集、存储、传输、扩散；第二层是信息层，把数据背景融入数据，形成价值密
嘿嘿海海·2024-02-12 11:11

EXCEL向大数据宣战：别小瞧我！

用了这么多年的EXCEL，一直把EXCEL奉为厉害的办公软件，首先EXCEL入门门槛非常低，任何人都可以轻松上手；其次是EXCEL的功能非常强大，无论是写函数，还是做透视表，或者是做图表可视化，EXCEL都能信手拈来，不在话下。还有就是EXCEL可以利用VBA写编程语言去实现数据自动化，这个功能简直逆天，可以让人解放双手。所以这么多年来，EXCEL一直受到大家的青睐，并在众多的办公软件中一枝独秀，
喜欢下厨的数据分析师·2024-02-12 10:50

开源大数据集群部署（九）Ranger审计日志集成（solr）

作者：櫰木1、下载solr安装包并解压包tar-xzvfsolr-8.11.2.gzcdsolr-8.11.2执行安装脚本./bin/install_solr_service.sh/opt/solr-8.11.2.tgz安装后，会在/etc/default/下生成solr.in.sh文件。2、在rangeradmin下生成solr相关配置cd/opt/ranger-2.3.0-admin/cont
·2024-02-12 10:07

Redis集群的负载如何计算浅谈

Redis集群的负载计算涉及到多个方面，主要取决于使用的负载均衡策略和算法。
MarkHD·2024-02-12 10:45

Redis缓存高可用集群在电商网站中的应用

实战案例：Redis缓存高可用集群在电商网站中的应用背景某大型电商网站在日常运营中面临巨大的访问量和数据压力。
MarkHD·2024-02-12 10:44

Redis缓存高可用集群浅谈

Redis缓存高可用集群的创新主要体现在以下几个方面：无中心节点设计：Redis集群是一个由多个主从节点群组成的分布式服务器群，它没有中心节点，这使得集群可以水平扩展，并且可以线性扩展到上万个节点（官方推荐不超过
MarkHD·2024-02-12 10:14

第三节 zookeeper基础应用与实战2

Zookeeper权限控制3.1zk权限控制介绍3.2Scheme权限模式3.3ID授权对象3.4Permission权限类型3.5在控制台实现操作3.6Curator演示ACL的使用4.Zookeeper集群搭建
做个专注的工程师·2024-02-12 09:58

UUID算法：独一无二的标识符解决方案

引言在分布式系统和大数据环境下，唯一标识符的生成和管理是一项关键任务。UUID（UniversallyUniqueIdentifier）算法应运而生，成为了解决重复数据和标识符冲突的有效工具。
qcidyu·2024-02-12 08:08

UUID算法：独一无二的标识符解决方案

引言在分布式系统和大数据环境下，唯一标识符的生成和管理是一项关键任务。UUID（UniversallyUniqueIdentifier）算法应运而生，成为了解决重复数据和标识符冲突的有效工具。
qcidyu·2024-02-12 08:08

【原创文集】时间请再慢一点吧

张美艳21物联本18484604881大数据工程学院在默默里算着，数不清的日子已经从我手中溜去；像针尖上一滴水滴在大海里，我的日子滴在时间的流里，没有声音，也没有影子。
30b2fa426f09·2024-02-12 08:50

2018-11-16 hadoop3.1完全分布式部署

Hadoop3.1.0完全分布式集群部署，三台服务器部署结构如下github配置文件源码地址Pdsh使用方法http://kumu-linux.github.io/blog/2013/06/19/pdsh
Albert陈凯·2024-02-12 08:20

Redis核心技术及实战（九.解决大数据量问题）

九：cluster集群——解决大数据量问题原文：《09丨切片集群：数据增多了，是该加内存还是加实例？》Redis要保存大量数据怎么办？
ZYLer_·2024-02-12 07:07

系统集成项目管理工程师（软考中级）—— 第二十三章 风险管理 笔记分享

幕布地址：第二十三章风险管理-幕布概述大数据ITO4W1H风险概念风险是一种不确定的事件或条件，一旦发生，就会产生积极或消极的影响有些风险是必然要发生的，但何时发生却是不确定性的风险管理不是一蹴而就的，
梨涡泥窝·2024-02-12 07:31

实战 | Nginx+keepalived 实现高可用集群

前言今天通过两个实战案例，带大家理解Nginx+keepalived如何实现高可用集群，在学习新知识之前您可以选择性复习之前的知识点：给小白的Nginx10分钟入门指南Nginx编译安装及常用命令Nginx
开源Linux·2024-02-12 07:45

快速上手医学影像组学和机器学习（训练营：2023.9.19~9.26）

★课程简介★随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究，它就是影像组学。它可以对普通影像图像进行更深层
茗创科技·2024-02-12 07:14

hadoop-YARN

aladdin（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率
weixin_33736649·2024-02-12 07:44

Hadoop-MapReduce-Yarn集群搭建

搭建的部署节点图如下：hdfs和yarn是两个不同概念，两者搭建不会冲突。注意一点是DataNode和NodeManager必须要部署在同一台机器，它们的比例是1比1关系的。否则DataNode只能存储，不能做相应的计算处理。通过官网搭建：hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.ht
qq_2368521029·2024-02-12 07:44

搭建 Hadoop-3.1.3 HA 集群

本文目录1.集群部署分布规划2.Zookeepr集群安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ
扛麻袋的少年·2024-02-12 07:43

Hadoop-HA高可用集群部署

(3)NameNode主要在以下两个方面影响HDFS集群➢NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启➢NameNode机器需要升级,包括软件、硬件升
魔笛Love·2024-02-12 07:13

Hadoop-Yarn-ResourceManagerHA

一、介绍在Hadoop2.4之前，ResourceManager是YARN集群中的单点故障ResourceManagerHA是通过Active/Standby体系结构实现的，在任何时候其中一个RM都是活动的
隔着天花板看星星·2024-02-12 07:42

Hadoop：认识MapReduce

MapReduce是一个用于处理大数据集的编程模型和算法框架。其优势在于能够处理大量的数据，通过并行化来加速计算过程。
爱写代码的July·2024-02-12 06:41

用Python的Pandas和Matplotlib绘制股票KDJ指标线

我最近出了一本书，《基于股票大数据分析的Python入门实战视频教学版》，京东链接：https://item.jd.com/69241653952.html，在其中给出了MACD，KDJ等指标图的绘制方法
hsm_computer·2024-02-12 06:35

openEuler-22.03-LTS-SP3 Kubernets集群部署实战

一、环境介绍1、Windows11专业版，VMwareWorkstation17，XShell、XFtp、openEuler-22.03-LTS-SP32、Kubernets集群节点规划节点名称节点IP
wanchengpeng·2024-02-12 06:02

org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0

上传文件到集群遇到以下异常：org.apache.hadoop.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master
橙汁啤酒厂·2024-02-12 05:24

HBase集群部署

1.HBase安装相关版本：Hadoop：2.7.3hbase：1.3.1hbase相关版本下载安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包，下载并解压到/opt目录下2.HBase参数配置2.1修改Master节点和Slave节点的/etc/hosts文件#vi/etc/hosts添加以下内容:172.30.0.10master172.30.0.11slave1172
橙汁啤酒厂·2024-02-12 05:23

Spark 作业执行

Spark基本组件，Master和Worker，负责运行Client和Driver作业执行框架每个SparkApplication由主控节点Master、集群资源管理节点ClusterManager、执行任务节点
Alex90·2024-02-12 05:04

普通程序员看k8s的账户管理

一、知识准备●账户管理分为：userAccount与serviceAccount●userAccount：通常是给人设计使用的，并且userAccount不在k8s集群内管理●serviceAccount
wilsonchai·2024-02-12 05:29

Spark 共享变量

通常，当传递给Spark操作(如map或reduce)的函数在远程集群节点上执行时，在函数中使用的所有外部变量都是单独拷贝的变量副本。
stone_zhu·2024-02-12 03:02

基于NSGA-II的深度迁移学习

为什么要迁移大数据与少标注的矛盾在大数据的时代背景下，我们所面临的数据量呈现爆炸性增长，同时数据类型也变得日益复杂多样
代码缝合怪·2024-02-12 03:45

可以参考使用的句子

做好调研的前期准备工作，做好计划是调研的前提；5、基层民警是人民群众的贴心人，我会运用所学知识，结合工作经验，制定出改进方法并且带头实践，从而更好地为群众服务；6、建立健全值班制度，做到专人专职，专岗专责；7、是公安大数据战略和智慧公安的重要体现形式
花间独酌酒一壶·2024-02-12 02:09

如何保护我们的隐私1：注册账号中的小技巧

马云曾经说过，在这个大数据时代，数据就是这个时代的石油！因此很多公司几乎无所不用其极，想方设法采集用户数据。而单纯依靠公司道德和规章制度来推动隐私的保护，在短期来看是不现实的。
airhuu·2024-02-12 02:57

并行计算工具 MPI 简单教程

UsingMPIwithC并行程序使用户能够充分利用超级计算集群的多节点结构。消息传递接口(MPI)是一种标准，用于允许集群上的多个不同处理器相互通信。
疯狂的泰码君·2024-02-12 02:54

上海银行｜用知微支撑全行2500人研发数字化管理转型

在一期试点实施成功的基础上，知微将全面支撑上海银行建立面向全行2500人以上规模的敏捷部落小队运作机制和端到端敏捷管理机制，形成全行研发大数据和效能度量体系。
weixin_45977872·2024-02-12 02:50

网络兼职的正规平台有哪些啊？九个正规靠谱的兼职平台

【蚂蚁微客】是一个领先、开放、多样化的共享经济平台，基于用户的位置、信用以及大数据分析的智能算法，将人和任务的进行一个智能匹配。简
指北针聊天项目·2024-02-12 01:12

Java：K8S难点，大厂面试必问，三分钟吃透

当我们尝试去理解Kubernetes集群工作原理的时候，控制器肯定是一个难点。这是因为控制器有很多，具体实现大相径庭；且控制器的实现用到了一些较为晦涩的机制，不易理解。
Java罗·2024-02-12 01:47

zero-copy

当需要通过IO（网卡/硬盘）处理大数据量时，CPU搬运数据的压力会增大，所以要引入DMA。DMA在
甜甜起司猫_·2024-02-12 01:21

haproxy配置代理tomcat和nginx_一文聊透负载均衡神器 LVS、Nginx、HAProxy的工作原理...

这是Bella酱的第78期分享当前大多数的互联网系统都使用了服务器集群技术，集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，也可以是数据库服务器集群，
weixin_39951929·2024-02-12 01:07

mysql数据库的pxc工具_CentOS7 下 MySQL 数据库 PXC 集群部署操作指导

背景最近在进行MySQL的PXC集群搭建使用和研究前期已完成了一篇记录文章：【CentOS7下MySQL之PXC集群部署【Docker+多机多节点】】但是，毕竟不是所有人都熟悉docker而作为开发人员
郑默默·2024-02-12 00:25

亚信安全发布2016年第一季度安全威胁报告

近日，云与大数据安全的领导者亚信安全发布了2016年第一季度安全威胁报告。报告显示，勒索软件病毒在本季度已经成为威胁企业安全的头号病毒，其不仅从代码结构方面发生变化，且感染方式更加多元化、本地化。
weixin_34281537·2024-02-12 00:17
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他