Kubernetes大数据

pandas读取大数据量的Excel文件

使用pandas快速读取百万行Excel数据的一种方法是使用pandas中的read_excel函数。可以使用以下代码读取Excel文件：importpandasaspddf=pd.read_excel('file_name')这个适合少量数据，如果一旦数据几十万或者上百万，那么程序就很慢有几种优化方法只读取需要的列：使用read_excel函数的usecols参数来指定需要读取的列。这可以减少读
兮知·2025-01-31 15:13

Kubernetes可视化界面之DashBoard

1.1DashBoardKubernetesDashboard是Kubernetes集群的一个开箱即用的WebUI，提供了一种图形化的方式来管理和监视Kubernetes集群中的资源。
幸存者 · KXY·2025-01-31 14:07

kubernetes建立容器以及可视化界面集群管理

前言本文主要讲述在kubernetes上基于ipv4、ipv6双栈集群建立容器以及可视化界面的集群管理。
weixin_53682254·2025-01-31 14:37

安装k8s可视化界面（图形化界面）

一，首先安装dasboard将kubernetes-dashboard需要的镜像上传到工作节点（hd2.com)和hd3.com将其上传为镜像：dockerload-idashboard_2_0_0.tar.gz
小磊的博客·2025-01-31 13:01

林子雨《大数据技术原理与应用》第五讲——NoSQL数据库

林子雨《大数据技术原理与应用》第五讲——NoSQL数据库林子雨《大数据技术原理与应用》第五讲笔记NoSQL数据库特点灵活的可扩展性灵活的数据模型和云计算结合查询性能差未形成通用的行业标准维护更加复杂NoSQL
天才代号23·2025-01-31 10:06

OLAP引擎比较

doris是一个OLAP数据库，支持对大数据的复杂查询，延迟为秒级。doris比sparksql快，主要原因在于针对场景不同导致的架构不同。
小手追梦·2025-01-31 10:30

Docker Desktop 解决从开发到部署的高效容器化工作流问题

Kubernetes(K8s)Kubernetes是一个用于自动化容器部署
由数入道·2025-01-31 09:51

大数据组件ClickHouse介绍（场景、优劣势、性能）

大数据组件ClickHouse介绍简介使用场景优势与劣势优势劣势性能单个查询吞吐量处理短查询的延时时间处理大量短查询数据写入性能查询性能简介clickhouse是一个高性能的列式存储分析数据库管理系统，
坚持是一种态度·2025-01-31 09:46

DB2-Db2StreamingChangeEventSource

在大数据和实时数据处理场景中，CDC可以用来同步数据到其他系统，比如数据仓库、数据湖或者流处理平台如ApacheKafka。文章目录前言一、核心功能
DataLu·2025-01-31 09:15

k8s ingress 原理

Kubernetes（k8s）中的Ingress是一种API对象，用于管理对集群内部服务的HTTP和HTTPS路由。
MosesZane·2025-01-31 08:09

SpringBoot在Kubernetes上部署及其扩展实践

但是，如果想要把SpringBoot部署到Kubernetes集群上，那么就需要做一些额外的工
AI天才研究院·2025-01-31 08:08

MySQL实战教程：从小白到大神的进阶之路！

发展历程2.1MySQL的起源2.2MySQL的早期发展2.3MySQL的成熟与普及2.4MySQL的商业化与收购2.5MySQL的持续创新3、MySQL应用场景3.1Web应用程序3.2企业级应用3.3大数据分析
奔跑吧邓邓子·2025-01-31 08:08

CKA 不假题 练习笔记 （四）

Q13：SidecarContainerContext-AnexistingPodneedstobeintegratedintotheKubernetesbuilt-inloggingarchitecture
超级阿飞·2025-01-31 07:59

【详细讲解】hive优化

1、开启本地模式大多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。
songqq27·2025-01-31 06:56

大规模分布式存储（1）-- 概念、挑战和分类

随着数据的激增，我们已经进入到了一个数据时代，无论是云计算，大数据还是互联网公司的各种应用，其后台存储平台的目标都是要构建低成本、高性能、可扩展、易用的分布式存储系统。
叹了口丶气·2025-01-31 06:23

Helm Chart 实战指南

Helm是Kubernetes的包管理工具，而HelmChart是Helm的核心概念，用于定义、安装和升级Kubernetes应用。
ivwdcwso·2025-01-31 03:00

大数据分析案例-基于逻辑回归算法构建抑郁非抑郁推文识别模型

如果文章对你有帮助的话，欢迎评论点赞收藏加关注+喜欢大数据分析项目的小伙伴，希望可以多多支持该系列的其他文章大数据分析案例合集
艾派森·2025-01-31 01:45

move移动语义详解

move移动语义移动语义是C++11引入的一种机制，用于提高程序的性能和资源管理效率，特别是在涉及大数据对象的场景下。移动语义通过转移资源所有权，而不是复制资源，减少了不必要的拷贝操作。
Say-hai·2025-01-30 21:45

大数据毕业设计hadoop+spark+hive豆瓣图书数据分析可视化大屏 豆瓣图书爬虫 图书推荐系统

系统总体目标基于Spark的个性化书籍推荐系统是一种基于大数据技术的智能推荐系统，它可以根据用户的历史行为和偏好，为用户提供个性化的书籍推荐。
qq_79856539·2025-01-30 20:03

企业数字化规划蓝图、企业数字化运营分析管理大数据平台建设方案

**企业数字化规划蓝图及运营分析管理大数据平台建设方案****一、企业数字化规划蓝图**1.**数字化目标设定**企业在规划数字化进程时，首先需要明确数字化目标。
公众号：优享智库·2025-01-30 19:57

使用Flink进行流式图处理

使用Flink进行流式图处理1.背景介绍1.1大数据时代的到来随着互联网、物联网和移动互联网的快速发展,数据呈现出爆炸式增长。根据IDC的预测,到2025年,全球数据量将达到175ZB。
AI天才研究院·2025-01-30 19:26

python与excel整合全教程

Python与Excel的整合非常强大，尤其适合处理大数据、自动化表格操作以及进行高级数据分析。
刘同学Python学习日记·2025-01-30 19:53

如何写一份合格的大数据简历（附简历模板）教程

【编辑/下载】：大数据开发简历范文二、简历结构基本信息：包含姓名、性别、联系方式（电话、邮箱）、求职意向。
itLeeyw573·2025-01-30 15:46

MongoDB 大俗大雅，上来问分片真三俗 -- 4 分什么分

开头还是介绍一下群，如果感兴趣PolarDB,MongoDB,MySQL,PostgreSQL,Redis,OceanBase,SqlServer等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题
Austindatabases·2025-01-30 11:48

大数据技术在数据安全治理中的应用

摘要面对新形势下的数据安全治理挑战，顺应数据安全领域的技术发展趋势，针对大型国企在数据安全治理实际应用中突出的关键权限人员识别问题，提出了一种基于图算法的关键权限人员识别技术。该技术可以发现系统中潜在的权限影响因素，并可从多个角度衡量不同含义的权重影响力，识别结果可解释性强。针对数据安全治理中的用户与实体行为异常检测问题，提出一种基于生成对抗网络的用户与实体行为异常检测方法，实验结果表明，所提方法
罗思付之技术屋·2025-01-30 11:17

阿里巴巴大数据系统体系架构

数据应用层：这是最顶层，面向不同的用户群体提供服务，包括对内（公司内部使用）、对平台（平台用户）、对商家（商家使用）、对公众（普通消费者）。数据服务与基础工具层：这一层提供了一些基础服务和工具，例如：OneService：可能是一种服务或工具，用于统一数据服务。TDDL+MySQL：TDDL是淘宝分布式数据层的缩写，与MySQL结合使用，提供数据库服务。HBase：一个分布式列存储系统，适合于存储
大连赵哥·2025-01-30 09:34

python 分布式集群_Python搭建Spark分布式集群环境

前言ApacheSpark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark最大的特点就是快，可比HadoopMapReduce的处理速度快100倍。
小国阁下·2025-01-30 05:32

【硬刚大数据】2021年从零到大数据专家之Hbase八股文

本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)
王知无(import_bigdata)·2025-01-30 01:35

史上最强！Spring Boot 3.3 高效批量插入万级数据的多种方案

在大数据处理场景下，如何高效地将大量数据插入数据库是一个重要课题。
m0_74825074·2025-01-30 01:34

多租户架构未提供足够的租户安全培训和教育

多租户架构下租户安全培训与教育的需求分析与解决方案引言随着云计算和大数据技术的飞速发展，多租户架构已成为企业数字化转型的重要基石。
图幻未来·2025-01-29 23:22

一文了解大数据概论

一.大数据概论1.1大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
·2025-01-29 23:54

【云原生技术】在 Kubernetes 中，ConfigMap类型挂在卷官方详细介绍

ConfigMap类型挂在卷官方详细介绍一、ConfigMap类型挂在卷官方详细介绍ConfigMap挂载为卷概述创建ConfigMap配置Pod挂载ConfigMap挂载后的文件结构更新ConfigMap注意事项总结二、ConfigMap的使用是不是只能在挂在卷和环境变量中才能使用？ConfigMap的主要使用方法其他不太常见的用法注入数据的方法总结注意事项总结一、ConfigMap类型挂在卷官
阿寻寻·2025-01-29 20:51

中国BI步入增长大周期，腾讯云ChatBI加速AI+BI融合

过去十年，大数据技术的快速发展，让数据消费前进一大步，数据价值得到一定程度的挖掘与释放，真正开启了“用数”的大时代。
大数据在线·2025-01-29 15:09

乐学智伴：基于人工智能与大数据的学生个性化学习辅助平台

随着人工智能、大数据和云计算等技术的快速发展，教育科技（EdTech）为个性化学习提供了全新的解决方案。
IT源码大师·2025-01-29 14:33

Hive存储系统全面测试报告

引言在大数据时代，数据存储和处理技术的重要性日益凸显。ApacheHive作为一个基于Hadoop的数据仓库工具，因其能够提供类SQL查询功能（HiveQL）而广受欢迎。
蚂蚁质量·2025-01-29 13:27

企业数字化转型AI能力中台（总体架构、系统功能）建设方案

**企业数字化转型AI能力中台建设方案**一、建设背景与目标随着大数据、云计算、人工智能等技术的快速发展，企业正面临着数字化转型的重要机遇。
公众号：优享智库·2025-01-29 13:25

数据挖掘的常用算法

在大数据时代,数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程,也是一种决策支持过程。
北柠陌寒0207·2025-01-29 07:48

大数据生态的Apache RocketMQ5.0

本文作者：李伟-ApacheRocketMQCommitter，RocketMQPython客户端项目Owner，ApacheDorisContributor，腾讯云消息队列资深开发工程师，著有《RocketMQ分布式消息中间件(核心原理与最佳实践)》。一、RocketMqueue101RocketMQ拥有诸多出色的特性：比如多副本机制，RocketMQ支持存储层的多副本Dledger，它是基于R
Apache RocketMQ·2025-01-29 06:09

阿里巴巴超大规模 Kubernetes 基础设施运维体系介绍

简介：ASI作为阿里集团、阿里云基础设施底座，为越来越多的云产品提供更多专业服务，托管底层K8s集群，屏蔽复杂的K8s门槛、透明几乎所有的基础设施复杂度，并用专业的产品技术能力兜底稳定性，让云产品只需要负责自己的业务，专业的平台分工做专业的事。作者：仔仁、墨封、光南序言ASI：AlibabaServerlessinfrastructure，阿里巴巴针对云原生应用设计的统一基础设施。ASI基于阿里云
阿里云云栖号·2025-01-29 06:37

ZooKeeper数据模型和节点类型

ZooKeeper数据模型和节点类型ZooKeeper是一个开源的分布式协调服务，用于管理和协调分布式系统中的大数据。
代码指四方·2025-01-29 05:28

DeepSeek：突破传统的AI算法与下载排行分析

DeepSeek，作为一款基于深度学习技术和大数据算法的搜索引擎，以其独特的优势在国内外市场上引起了广泛关注。下面介绍一下针对De
smart_ljh·2025-01-29 04:53

2000-2021年上市公司数字化转型数据（MD&A报告词频、文本统计）

2000-2021年上市公司数字化转型数据（MD&A报告词频、文本统计）1、时间：2000-2021年2、来源：上市公司NB3、范围：上市公司4、指标：包括人工智能技术、大数据技术、云计算技术、区块链技术
m0_71334485·2025-01-29 01:29

万字长文 | 面向k8s编程，如何写一个Operator

新钛云服已为您服务1489天概述随着我们对Kubernetes的逐步了解，可能就会发现Kubernetes中内置的对象定义，比如Deployment、StatefulSet、ConfigMap，可能已经不能满足我们的需求
新钛云服·2025-01-29 01:26

【高级篇】第7章 Elasticsearch 索引生命周期管理(ILM)

引言在大数据时代，有效地管理数据的生命周期是确保系统性能、成本控制和合规性的关键。Elasticsearch的索引生命周期管理（ILM）为此提供了强大的解决方案。
JAVA和人工智能·2025-01-29 00:18

Elasticsearch 索引生命周期管理：优化大数据存储

Elasticsearch索引生命周期管理：优化大数据存储在处理大规模数据时，存储和检索效率是至关重要的。
静谧星光c·2025-01-29 00:15

运维面试常问的100道题（大数据统计）

一、基础知识类1、请解释什么是运维？运维是指对企业的IT系统进行运行维护，包括硬件设备、软件系统、网络等的监控、管理、优化和故障处理，以确保系统的稳定、高效运行，满足业务需求。2、简述运维的主要职责有哪些？服务器的安装、配置、维护和监控。网络设备的管理和维护。数据库的管理和维护。应用系统的部署、升级和维护。故障处理和应急响应。性能优化和容量规划。安全管理和漏洞修复。3、什么是服务器？有哪些类型？服
m0_67403143·2025-01-28 22:00

基于centos6.5安装ElasticSearch

前面我们讲述了solr的安装搭建过程，今天讲讲ElasticSearch，ElasticSearch是另一款作为分词和搜索的服务器，相比solr，ElasticSearch在做大数据方面更有优势，因为其天然支持分布式
小码农叔叔·2025-01-28 21:51

k8s（kubernetes）常见故障处理总结——详细文档

k8s（kubernetes）常见故障处理总结——详细文档本文涵盖了k8s运维过程中大部分常见的故障,提供相应的排查思路，笔记详细，仅供参考本人会经常更新运维相关技术文档，如有兴趣，可以关注我博客，欢迎互动分享
运维实战课程·2025-01-28 20:17

大数据开发的底层逻辑是什么？

大数据开发的底层逻辑主要围绕数据的生命周期进行，包括数据的采集、存储、处理、分析和可视化等环节。
瑰茵·2025-01-28 18:56

AI智能获客工具的意义是什么

1.2精准定位潜在客户利用机器学习和大数据分析技术，AI
雪叶雨林·2025-01-28 17:49
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他