大数据#kubernetes

PHP爬虫实战：如何抓取网页表格数据

随着互联网和大数据时代的到来，越来越多的数据可以被收集和利用。而在众多从网页上获取数据的方法中，爬虫技术可以说是最为强大和高效的一种。
数据小爬虫.网站开发-Brad·2025-02-23 15:09

研发IT规划与实施监理咨询_IPD研发项目体系管理咨询

它把跨越业务流程和不同用户群体的那些单点应用集成起来➢PDM（产品数据管理）➢CPD（协同产品设计）➢PPM（产品组合管理）➢CNM（客户需求管理）IT规划参考模型比较看点01引言伴随社会信息化进程加快、社会化媒体涌现、大数据时代来临及
深圳科新咨询·2025-02-23 15:35

多线程处理大数据量数据

最近公司需要一个新的需求，需要一个接口去跑数据。数据量还蛮大的，大约50-60万数据（一条一条执行），其中还涉及到与其他接口的交互，因此这些数据跑下来要耗时很久，因此设计了一个方案，使用多线程的方式进行处理。方案1每次重数据库表中取一定量的数据（自己按实际情况定义）放在线程池缓存队列里，启动10个线程去线程池里去取数据。（相当于生产者和消费者的关系），这里需要有一个触发点，当我缓存里没有数据时，需
码代码的小仙女·2025-02-23 14:31

Python的那些事第三十篇：并行计算库在大数据分析中的应用Dask

Dask：并行计算库在大数据分析中的应用摘要随着数据量的爆炸性增长，传统的数据分析工具（如Pandas和NumPy）在处理大规模数据集时面临内存限制和计算效率低下的问题。
暮雨哀尘·2025-02-23 13:53

革新之力：数字科技——重塑未来的超越想象之旅

通过大数据、云计算、人工智能
不会写代码的女程序猿·2025-02-23 11:38

Ubuntu 22.04安装K8S集群

以下是Ubuntu22.04安装Kubernetes集群的步骤概要一、设置主机名与hosts解析#Master节点执行sudohostnamectlset-hostname"k8smaster"#Worker
刘明同学呀·2025-02-23 06:35

基于Hadoop的天气数据分析系统的设计与实现-计算机毕业设计源码+LW文档

Hadoop作为大数据处理领域的领军技术，其分布式计算框架和海量数据存储能力为天气数据分析提供了强大的支持。
qq_375279829·2025-02-23 06:04

傻傻分不清？云存储、云计算与分布式存储、分布式计算是一回事吗？

随着互联网的蓬勃兴起，大数据、人工智能、物联网、云计算与云存储等这些专业词汇在大众视野内出现的频率越来越高，再加上近几年分布式技术异军突起，更使得分布式存储、分布式计算等成为热词。
IPFS星际无限·2025-02-23 05:22

Cilium系列-16-CiliumNetworkPolicy 实战演练

场景您是帝国(Empire)的平台工程团队的一员，负责开发死星(DeathStar)API并将其部署到帝国银河Kubernetes服务(ImperialGalacticKubernetesService
·2025-02-23 00:50

Ubuntu22.04 安装kubernetes V1.28

背景eks用的v1.28需要安装一致的环境部署服务器初始化root@cfc:~#systemctlstopufwroot@cfc:~#systemctldisable--nowufwSynchronizingstateofufw.servicewithSysVservicescriptwith/lib/systemd/systemd-sysv-install.Executing:/lib/syst
叱咤少帅（少帅）·2025-02-23 00:13

数据分析与挖掘方向毕业设计选题推荐：大数据 Python

亲爱的同学们，转眼间我们已经迎来了大四，这一年充满了挑战与机遇。大家忙着备考研究生、公务员、教师资格证，或是寻找实习机会，同时还要面对毕业设计的重任。对于毕业设计，很多同学可能会感到陌生，不知道从何下手，也不确定自己适合哪些方向的课题。为此，我整理了一个毕业设计选题专栏，希望能为大家提供一些灵感和建议。无论你对毕业设计有任何疑问，欢迎随时来问我哦！对毕设有任何疑问都可以问学长哦!前言在计算机专业的
微光DeepLearning·2025-02-22 23:39

大数据MaxCompute教程（阿里云离线数仓项目）学习笔记20231127

1数据仓库概念数据仓库定义（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。AI：数据仓库是一个大型、集中、主题导向的数据库系统，用于支持企业决策制定、分析和报告的需要。它统一了来自不同数据源的数据，并将其在一个可查询的数据模型中进行了整合和转换，以便于分析和报告。数据仓库还包括数据清洗、抽取、转换和加载（ETL）的过程，以保证数据的准确性、一致性和完整性。
多刷亿点题⑧·2025-02-22 22:54

基于 JavaWeb 的 SSM+Maven 微信小程序快递柜管理系统设计和实现(源码+文档+部署讲解）

技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。
秋野酱·2025-02-22 21:21

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已
m0_74823705·2025-02-22 21:50

Kubernetes控制平面组件：APIServer 基于 Webhook Toeken令牌 的认证机制详解

云原生学习路线导航页（持续更新中）kubernetes学习系列快捷链接Kubernetes架构原则和对象设计（一）Kubernetes架构原则和对象设计（二）Kubernetes架构原则和对象设计（三）
grahamzhu·2025-02-22 21:48

Web Worker终极优化指南：4秒卡顿→0延迟的实战蜕变

一、WebWorker核心原理剖析1.浏览器线程架构解密主线程：UI渲染→事件监听→JS执行→网络请求→定时器↓WebWorker线程：纯计算任务→文件IO→大数据处理2.多线程通信机制//主线程constworke
前端御书房·2025-02-22 20:12

2025asp.net全栈技术开发学习路线图

2025年技术亮点‌：Blazor已全面支持WebAssembly2.0标准.NET8+版本原生集成AI模型部署能力AzureKubernetes服务实现智能自动扩缩容EFCore新增向量数据库支持特性‌
mabanbang·2025-02-22 19:06

Kubernetes 中服务注册机制解析：自动化与灵活性的背后

目录1.引言：Kubernetes中的服务注册与发现2.Kubernetes中的服务注册与发现2.1KubernetesService3.服务注册流程3.1Pod与Service的关联3.2自动注册3.3DNS
简单简单小白·2025-02-22 16:42

聊聊AI幻觉这件事，清华团队出品---DeepSeek与AI幻觉（文末有链接）

相信你可能已经听说过这个词，但要是你还不知道，简单来说，就是AI（特别是像DeepSeek这种大数据生成模型）很“有逻辑”地胡说八道。
知白读书·2025-02-22 15:34

数据飞轮：激活数据中台的数据驱动引擎

随着人工智能和大数据技术的发展，企业拥有了收集和处理前所未有的数据量的能力。然而
Earth explosion·2025-02-22 15:58

使用Java和Kubernetes实现自动化部署与扩展

使用Java和Kubernetes实现自动化部署与扩展大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！
微赚淘客系统开发者@聚娃科技·2025-02-22 12:43

Maven 与 Kubernetes 部署：构建和部署到 Kubernetes 环境中

在现代的DevOps实践中，Kubernetes被广泛用于容器化应用的自动化部署、扩展和管理。而Maven是Java项目中常用的构建工具，通常用于依赖管理、构建、打包等任务。
drebander·2025-02-22 12:07

开源 AI 模型助力“智能提取“提取全攻略

无论是让办公软件化身智能助手帮我们高效整理资料，助力大数据分析挖掘隐藏在字里行间的价值，还是赋能智能客服瞬间洞察客户身份，亦或是为构建庞大复杂、互联互通的知识图谱添砖加瓦，人名提取技术都宛如一颗关键的螺丝钉
黑金IT·2025-02-22 12:05

深入浅出数据中台：概念、架构与应用

它借助数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径，形成大数据资产，并提供服务化的数据接口，以满足前台应用和业务创新的需求。
小四的快乐生活·2025-02-22 10:53

零入门kubernetes网络实战-2-＞网络协议栈包括哪些？

《零入门kubernetes网络实战》视频专栏地址https://www.ixigua.com/7193641905282875942本篇文章主要用于收集、整理、总结网络协议栈的相关知识点。
码二哥·2025-02-22 10:51

Kubernetes-环境篇-01-mac开发环境搭建

1、brew安装参考知乎文章：https://zhuanlan.zhihu.com/p/111014448苹果电脑常规安装脚本（推荐完全体几分钟安装完成）/bin/zsh-c"$(curl-fsSLhttps://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"苹果电脑极速安装脚本（精简版几秒钟安装完成）/bin/zsh-c"$(curl-f
一叶知秋@qqy·2025-02-22 10:47

DeepSeek：为医疗数智化注入新动能

随着云计算、大数据、人工智能等前沿技术的迅猛发展，数智化转型成为企业提升竞争力、创新业务模式、优化客户体验的关键路径。
数澜悠客·2025-02-22 09:13

零工市场小程序的未来发展趋势

其实在零工市场小程序中，有着大数据的分析、算法，可以精准的匹配到自由职业者们的需求，以此来提高找兼职地效率；其次，就业者可在零工市场小程序上直接进行考勤打卡、工资结算，这样就避免了很多纠纷隐患。
汇匠源·2025-02-22 09:11

计算机毕业设计吊炸天Python+Spark地铁客流数据分析与预测系统 地铁大数据 地铁流量预测

开发技术SparkHadoopPython爬虫Vue.jsSpringBoot机器学习/深度学习人工智能创新点Spark大屏可视化爬虫预测算法功能1、登录注册界面，用户登录注册，修改信息2、管理员用户：（1）查看用户信息；（2）出行高峰期的10个时间段；（3）地铁限流的10个时间段；（4）地铁限流的前10个站点；（6）可视化大屏实时显示人流量信息。3、普通用户：（1）出行高峰期的10（5）可视化大
qq_80213251·2025-02-22 08:35

微构科技《VigorData一站式企业大数据平台产品白皮书》

本白皮书阐述了微构科技VigorData一站式企业大数据平台的定位与应用场景、系统架构、产品特性。
皙姑娘·2025-02-22 07:00

数据管道设计与实现：从源到目标的全流程解析

从数据源到目标数据存储的整个过程是数据分析和大数据处理中的关键环节。数据管道的设计不仅影响数据处理的效率，还决定了数据的质量和可用性。
Echo_Wish·2025-02-22 03:23

Python 的 WebSocket 实现详解

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-02-22 03:23

【数据库技术NoSQL】MongoDB和Cassandra的使用

MongoDB的特点MongoDB的安装和配置MongoDB的基本操作Cassandra简介及使用Cassandra的特点Cassandra的安装和配置Cassandra的基本操作应用场景和最佳实践结论引言在大数据时代
爱技术的小伙子·2025-02-22 03:51

MongoDB与Cassandra数据库对比

与更传统的SQL式数据库相比，NoSQL可以更有效地存储大量非结构化数据，企业在大数据操作中通常会涉及非结构化数据。MongoDB和Cassandra也都是开源数据库，尽管现在也有商
2501_90243449·2025-02-22 02:42

安装Kubernetes集群-Centos系统

文章参考网址:安装Kubernetes集群-K8S教程准备工作一、每个节点分别设置对应主机名hostnamectlset-hostnamemasterhostnamectlset-hostnamenode1hostnamectlset-hostnamenode2
写的花里胡哨·2025-02-22 02:11

什么是pytest.ini及如何在Pytest中应用以提升配置效率

关注开源优测不迷路大数据测试过程、策略及挑战测试框架原理，构建成功的基石在自动化测试工作之前，你应该知道的10条建议在自动化测试中，重要的不是工具当通过控制台运行Pytest测试时你必须记住记录输出、运行时环境变量
开源优测·2025-02-22 02:09

【Kafka专栏 12】实时数据流与任务队列的较量 ：Kafka与RabbitMQ有什么不同

作者名称：夏之以寒作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景
夏之以寒·2025-02-21 20:25

Python爬虫实战：从零到一构建数据采集系统

1.2选择目标网站二、爬虫实现步骤2.1获取网页内容2.2解析HTML2.3数据保存三、完整代码示例四、优化与扩展4.1反爬应对策略4.2动态页面处理4.3数据可视化扩展五、注意事项六、总结互动环节前言在大数据时代
DevKevin·2025-02-21 20:17

蓝耘科技上线 DS 满血版，500万tokens免费送！

立志在坚不欲说，成功在久不在速欢迎关注：点赞⬆️留言收藏欢迎使用：小智初学计算机网页AI蓝耘元生代智算云架构蓝耘元生代智算云平台是一个现代化的、基于Kubernetes的云平台，专为大规模GPU加速工作负载而构建
Lethehong·2025-02-21 19:16

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，ApacheHudiContributor朱正军老师在FlinkForwardAsia2024生产实践（二）专场中的分享。
·2025-02-21 19:13

Kubernetes 中 Pod 的状态及其背后的场景分析

《Kubernetes中Pod的状态及其背后的场景分析》1.引言：Pod状态的重要性在Kubernetes中，Pod是最小的部署单元，通常用于部署容器化应用。
简单简单小白·2025-02-21 15:06

从MySQL迁移到PostgreSQL的完整指南

与MySQL相比，PostgreSQL在处理复杂查询和大数据集时表
m0_74824076·2025-02-21 15:32

阿里云 ACS：高效、弹性、低成本的容器计算解决方案

阿里云的容器计算服务（AlibabaCloudContainerService,ACS）是一种Serverless容器计算解决方案，提供高度弹性、低成本、易管理的Kubernetes（K8s）容器运行环境
Anna_Tong·2025-02-21 14:58

k8s的资源说明 cpu 内存 requests usage limits

一、k8s资源配置在Kubernetes中，有三个非常重要的资源概念，分别是资源请求（Requests）、资源使用率（Usage）和资源限制（Limits）1、资源请求Requests资源请求是Pod启动时向
节点。csn·2025-02-21 14:53

linux CentOS系统上卸载Kubernetes（k8s）

一、停止Kubernetes服务首先，需要停止所有Kubernetes相关的服务。
魏 无羡·2025-02-21 14:51

k8s ssl 漏洞修复

针对Kubernetes集群中SSL/TLS协议信息泄露漏洞（CVE-2016-2183）的修复，需重点修改涉及弱加密算法的组件配置。
魏 无羡·2025-02-21 12:10

有了Docker为啥还需要k8s?

这里写目录标题Docker的作用：Kubernetes的作用：为什么有了Docker还需要Kubernetes？
简单简单小白·2025-02-21 10:54

小红书架构演进与关键技术解析

随着用户量的不断增加，系统面临着高并发、大数据量等挑战。同时，小红书还需要支持快速的业务创新和迭
ITPUB-微风·2025-02-21 09:16

【大数据技术】搭建完全分布式高可用大数据集群（MySQL+Hive）

搭建完全分布式高可用大数据集群（MySQL+Hive）apache-hive-3.1.3-bin.tar.gzmysql-connector-java-8.0.30注：请在阅读本篇文章前，将以上资源下载下来
Want595·2025-02-21 09:11

【AI大数据】数据中台的数据分析与挖掘：从数据到业务的决策

文章目录1.前言2.基本概念术语说明2.1数据模型及其实体关系实体（Entity）属性（Attribute）实体关系（EntityRelationships）2.2数据仓库2.3分析引擎2.4噪声数据2.5数据湖2.6数据总线2.7数据仓库模型3.核心算法原理和具体操作步骤以及数学公式讲解3.1数据挖掘技术概览（1）数据预处理（2）数据探查（3）数据清洗（4）数据转换（5）数据挖掘（6）知识发现（
AI天才研究院·2025-02-21 08:34
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他