阿里云大数据

多线程处理大数据量数据

最近公司需要一个新的需求，需要一个接口去跑数据。数据量还蛮大的，大约50-60万数据（一条一条执行），其中还涉及到与其他接口的交互，因此这些数据跑下来要耗时很久，因此设计了一个方案，使用多线程的方式进行处理。方案1每次重数据库表中取一定量的数据（自己按实际情况定义）放在线程池缓存队列里，启动10个线程去线程池里去取数据。（相当于生产者和消费者的关系），这里需要有一个触发点，当我缓存里没有数据时，需
码代码的小仙女·2025-02-23 14:31

Day11-04.案例-文件上传-阿里云OSS-准备

Day11-04.案例-文件上传-阿里云OSS-准备1.阿里云OSS：阿里云是阿里巴巴集团旗下全球领先的云计算公司，也是国内最大的云服务提供商。
我以为心都空了·2025-02-23 14:00

Python的那些事第三十篇：并行计算库在大数据分析中的应用Dask

Dask：并行计算库在大数据分析中的应用摘要随着数据量的爆炸性增长，传统的数据分析工具（如Pandas和NumPy）在处理大规模数据集时面临内存限制和计算效率低下的问题。
暮雨哀尘·2025-02-23 13:53

革新之力：数字科技——重塑未来的超越想象之旅

通过大数据、云计算、人工智能
不会写代码的女程序猿·2025-02-23 11:38

python中pip换源

（修改配置文件）2.2.1Windows系统2.2.2Linux/macOS系统2.3使用pip-config命令换源（Linux/macOS特定）3.常用的PyPI镜像源3.2清华大学TUNA3.3阿里云
码界领航·2025-02-23 08:50

python 更换pip源

添加以下内容以更换为阿里云源为例：[global]index-url=https://mirrors.aliyun.com/pypi/simple/保存文件后，使用pip时将自动使用新源。
panplan.top·2025-02-23 08:46

阿里云，云端部署ollama，本地调用原创教程

写在最前面：本人用markdown用得不太好，很尽力排版了，先准备好本地端python代码，再看后面的内容。importollamaimporthttpximporttime#设置Ollama服务器地址client=ollama.Client(host='http://（这里填你的公网IP地址）:11434',timeout=httpx.Timeout(connect=5.0,read=30.0,
zy215215·2025-02-23 08:46

基于Hadoop的天气数据分析系统的设计与实现-计算机毕业设计源码+LW文档

Hadoop作为大数据处理领域的领军技术，其分布式计算框架和海量数据存储能力为天气数据分析提供了强大的支持。
qq_375279829·2025-02-23 06:04

探索高效容灾架构：阿里云AppActive中间件

探索高效容灾架构：阿里云AppActive中间件AppactiveAppActive:Amiddlewarededicatetobuildingmulti-siteactive/activeapplicationarchitectures
滕娴殉·2025-02-23 05:22

傻傻分不清？云存储、云计算与分布式存储、分布式计算是一回事吗？

随着互联网的蓬勃兴起，大数据、人工智能、物联网、云计算与云存储等这些专业词汇在大众视野内出现的频率越来越高，再加上近几年分布式技术异军突起，更使得分布式存储、分布式计算等成为热词。
IPFS星际无限·2025-02-23 05:22

【网络教程】如何获取阿里云盘的refresh_token

文章目录介绍演示环境refresh_token获取阿里云盘的refresh_token⚓️相关链接⚓️介绍很多阿里云盘的第三方软件/程序要求我们填写阿里云盘的refresh_token，今天就一步一步叫大家如何正确的获取阿里云盘的
xiaoqiangclub·2025-02-23 04:46

深度测评！国内四大云厂商 Deepseek API 谁最强？答案出人意料！

由于Deepseek大模型在AI生态圈的出色支持，国内知名云厂商纷纷推出自己的Deepseek大模型服务，包括腾讯云、硅基流动华为昇腾云、阿里云及字节跳动的火山引擎。
surfirst·2025-02-23 01:57

基于java的SpringBoot/SSM+Vue+uniapp的驾校管理系统的详细设计和实现(源码+lw+部署文档+讲解等)

系统测试系统测试目的系统功能测试系统测试结论为什么选择我代码参考数据库参考源码获取前言博主介绍：✌全网粉丝15W+,CSDN特邀作者、211毕业、高级全栈开发程序员、大厂多年工作经验、码云/掘金/华为云/阿里云
花椒coding·2025-02-23 01:23

基于java的SpringBoot/SSM+Vue+uniapp的饭店餐饮管理系统的详细设计和实现(源码+lw+部署文档+讲解等)

系统测试系统测试目的系统功能测试系统测试结论为什么选择我代码参考数据库参考源码获取前言博主介绍：✌全网粉丝15W+,CSDN特邀作者、211毕业、高级全栈开发程序员、大厂多年工作经验、码云/掘金/华为云/阿里云
花椒coding·2025-02-23 01:23

数据分析与挖掘方向毕业设计选题推荐：大数据 Python

亲爱的同学们，转眼间我们已经迎来了大四，这一年充满了挑战与机遇。大家忙着备考研究生、公务员、教师资格证，或是寻找实习机会，同时还要面对毕业设计的重任。对于毕业设计，很多同学可能会感到陌生，不知道从何下手，也不确定自己适合哪些方向的课题。为此，我整理了一个毕业设计选题专栏，希望能为大家提供一些灵感和建议。无论你对毕业设计有任何疑问，欢迎随时来问我哦！对毕设有任何疑问都可以问学长哦!前言在计算机专业的
微光DeepLearning·2025-02-22 23:39

Python使用国内镜像安装

命令：pipinstall-i国内镜像地址numpy国内常用源镜像地址：清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com
小菜鸟的秃头之路·2025-02-22 22:58

大数据MaxCompute教程（阿里云离线数仓项目）学习笔记20231127

1数据仓库概念数据仓库定义（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。AI：数据仓库是一个大型、集中、主题导向的数据库系统，用于支持企业决策制定、分析和报告的需要。它统一了来自不同数据源的数据，并将其在一个可查询的数据模型中进行了整合和转换，以便于分析和报告。数据仓库还包括数据清洗、抽取、转换和加载（ETL）的过程，以保证数据的准确性、一致性和完整性。
多刷亿点题⑧·2025-02-22 22:54

基于 JavaWeb 的 SSM+Maven 微信小程序快递柜管理系统设计和实现(源码+文档+部署讲解）

技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。
秋野酱·2025-02-22 21:21

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已
m0_74823705·2025-02-22 21:50

Web Worker终极优化指南：4秒卡顿→0延迟的实战蜕变

一、WebWorker核心原理剖析1.浏览器线程架构解密主线程：UI渲染→事件监听→JS执行→网络请求→定时器↓WebWorker线程：纯计算任务→文件IO→大数据处理2.多线程通信机制//主线程constworke
前端御书房·2025-02-22 20:12

聊聊AI幻觉这件事，清华团队出品---DeepSeek与AI幻觉（文末有链接）

相信你可能已经听说过这个词，但要是你还不知道，简单来说，就是AI（特别是像DeepSeek这种大数据生成模型）很“有逻辑”地胡说八道。
知白读书·2025-02-22 15:34

数据飞轮：激活数据中台的数据驱动引擎

随着人工智能和大数据技术的发展，企业拥有了收集和处理前所未有的数据量的能力。然而
Earth explosion·2025-02-22 15:58

开源 AI 模型助力“智能提取“提取全攻略

无论是让办公软件化身智能助手帮我们高效整理资料，助力大数据分析挖掘隐藏在字里行间的价值，还是赋能智能客服瞬间洞察客户身份，亦或是为构建庞大复杂、互联互通的知识图谱添砖加瓦，人名提取技术都宛如一颗关键的螺丝钉
黑金IT·2025-02-22 12:05

深入浅出数据中台：概念、架构与应用

它借助数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径，形成大数据资产，并提供服务化的数据接口，以满足前台应用和业务创新的需求。
小四的快乐生活·2025-02-22 10:53

DeepSeek：为医疗数智化注入新动能

随着云计算、大数据、人工智能等前沿技术的迅猛发展，数智化转型成为企业提升竞争力、创新业务模式、优化客户体验的关键路径。
数澜悠客·2025-02-22 09:13

零工市场小程序的未来发展趋势

其实在零工市场小程序中，有着大数据的分析、算法，可以精准的匹配到自由职业者们的需求，以此来提高找兼职地效率；其次，就业者可在零工市场小程序上直接进行考勤打卡、工资结算，这样就避免了很多纠纷隐患。
汇匠源·2025-02-22 09:11

阿里云ECS命名规则解析与规格选型实战指南

阿里云ECS实例的命名规则通常采用“ecs.{实例族}.{规格大小}”的结构，各部分含义如下：命名字段说明ecs代表“弹性计算服务”（ElasticComputeService）。
oliver.chau·2025-02-22 08:08

计算机毕业设计吊炸天Python+Spark地铁客流数据分析与预测系统 地铁大数据 地铁流量预测

开发技术SparkHadoopPython爬虫Vue.jsSpringBoot机器学习/深度学习人工智能创新点Spark大屏可视化爬虫预测算法功能1、登录注册界面，用户登录注册，修改信息2、管理员用户：（1）查看用户信息；（2）出行高峰期的10个时间段；（3）地铁限流的10个时间段；（4）地铁限流的前10个站点；（6）可视化大屏实时显示人流量信息。3、普通用户：（1）出行高峰期的10（5）可视化大
qq_80213251·2025-02-22 08:35

微构科技《VigorData一站式企业大数据平台产品白皮书》

本白皮书阐述了微构科技VigorData一站式企业大数据平台的定位与应用场景、系统架构、产品特性。
皙姑娘·2025-02-22 07:00

阿里云通过docker安装skywalking及elasticsearch操作流程

系统本文使用系统为AlibabaCloudLinux3.2104LTS64位配置为4核8GPS：最低配置应为2核4G，配置过低无法启动安装docker1.卸载旧版本dockeryumremovedocker\docker-client\docker-client-latest\docker-common\docker-latest\docker-latest-logrotate\docker-lo
stone.eye·2025-02-22 07:29

数据管道设计与实现：从源到目标的全流程解析

从数据源到目标数据存储的整个过程是数据分析和大数据处理中的关键环节。数据管道的设计不仅影响数据处理的效率，还决定了数据的质量和可用性。
Echo_Wish·2025-02-22 03:23

Python 的 WebSocket 实现详解

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-02-22 03:23

【数据库技术NoSQL】MongoDB和Cassandra的使用

MongoDB的特点MongoDB的安装和配置MongoDB的基本操作Cassandra简介及使用Cassandra的特点Cassandra的安装和配置Cassandra的基本操作应用场景和最佳实践结论引言在大数据时代
爱技术的小伙子·2025-02-22 03:51

MongoDB与Cassandra数据库对比

与更传统的SQL式数据库相比，NoSQL可以更有效地存储大量非结构化数据，企业在大数据操作中通常会涉及非结构化数据。MongoDB和Cassandra也都是开源数据库，尽管现在也有商
2501_90243449·2025-02-22 02:42

什么是pytest.ini及如何在Pytest中应用以提升配置效率

关注开源优测不迷路大数据测试过程、策略及挑战测试框架原理，构建成功的基石在自动化测试工作之前，你应该知道的10条建议在自动化测试中，重要的不是工具当通过控制台运行Pytest测试时你必须记住记录输出、运行时环境变量
开源优测·2025-02-22 02:09

Ubuntu22.04 Docker更换阿里云镜像

那么可以更换阿里云镜像加速器，从而加速官方镜像的下载。1.获取镜像加速器地址登录容器镜像服务控制台，在左侧导航栏选择镜像工具>镜像加速器，在镜像加速器页面获取加速器地址。
冲上云霄的Jayden·2025-02-22 00:20

【硬核对比】ReentrantReadWriteLock 被全面碾压？阿里百万级压测揭秘 StampedLock 的真实性能！

本文将用源码层暴力拆解+阿里云压测数据+蚂蚁金服实战代码，深度对比两大读写锁，带你避开高
努力的靠近目标·2025-02-21 22:38

【Kafka专栏 12】实时数据流与任务队列的较量 ：Kafka与RabbitMQ有什么不同

作者名称：夏之以寒作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景
夏之以寒·2025-02-21 20:25

Python爬虫实战：从零到一构建数据采集系统

1.2选择目标网站二、爬虫实现步骤2.1获取网页内容2.2解析HTML2.3数据保存三、完整代码示例四、优化与扩展4.1反爬应对策略4.2动态页面处理4.3数据可视化扩展五、注意事项六、总结互动环节前言在大数据时代
DevKevin·2025-02-21 20:17

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，ApacheHudiContributor朱正军老师在FlinkForwardAsia2024生产实践（二）专场中的分享。
·2025-02-21 19:13

媒体声音｜专访阿里云数据库周文超博士：AI就绪的智能数据平台设计思路

事实上，大模型本身就是数据处理后的产物，以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题，这正是以阿里云为代表的企业推动“Data+AI”融合战略的核心动因。那么，“Data
·2025-02-21 19:41

阿里云无影云电脑让办公更轻松

阿里云无影云电脑（ElasticDesktopService，EDS），通过云端计算+远程桌面技术，让用户摆脱硬件束缚，在任何设备上随时随地流畅办公。
Anna_Tong·2025-02-21 18:29

阿里云盘资源分享-java300集

01.java300集阿里云盘分享提取码:0r8v点击链接保存，或者复制本段内容，打开「阿里云盘」APP，无需下载极速在线查看，视频原画倍速播放。
cylar-gg·2025-02-21 16:16

使用docker部署NextChat，使用阿里云、硅机流动、deepseek的apikey

1、首先使用安装好了docker的服务器拉取NextChat项目[root@xxdocker]#dockerpullyidadaa/chatgpt-next-web2、启动docker容器，基于不同平台以下的OPENAI_API_KEY参数替换成自己的就行，启动后访问地址：http://[服务器ip]:3000/#硅机流动[root@xxdocker]#dockerrun--namenextcha
喝水塞牙·2025-02-21 15:05

从MySQL迁移到PostgreSQL的完整指南

与MySQL相比，PostgreSQL在处理复杂查询和大数据集时表
m0_74824076·2025-02-21 15:32

【转】“小前台，大中台”战略—以阿里云中台设计为例

前言：当一位设计师拿到中台设计业务的时候，会想什么？别人会怎么评价中台的设计呢？“你这系统才几百人用，有啥价值啊？”“都是内部人员使用，能用就行了，没必要那么极致”“中后台系统人数这么少，你做像人家官网那样做数据统计有什么意义吗？”“你的设计出去讲，观众都没用过，没啥体感啊！”“你别纠结了，今天给你的需求，明天给我设计稿啊，老板要这周就上线，没多少开发时间了”听到这些声音的时候是不是无言以对？就在
调皮的芋头·2025-02-21 15:01

阿里云 ACS：高效、弹性、低成本的容器计算解决方案

阿里云的容器计算服务（AlibabaCloudContainerService,ACS）是一种Serverless容器计算解决方案，提供高度弹性、低成本、易管理的Kubernetes（K8s）容器运行环境
Anna_Tong·2025-02-21 14:58

Linux系统配置阿里云yum源，安装docker

配置阿里云yum源需要保证能够访问阿里云网站可以先ping一下看看（阿里云可能禁ping，只要能够解析为正常的ip地址即可）pingmirrors.aliyun.com脚本#!
我也想失去烦恼·2025-02-21 14:26

阿里云如何协助解决操作系统兼容性问题

针对这些问题，阿里云提供了多种解决方案，帮助用户快速排查和解决兼容性难题，保障业务平稳运行。
Anna_Tong·2025-02-21 14:55

使用 Flask 和 pdfkit 生成带透明 PNG 盖章的 PDF 并上传到阿里云 OSS

本文将详细介绍如何使用Flask框架和pdfkit库来批量生成PDF，并在其中添加透明PNG盖章，最后将生成的PDF上传到阿里云OSS（对象存储服务）。
蜗牛去旅行吧·2025-02-21 14:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他