大数据BigData

大数据量物联网平台开发笔记（持续更新）

今年我们公司在母公司的支持下要开发一套物联网平台，以后卖出去的设备自动连接到这个平台上，再推送到第三方。预计目标是中期十万设备，长期百万设备的级别。TPS预计是设备数量除以10，1万/s。开发之前觉得没什么难度，后面倒是遇到很多问题。特别是压测以后。1.作为平台要考虑到第三方接入时可能不稳定的问题，如果使用mqtt或者http通信，要考虑到失败的问题，首先一直等待或者重试肯定是不合理的。比较合理的
从心归零·2024-01-30 07:53

Hadoop3.x基础（1）

来源：B站尚硅谷这里写目录标题大数据概论大数据概念大数据特点(4V)大数据应用场景Hadoop概述Hadoop是什么Hadoop发展历史（了解）Hadoop三大发行版本（了解）Hadoop优势（4高）Hadoop
魅美·2024-01-30 07:22

【大数据】Flink SQL 语法篇（二）：WITH、SELECT & WHERE、SELECT DISTINCT

FlinkSQL语法篇（二）1.WITH子句2.SELECT&WHERE子句3.SELECTDISTINCT子句1.WITH子句应用场景（支持Batch/Streaming）：With语句和离线HiveSQLWith语句一样的，语法糖+1，使用它可以让你的代码逻辑更加清晰。--语法糖+1WITHorders_with_totalAS(SELECTorder_id,price+taxAStotalF
G皮T·2024-01-30 07:21

企业中不同大数据迁移的区别是什么？

在大数据时代，企业面临着海量数据的管理、分析和应用挑战。为了克服数据存储、传输和处理中的难题，如数据量巨大、网络环境多变、存储成本高昂以及安全风险上升等，企业必须对数据进行备份、同步、分发或归档。
镭速·2024-01-30 07:51

实力认可！TDengine 在“2023 年度金猿季”两大榜单中脱颖而出

近日，“第六届金猿季&魔方论坛——大数据产业发展论坛”在上海市四行仓库成功举行。
涛思数据（TDengine）·2024-01-30 07:18

来涛思数据，与科大学长一起，打造全球顶尖的时序数据库

涛思数据是一家专注物联网和工业大数据处理的硬核科技公司，其开源的时序数据
涛思数据（TDengine）·2024-01-30 07:18

了解这四个 3.0 版本的集群重要优化，助力企业级数据处理事半功倍

为了帮助企业更好地进行大数据处理，我们在此前TDengine3.x系列版本中进行了几项与集群相关的优化和新功能开发，以提升集群的稳定性和在异常情况下的恢复能力。
涛思数据（TDengine）·2024-01-30 07:18

PySpark数据分析

PySpark是ApacheSpark的PythonAPI，它允许用户使用Python进行大数据处理和分析。
数字化信息化智能化解决方案·2024-01-30 07:13

Python数据分析中备受欢迎的库和工具

在当今大数据时代，数据分析已成为各个行业中至关重要的环节。Python作为一种功能强大、易于学习和使用的编程语言，拥有丰富的数据分析库和工具。Pandas是Python中最受欢迎的数据分析库之一。
雾岛听风来·2024-01-30 07:34

Hadoop与Spark横向比较【大数据扫盲】

大数据场景下的数据库有很多种，每种数据库根据其数据模型、查询语言、一致性模型和分布式架构等特性，都有其特定的使用场景。
super_journey·2024-01-30 06:51

Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一个快速、通用、可扩展的大数据处理引擎。它提供了一个高级的编程接口，可以在分布式环境中对大规模数据进行处理和分析。
数据科学与艺术的贺公子·2024-01-30 06:17

一站式数据库上云迁移、同步与集成平台 DTS 的设计实践

1数据库迁移面临的挑战根据大数据技术标准推进委员会今年7月发布的《数据库发展研究报告（2023年）》，我们可以看到，去年国内的数据库市场规模约为400亿，今年预计可以达到540亿，预计到2027年，国内数据库市场规模可达
百度智能云技术站·2024-01-30 06:31

MySQL之 XtraBackup 备份

MySQL系列连载之XtraBackup备份原理（1）导读在日常的linux运维工作中，大数据量备份与还原，始终是个难点。
寰宇001·2024-01-30 06:51

【EI会议征稿通知】第五届计算机信息和大数据应用国际学术会议（CIBDA 2024）

第五届计算机信息和大数据应用国际学术会议（CIBDA2024）20245thInternationalConferenceonComputerInformationandBigDataApplications
搞科研的小刘选手·2024-01-30 05:21

控制与计算机工程国际学术会议,第四届机械、控制与计算机工程国际学术会议(ICMCCE2019)...

acceptsoriginalandunpublishedpapers.Thepapersmayincludebutarenotlimitedto:ComputerandInformationScienceBigDataClo
北欧的虞·2024-01-30 05:51

【往届均已IEEE出版，EI检索】 第五届计算机工程与应用国际学术会议 (ICCEA 2024)

第五届计算机工程与应用国际学术会议(ICCEA2024)20245thInternationalConferenceonComputerEngineeringandApplication计算机工程与应用在人工智能、大数据
艾思科蓝-何老师【H8053】·2024-01-30 05:20

【IEEE会议征稿通知】 第五届计算机工程与应用国际学术会议 (ICCEA 2024)

第五届计算机工程与应用国际学术会议(ICCEA2024)20245thInternationalConferenceonComputerEngineeringandApplication计算机工程与应用在人工智能、大数据
搞科研的小刘选手·2024-01-30 05:15

微平均与事件驱动架构：结合力量

1.背景介绍随着数据量的增加和计算能力的提升，大数据技术已经成为了我们生活和工作中不可或缺的一部分。
OpenChat·2024-01-30 04:28

2022祛痘品牌哪个最好？2022祛痘产品品牌排行榜前十名

基于全网大数据，根据品牌评价和销量评选出2022年祛痘产品十大品牌。排名前十的品牌分别是悦木之源/Origins、薇诺娜、妮维雅、露得清、理肤泉、李医生、福清、曼秀雷敦、玉泽、片仔癀。
高省APP大九·2024-01-30 04:39

雪花算法（PHP）

简介现在的服务基本是分布式、微服务形式的，而且大数据量也导致分库分表的产生，对于水平分表就需要保证表中id的全局唯一性。
陈卿诺语·2024-01-30 03:36

Python+Web玩爆超炫酷页面

上课日期：7月17日上课时间：15：00-16：30主讲老师：樊老师课程介绍no.1老师简介老师简介：国内知名讲师、大数据架构师、多年来就职于国内一线知名互联网公司担当要职、有多年的开发经验、教学经验、
誉天梦老师·2024-01-30 02:47

hadoop必记知识点（1）

Hadoop的特点包括：高可靠性、高扩展性、高容错性、支持大数据和高并发等。Hadoop核心组件包括HDFS（HadoopDistributedFileSystem）和MapReduce。
运维仙人·2024-01-30 02:40

大数据StarRocks(八)：资源隔离实战

前言自2.2版本起，StarRocks支持资源组管理，集群可以通过设置资源组（ResourceGroup）的方式限制查询对资源的消耗，实现多租户之间的资源隔离与合理利用。在2.3版本中，StarRocks支持限制大查询，集群可以进一步控制大查询对资源的消耗，避免少数的大查询耗尽系统资源，进而影响系统稳定性。StarRocks2.5版本支持通过资源组对导入计算进行资源隔离，从而间接控制导入任务对集群
运维仙人·2024-01-30 02:40

hadoop必记知识点（3）

其主要作用是减少Map和Reduce之间的数据传输量，提高Hadoop处理大数据的效率。具体来说，Combiner会对map任务输出的key-value对进行局部汇总。
运维仙人·2024-01-30 02:09

MongoDB文档操作

writeConcern的取值包括：0：发起写操作，不关心是否成功；1~集群最大数据节
野心与梦·2024-01-30 02:47

Redis面试题36

它基于大数据、机器学习、深度学习和自然语言处理等技术，通过对数据和模型的分析和推理，使机器能够自动完成复杂的任务和问题解决。人工智能的应用
CrazyMax_zh·2024-01-30 01:08

Redis面试题35

什么是大数据？它有哪些应用场景？答：大数据（BigData）是指规模庞大、复杂多样的数据集合，以及从这些数据中提取、分析和运用的技术和方法。
CrazyMax_zh·2024-01-30 01:36

美赛注意事项

火热关键词：人工智能、机器学习、深度学习、区块链、大数据技术、Chat-GPTEF题目：第一问：变量之间的关系（关系题：层次分析法、熵权法等）第二问：预测类问题（例如使用时间维度的马尔科夫、链等预测方法
RunningBComeOn·2024-01-30 01:45

记一次百万数据量查询sql 优化

记一次百万数据量查询sql优化问题描述问题分析过程总结简单了解用到的pgsql的索引结构pgsql的with扩展对于更大数据量的数据还有没有其他更好的方案问题描述数据库用的是pgsql。
没有伞努力跑的小孩纸·2024-01-30 00:50

系统架构设计师教程（十九）大数据架构设计理论与实践

大数据架构设计理论与实践19.1传统数据处理系统存在的问题19.2大数据处理系统架构分析19.2.1大数据处理系统面临挑战19.2.2大数据处理系统架构特征19.3Lambda架构19.3.1Lambda
赫凯·2024-01-30 00:34

大数据就业方向-（工作）ETL开发

上一篇文章：大数据-大数据入门第一篇|关于大数据你了解多少？-CSDN博客目录1.ETL概念2.ETL的用处3.ETL实现方式4.ETL体系结构5.什么是ETL技术？
王哪跑nn·2024-01-29 23:31

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

上一篇文章：大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn·2024-01-29 23:31

大数据 - Spark系列《一》- 分区 partition数目设置详解

目录3.2.1分区过程3.2.2SplitSize计算和分区个数计算3.2.3Partition的数目设置1.对于数据读入阶段，输入文件被划分为多少个InputSplit就会需要多少初始task.2.对于转换算子产生的RDD的分区数3.repartition和coalesce操作会聚合成指定分区数。3.2.4groupBy不一定会Shuffle3.2.1分区过程每一个过程的任务数，对应一个Inpu
王哪跑nn·2024-01-29 23:59

samtools常用命令

对于处理大数据时，如果内存够用，则设置大点的值，以节约时间。-n设定排序方式按s
花生学生信·2024-01-29 23:40

两仪门直播：知名主播逃税三千万

最近，浙江省杭州市部门通过税收大数据分析，发现朱宸慧和林珊珊两名网络主播涉嫌偷税逃税。说起这两个人的实名，大家可能比较陌生。
7ecf4923a44a·2024-01-29 23:13

【大数据处理】消费者行为与购物习惯数据分析及可视化

相关文章及代码下载消费者行为与购物习惯数据分析及可视化完整代码包【大数据处理】文档分析【大数据处理】matplotlib做简单数据可视化1.探究的问题陈述数据集来源：kagglehttps://www.kaggle.com
linghyu·2024-01-29 22:34

如何在Shopee波兰站点进行选品和销售策略

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分析、行业大盘数据、品牌分析、产品分析、店铺分析、
duoduocanmou·2024-01-29 21:46

如何在Shopee越南站点进行有效的选品

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分析、行
duoduocanmou·2024-01-29 21:16

站内选品策略：如何利用Shopee平台资源来辅助决策

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正
duoduocanmou·2024-01-29 21:14

时不我待厉节约，以信自检思所得 ——福州大学外国语学院2019级英语一班团立项

为了让同学们重新感知举足轻重的时间、明白要节约时间，福州大学外国语学院2019级英语一班团支部同福州大学机械学院机械工程及机械设计制造05班团支部协助福州大学数学协助计算机科学学2019级数据科学与大数据技术
春日部在逃王子·2024-01-29 21:22

2023年全球软件开发大会（QCon广州站2023）：核心内容与学习收获（附大会核心PPT下载）

大会内容涵盖了人工智能、云计算、大数据、区块链、物联网等多个热门领域，为参会者提供了丰富的学习资源和深度思考的机会。一、峰会核心内容1、人工智能：在人工智
百家峰会·2024-01-29 21:07

我永远行走在前进的路上

作为一名当代教师，在现代大数据智能化的信息时代，我们要给学生一杯水，自己只有一桶水已经远远不够了，我们要有一挑水，甚至更多。教师不读书，不学习，不丰富自己的大脑，就不能更好的适应现代教育的要求。
双阳317李炎·2024-01-29 19:18

浅析大数据研究常用的软件工具

小编的一个朋友是从事大数据行业工作的，工作发展前景好，薪资待遇高，每次见到他都是非常的得意。
CDA·数据分析师·2024-01-29 19:12

浅析大数据的技术生态圈(Hadoop，hive，spark)

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。
Rysinal·2024-01-29 19:11

浅析大数据技术架构

大数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，大数据培训期间有可能会做一些简单的清洗。
at小白在线中·2024-01-29 19:11

浅谈大数据

研究大数据有什么意义？现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流也越来越密切，生活也越来越便捷，大数据就是这个高科技时代的产物。
是一只萨摩耶·2024-01-29 19:40

浅析大数据汇总

传统，大数据主要关注数据的采集、存储和处理能力。随着互联网的快速发展，用户在互联网上产生了大量的数据，这些数据包括用户行为数据、社交媒体数据、传感器数据等。
shinelord明·2024-01-29 19:10

智慧农业气象站简介

一、智慧农业气象站简介TH-NQ8智慧农业气象站是一种集成了物联网、大数据、云计算等先进技术的智能监测设备，可对农田环境进行实时监测，包括温度、湿度、光照、风速、风向、雨量等多个气象指标。
YYtianhe17·2024-01-29 18:12

长大

大数据工程学院19计本四班杨再勇2019402175长大，你的童年是否也和我一样，向往大人，总是期望着快快长大。
野肆_2de1·2024-01-29 18:10

湖仓新范式的造浪者 | StarRocks 2023 年度总结（文末福利）

你最希望社区跟哪个大数据生态组件结合？你最希望社区提供怎样的内容？你希望社区提供什么活动？
StarRocks_labs·2024-01-29 18:54
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他