大数据数据湖spark

新生代的开源监控系统Prometheus，一线开发者教你如何活学活用

新书速递从互联网、移动计算到云计算、大数据、人工智能，十多年来，信息技术的日新月异催生了不断涌现的互联网新业态，也推动了传统行业投身于数字化转型的创新浪潮。
hzbooks·2024-02-20 02:21

基于 Python 的大数据的电信反诈骗系统

博主介绍：✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w+、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌文末获取源码联系精彩专栏推荐订阅不然下次找不到哟2022-2024年最全的计算机软件毕业设计选题大全：1000个热门选题推荐✅Java项目精品实战案例《100套》Java微信小程序项目实战《100套》感兴趣的可以先收藏起来，还有大家
IT徐师兄·2024-02-20 02:39

构建智慧交通平台：架构设计与实现

###1.智慧交通平台的意义智慧交通平台通过整合先进的技术手段，如大数据分析、人工智能、物联网等，可以实现对城市交通的实时监测、智能分析和精准调度，从而提高交通运行效率、降低交通事故发生
007php007·2024-02-20 01:42

手机远程控制树莓派-BLINKER应用（物联网基础）

由于我买了坚果云这个软件服务，所以我对云储存并无太大的兴趣，只是有时候要远程回家翻翻服务器上的东西，或者挂着下载个东西，跑个pyspark之类的。
crossni·2024-02-20 00:15

2021-10-21

NatMed|单细胞分析确定儿童血液病的体细胞遗传拯救原创图灵基因图灵基因今天收录于话题#前沿生物大数据分析单细胞DNA分析已经在儿童骨髓增生异常综合征（MDS）患者中发现了一场“克隆之战”，这些患者的细胞可能会自我纠正
图灵基因·2024-02-20 00:18

百度贴吧私信软件，贴吧群发私信软件

本系统的效果是要协助网站站长、网店家等必须在互联网上开展宣传广告，大数据营销的人员释放两手，以最少的资
九千营销·2024-02-19 23:01

网络空间不是法外之地

在大数据时代，互联网广泛普及，技术功能更新飞速，各类智能设备换代加速更迭，网络已经深入运用于政治、经济
Huyang·2024-02-19 23:11

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

学习大数据开发，需要满足哪些条件？学历，性别，专业有限制吗？

给大家介绍一下关于零基础学习大数据需要哪些条件？首先我们在平时的工作中，经常有小白同学问学习大数据有学历限制吗？我是大专学历可以学习大数据技术吗？我没有计算机基础，可以学习大数据吗？
yoku酱·2024-02-19 23:22

001kafka源码项目gradle报错UnsupportedClassVersionError-kafka-报错-大数据学习

1报错提示java.lang.UnsupportedClassVersionError:org/eclipse/jgit/lib/AnyObjectIdhasbeencompiledbyamorerecentversionoftheJavaRuntime(classfileversion55.0),thisversionoftheJavaRuntimeonlyrecognizesclassfile
gaog2zh·2024-02-19 22:39

Linux下Spark offline安装graphframes包

文章目录背景安装步骤背景GraphX是Spark中用于图计算的模块.Spark安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker·2024-02-19 22:45

作业帮 x TiDB丨多元化海量数据业务的支撑

经过近十年的积累，作业帮运用人工智能、大数据等技术，为学生、老师、家长提供学习、教育解决方案，智能硬件产品等。随着公司产品和业务场景越来越丰富，数据量越来越大，业务方对数据库的使用需求也越来越多元化。
·2024-02-19 21:31

AI时代，谁的工作将会被替代

大数据、云计算、智能化等一系列词汇在我们身边不绝于耳。时代发展之快，我们想象中的AI时代又将会如何呢？事实上，未来并没有我们想像中发展的那么慢，未来已来。
方园小憩·2024-02-19 21:53

大数据架构体系(数据仓库)

1、传统大数据架构优点缺点使用场景简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin
Shaw_Bigdata·2024-02-19 21:52

什么是onedata？如何使用onedata？

阿里巴巴的大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。
时代新人0-0·2024-02-19 21:54

SpringBoot中使用redis事务

事务的相关介绍可以参考：0、起因在一次线上事故中，我们定位到redis的使用存在大value，超过了dubbo的最大数据量限制，于是紧急将这个大的对象value拆分成单个的stringvalue。
wrr-cat·2024-02-19 20:16

如何设计出一个高效的埋点管理系统？

作者介绍@九果入行大数据8年；某大厂数据产品经理；专注于数据产品，并持续学习中；“数据人创作者联盟”成员。01为什么要做埋点管理系统？
一个数据人的自留地·2024-02-19 20:27

好消息！茗创系列课程年度会员，众多课程可免费畅学！

茗创年度会员加入茗创年度会员以下课程可免费畅学不仅享有会员专属服务、优惠购课还有课程上新提醒哦脑影像组学培训班直播时间：2023.7.4~7.7随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究
茗创科技·2024-02-19 20:23

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

[Flink04] Flink部署实践

但Flink是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。FlinkonYarn模式，把资源管理交给Ya
YoungerChina·2024-02-19 20:49

Redis 集群(Cluster)

虽然硬件价格在不断降低，一些中大厂的服务器内存已经可以达到TB级别了，但是1TB在当前这个“大数据”时代，俨然不算什么，有的时候我们确实需要更大
ikun66666·2024-02-19 20:19

扩展学习|大数据，新的认识论和范式转变

文献来源：[1]KitchinR.BigData,NewEpistemologiesandParadigmShift[J].BigData&Society,2014,1(1):1-12.DOI:10.1177/2053951714528481.下载链接：https://pan.baidu.com/s/1RdnIo5VeL-CERk2sxyILiQ提取码：0ih2一、科学研究的范式转变正如库恩(19
封印师请假去地球钓鱼·2024-02-19 20:32

GlusterFS：开源分布式文件系统的深度解析与应用场景实践

引言在当今大数据时代背景下，企业对存储系统的容量、性能和可靠性提出了前所未有的挑战。
超逮虾户·2024-02-19 19:20

Linux系统中HTTP隧道技术的未来发展趋势与挑战：穿越网络的“时光隧道”

随着云计算、大数据和人工智能等技术的迅猛发展，HTTP隧道技术也将迎来巨大的变革。想象一下，未来的HTT
华科℡云·2024-02-19 19:21

ETL数据集成工具DataX、Kettle、ETLCloud特点对比

ETL数据集成工具对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。
·2024-02-19 19:52

互联网加竞赛 大数据分析：基于时间序列的股票预测于分析

1简介Hi，大家好，这里是丹成学长，今天向大家介绍一个大数据项目大数据分析：基于时间序列的股票预测于分析2时间序列的由来提到时间序列分析技术，就不得不说到其中的AR/MA/ARMA/ARIMA分析模型。
Mr.D学长·2024-02-19 19:00

云计算、大数据、人工智能、物联网、虚拟现实技术、区块链技术（新一代信息技术）学习这一篇够了！

公有云(二)私有云(三)社区云(四)混合云四、云计算的特点(一)虚拟化技术(二)动态可扩展(三)按需部署(四)灵活性高(五)可靠性高(六)性价比高(七)可扩展性五、云计算的成用领城(一)金融云(二)制造云大数据一
IT小庄同学·2024-02-19 18:19

遂人心愿真难

不管什么定理，都是人的习惯造成的，利用大数据大概率去推理得出的结论。所有的顺心都是天时地利人和共同组合在一起形成的一种规律，具体到人就各有差距不一而衷。
岁月抚痕·2024-02-19 18:49

BIG DATA —— 大数据时代

大数据时代[英]维克托·迈尔—舍恩伯格肯尼斯·库克耶◎著盛杨燕周涛◎译《大数据时代》是国外大数据研究的先河之作，本书作者维克托·迈尔·舍恩伯格被誉为“大数据商业应用第一人”，他在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活
EthanWYC601·2024-02-19 18:12

挑战杯 地铁大数据客流分析系统 设计与实现

文章目录1前言1.1实现目的2数据集2.2数据集概况2.3数据字段3实现效果3.1地铁数据整体概况3.2平均指标3.3地铁2018年9月开通运营的线路3.4客流量相关统计3.4.1线路客流量排行3.4.2站点客流量排行3.4.3入站客流排行3.4.4整体客流随时间变化趋势3.4.5不同线路客流随时间变化3.4.6不同线路的客流组成3.5收入消费指标统计3.5.1线路收入排行3.5.2各个站点对线路
laafeer·2024-02-19 16:41

中文语音标注工具FunASR（语音识别）

FunASR作用:能【准确】识别语音，并转成【文字、标出声调】他的原理，就不讲了，俺是搞大数据的，python这东西就勉强能写个爬虫和接口，机
我要用代码向我喜欢的女孩表白·2024-02-19 16:52

见世面的成本有多低？这几个技术公众号告诉你答案

大数据分析挖掘和Python机器学习商业智能BI、数据分析、数据挖掘、大数据、Python、机器学习、深度学习、算法等技术分享
傅一平·2024-02-19 16:19

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
DolphinScheduler社区·2024-02-19 16:16

Amazon Web Services -- 全球云计算领导者

AmazonWebServices--全球云计算领导者AmazonWebServices--全球云计算领导者、云基础设施与平台服务（Iaas&PaaS）领导者；计算、存储和数据库等基础设施技术，到机器学习、人工智能、数据湖和分析以及物联网等新兴技术
·2024-02-19 16:06

AWS Serverless PySpark 指定 Python 版本（qbit）

的最新版本是6.15，自带的Python版本是3.7，尝试上传使用Python3.11Python环境打包技术栈Ubuntu22.04（x86）Linuxversion5.15Python3.11.5pyspark3.4.1conda23.10.0conda-pack0.7.1
·2024-02-19 16:05

低代码配置式组态软件-BY组态

随着物联网、大数据等技术高速发展，我们逐步向数字化、可视化的人工智能（AI）时代的方向不断迈进。智能时代是工业4.0时代，我国工业领域正努力从“制造”迈向“智造”的新跨越。什么是组态软件？
·2024-02-19 16:04

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
·2024-02-19 16:01

营销系统黑名单优化：位图的应用解析 | 京东云技术团队

营销系统一般是通过大数据分析建模，在CDP（客户数据平台，以客户为核心，围绕数据融合、人群圈选、用户洞察等提供产品能力）创建营销目标客户群体，黑名单同样也是通过CDP维护。
·2024-02-19 16:59

作物模型狂奔：Apsim、Wofost、Dssat

大数据量必须要脚本去跑，目前Apsim和Wofost出了点成果，跟大家分享一下。欢迎各位道友留言、私聊、交流病情最好到B站上去留言啦，CSDN平很少登录需要指导的话，那就得让我挣点零花咯，嘿嘿。
F_Dregs·2024-02-19 15:47

Pytorch-SGD算法解析

的个人空间-肆十二-个人主页-哔哩哔哩视频(bilibili.com)SGD，即随机梯度下降（StochasticGradientDescent），是机器学习中用于优化目标函数的迭代方法，特别是在处理大数据集和在线学习场景中
肆十二·2024-02-19 14:10

奇葩说第五季之你会去见大数据为你筛选出的最合适的人吗？

欧阳Sir被淘汰，如晶战队又输了。其实这期辩题反方是理想，正方是现实。所以奇葩说的观众那么有梦想，心里存着诗和远方，一定会选择反方。我也会的，但是我会经过正方的步骤再从心里走到反方去。虽然我选择反方，但我希望正方可以赢，我希望如晶赢，她在我心里就是无冕之王。而且，非常喜欢欧Sir，就像高晓松说的，他身上有种特别好的现代的荒诞感，一见他就高兴。他走了，真得舍不得。他不是个好辩手，可能都不太适合这个舞
昆仑君的猫·2024-02-19 14:18

redis学习笔记

Redis学习笔记文章目录Redis学习笔记一、NoSQL数据库简介1、解决问题2、NoSQL数据库二、Redis6概述和安装1、安装2、注意事项3、Redis使用4、其他介绍三、常用五大数据类型1、Redis
果然君·2024-02-19 14:19

p11 结构体：统计大数据

结构体定义（Struct）是一种用户定义的数据类型，用于组合不同数据类型的元素。它们允许将多个相关的变量组合在一起，形成一个逻辑上的单元。可以通过定义结构体来描述一个实际问题中的对象或概念，从而更好地组织和管理代码。输入一个正整数n(3voidmain(){structem{charname[10];floatjbg;floatfdg;floatzc;};structememp[100];inti
Mzylq·2024-02-19 14:16

Quick introduction to Apache Spark

什么是SparkApacheSpark是一种快速通用的集群计算系统。它提供Java，Scala，Python和R中的高级API，以及支持通用执行图的优化引擎。
Liam_ml·2024-02-19 13:29

Flink系列-1、流式计算简介

大数据系列文章目录官方网址：https://flink.apache.org/学习资料：https://flink-learning.org.cn/目录数据的时效性流式计算和批量计算流式计算流程和特性分布式计算引擎什么是
技术武器库·2024-02-19 13:10

Spark中多分区写文件前可以不排序么

背景Spark3.5.0目前Spark中的实现中，对于多分区的写入默认会先排序，这是没必要的。
鸿乃江边鸟·2024-02-19 13:10

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时，Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略：Flink提供了多种容错恢复策略，可以根据具体的需求进行配置。例如，可以设置重启策
Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

菜鸟也崩了 分析分析原因+聊聊降本增笑

2.盈利降低淘宝没参与双十二活动3.业务线的缩减或重心偏移技术创新：近年来，人工智能、大数据、物联网等技术在物流行业得到了广泛应用，有效提高了物流效率，降低了运营成本。例如，一些物流公司利用大数据进行
我才是真的封不觉·2024-02-19 13:34
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他