大数据案例分析

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。
OkGogooXSailboat·2024-01-17 18:36

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

数据标签设计 -- 大数据平台(XSailboat)的数据标签模块

原先就有在大数据平台XSailboat中增加“数据标签”模块的设想，现在有这样的需求，正好趁此机会将其实现。
OkGogooXSailboat·2024-01-17 18:35

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。
OkGogooXSailboat·2024-01-17 18:05

left join NULL踩坑

相应的，大数据BDPHIVE这边的数据处理也要做相应的改造，之前处理时会判断身份证位数，如果非15位和18位，则认为数据不正确，置为NULL。姓名身份证匿名化后要去除这个判断逻辑。
莱特昂·2024-01-17 18:55

第六十四天的签到

约见客户，围绕市场营销，做各种的案例分析。每个人都忙的像陀螺，团团转不停……临近下班了就是各种的汇总报表！沏一壶茶，淡定淡定，慢慢的梳理一下一天的工作，写报告、出报表......
大自然无语·2024-01-17 18:48

基于Python的旅游景点数据分析系统设计与实现

文末获取源码+数据库+文档感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多的人一、前言随着计算机技术发展，计算机系统的应用已延伸到社会的各个领域，大量基于大数据的广泛应用给生活带来了十分的便利
一点毕设·2024-01-17 18:44

Pandas加载大数据集

Scalingtolargedatasets—pandas2.1.4documentationhttps://pandas.pydata.org/docs/user_guide/scale.html#use-efficient-datatypes官方文档提供了4种方法：只加载需要的列、转化数据类型、使用chunking（转化文件存储格式）、使用Dask（使用多进程/线程加载数据）。pd_csv.t
武小胖儿·2024-01-17 18:44

智慧公厕：颠覆传统公共厕所管理的未来之路

公共卫生设施一直是城市管理中的重要环节，而智慧公厕作为一种全新的公用卫生设施，以其融合了物联网、大数据、云计算等新型信息技术的特点，引起了人们的广泛关注。
中期科技ZONTREE·2024-01-17 18:11

智慧公厕管理系统：让公厕管理变得更智能、更高效

智慧公厕管理系统应运而生，它利用物联网、互联网、大数据、云计算、区块链和人工智能等先进技术，对公厕的使用、维护和管理进行全面升级和优化，为用户提供更智能、更高效的公厕体验。
中期科技ZONTREE·2024-01-17 18:11

智慧公厕：城市公共厕所环境卫生管理的智慧引擎

借助物联网技术、传感感知技术、云计算和大数据等信息化技术，结合科学管养管理模式创新，智慧公厕成为一个利用高科技管理系统的新潮选择。
中期科技ZONTREE·2024-01-17 18:11

【开源项目】深圳智慧城市～超经典CIM/BIM数字孪生可视化项目

飞渡科技数字孪生城市运行管理平台，以数字孪生为核心底层系统，将实景三维、大数据、云计算、人工智能等新一代技术，与城市管理服务相融合，构建高速率、高可靠和低延时的应用场景，打造全程全时、全模式全响应的数字孪生系统
万象工作室·2024-01-17 18:41

5月值月生总结

为此，值月小组逐个案例分析，定向寻找问题源，逐步统一大家对规则的认知。第二：由于网络延迟原因，导致不同战友显示不同作业。为此，只能建议未被点评到的战友及时反馈值月小组
YY酱吖·2024-01-17 18:17

股权激励架构中难以完美解决的困局

本文分为以下三个部分：一、案例分析-广东利元亨智能装备股份有限公司二、股权激励税务的不确定性三、股权支付困局一、案例引入-广东利元亨01.科创板上市之路广东利元亨智能装备股份有限
Linkkap链股·2024-01-17 18:33

基于云平台技术的GPS定位的浅谈

智能分析和应用：通过云平台的大数据处理和分析能力，可以挖掘出GPS定位数据中的更多有价值的信
MarkHD·2024-01-17 17:36

【PostgreSQL】PostgreSQL两层hash分区表（适用于大数据量表）

【PostgreSQL】PostgreSQL两层hash分区表（适用于大数据量表）适用场景一、创建主表二、创建一级分区表三、创建二级分区四、测试数据，造数五、查询数据具体在哪个分区表六、建立索引（参考）
Tzq@2018·2024-01-17 17:29

欧阳小兰焦点网络初26期坚持分享第31天20201102本周约练1次，来11观2案例分析4总17次，背18句问话第12天；参加《尊重与希望》读书会第5天：

一、约练感悟今早只有2人约练，我们分别对一个案例扮演了来访者和咨询师，然后与杜老师闲聊，得到了一些感悟：1、对话中如用“我觉得”，就是预设。2、咨询中咨询师的话语非常少，非语言动作比较多，点头，微笑，看着来访者，沉默等，顺着来访者，保持中立的态度，听到好奇的点，动作语句等出现那种好奇的感觉出来。3、赞美：一般少用直接赞美，自我赞美或间接赞美比较好自我赞美：你想到这么做，你是怎么想出来的啊，能跟我说
蔷薇花开我最爱·2024-01-17 17:42

安财学子三下乡：大数据精准扶贫 小康路携手并肩

而作为中国脱贫攻坚、乡村振兴背后的“秘诀”之一，大数据有效解决了当前脱贫攻坚工作中扶贫数据不通、数据不准等问题，切实提高了精准扶贫的效率，提升了贫困治理的能力。
西洲_d847·2024-01-17 16:21

HDFS简介与常用API

HDFS通过多种方式，实现了高容错性、可靠性、适合处理大数据HDFS缺点：1.不适合低延时的数据访问。
正橙橙橙橙·2024-01-17 16:45

开源：“知识变现”，普通人也可以

更为机缘巧合的是，在一个开源课程里，居然被当作成功案例分析了下----”年糕妈妈“的作者其实就是一位普通的宝妈，写的内容也是日常在带娃时一些经验和技巧以及宝宝辅食、早教方面自己整理的知识。
xp就是我·2024-01-17 15:20

张家界挂牌“元宇宙研究中心”

11月18日上午，张家界元宇宙研究融合发展研讨会暨张家界元宇宙研究中心挂牌仪式在武陵源区大数据中心吴家峪门票站举行。
NA中文社区·2024-01-17 15:27

Python 与批处理：数据处理、系统管理和任务调度

批处理学习大数据篇｜大数据实操三剑客之一的批处理目录批处理的概念使用场景框架选择选型如何选docker安装hivePython操作hivedocker安装sparkpyspark操作dataframe如果使用
Wade_Crab·2024-01-17 15:23

大数据业务解析：探索OLAP、数据挖掘、即席查询和仪表板的无限潜力

大数据业务解析：探索OLAP、数据挖掘、即席查询和仪表板的无限潜力这个系列主要帮助那些想要了解大数据和想结合大数据到自己实际业务的人，使其掌握对应的技术和业务水平引言：在当今数据驱动的商业环境中，理解联机分析处理
Wade_Crab·2024-01-17 15:23

GaussDB(DWS)查询优化技术大揭秘

GaussDB(DWS)查询优化技术大揭秘大数据时代，数据量呈爆发式增长，经常面临百亿、千亿数据查询场景，当数据仓库数据量较大、SQL语句执行效率低时，数据仓库性能会受到影响。
炒香菇的书呆子·2024-01-17 15:52

员工无故被辞退 维权获得经济补偿金

关注焦点：员工被辞退怎么办，未签订劳动合同被辞退怎么办案例分析：山西某医院自1996年开始陆续招聘临时工、农民工从事保洁员、后勤库管职位，协助护士长从事保洁工作、清理病房、传递病人情况、传递病历、送资料
6f9bbe2635c7·2024-01-17 15:40

2024北京智博会：共赴科技盛会，助力跨界融合与实体经济深度发展

展区将涵盖人工智能、智能制造、物联网、大数据等多个领域，为观众呈现一场多维度、多视角的科
高登先生·2024-01-17 15:03

关于CarbonData+Spark SQL的一些应用实践和调优经验分享

大数据时代，中大型企业数据的爆发式增长，几乎每天都能产生约100GB到10TB的数据。而企业数据分系统构建与扩张，导致不同应用场景下大数据冗余严重。
weixin_34075551·2024-01-17 15:31

Yahoo的Spark实践

Yahoo的Spark实践Yahoo是大数据巨头中对Spark最情有独钟的一家。这次峰会，Yahoo贡献了三个演讲，让我们一一道来。
chuanjiaoye5017·2024-01-17 15:30

Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏！

ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
DolphinScheduler社区·2024-01-17 14:58

03 | 索引：如何用哈希表管理亿级对象？

在内存有限的单片机上运行嵌入式程序时，我们会压缩数据的空间占用，以时间换空间；但在面向海量用户的分布式服务中，使用更多的空间建立索引，换取更短的查询时间，则是我们管理大数据的常用手段。
_Rye_·2024-01-17 14:26

2018/07/15 刘月林学习总结

-1200Job-listing1200-1500午休1500-1930job-listing1930-2010晚饭2010-2030休息2030-2230阿里云部署2230-0130休息看世界杯二、案例分析
刘月林Yuelin_MELB·2024-01-17 14:41

感恩日记2021.7.8

感恩这个大数据时代，推荐我需要的内容。感恩孩子给我好消息。感恩我伟大的祖国，让我享受医保政策，减轻个人负担。感恩上帝派遣的“朋友”，引领我归向佛祖，在红尘中静静走。感恩遇见，一切都是最好的安排。
朱670417·2024-01-17 13:39

《人工智能行业发展趋势十大关键词：揭示未来科技浪潮》

大数据：大数据是人工智能的重要基础。随着互联网和物联网的快速发展，海量数据不断积累。人工智能通过处理和分析这些数据，可以获取更准确的信息和洞察力。机器学习：机器学习是人工智能的核心技术之一。
广州硅基技术官方·2024-01-17 13:40

python适合什么人学-越来越火的Python究竟适合什么人学习？

随着大数据时代不断变革，Python越来越火，受到更多人的青睐，互联网公司现如今都喜欢用Python完成自动化办公，表格处理，数据分析、图表制作等工作。
weixin_37988176·2024-01-17 13:36

大数据——CentOS 7加装虚拟机存储空间、CPU和内存

CentOS7加装虚拟机存储空间准备条件扩展空间操作系统中进行分区扩展文件系统虚拟机扩展CPU和内存准备条件一台已经配置好的虚拟机虚拟机安装和配置扩容前扩展空间点击扩展增加存储空间，点击扩展这时会提醒你，让你从操作系统中重新进行分区点击确定打开虚拟机操作系统中进行分区扩展文件系统打开虚拟机查看一下磁盘大小[root@hadoop1002~]#df-h发现容量还是30G，并没有将我们扩展的10G添加
蜂蜜柚子加苦茶·2024-01-17 13:05

CSS盒子模型

个人简介⭐️个人主页：微风洋洋‍♂️博客领域：编程基础,后端,大数据,信息安全写作风格：干货,干货,还是tmd的干货精选专栏：【JavaScript】【HTML+CSS】【Java学习笔记】【Java必刷题
微风洋洋·2024-01-17 13:12

Ronin Network 宣布与链上数据解决方案 Footprint Analytics 合作

这次合作的目标是通过整合FootprintAnalytics提供的强大数据解决方案，加速RoninNetwork的构建。FootprintAnalytics是一家区块链数据解决方案提供商。
Footprint_Analytics·2024-01-17 12:23

shell脚本的学习

【笔记】shell编程——尚硅谷大数据技术之Shell_shell脚本Shell概述shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核脚本入门脚本格式脚本以#!
IT小艺·2024-01-17 12:06

mysql 解析json字符串、数组字符串、json数组字符串

背景：笔者使用mysql5.7进行了一次json字符串的解析，因为一直在搞大数据相关的数据库、olap等，太久没有用mysql5.x的版本，一些函数已经不知道支不支持，我的同事建议我使用like、rlike
扫地增·2024-01-17 12:55

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

思维导图让你换一种方式学数学

这节课老师从思维导图的定义，发散思维的介绍，数学思维模式，预习和案例分析来讲述思维导图怎样用于学数学。通过这节课的学习，我又对思维导图有了进一步的了解，并学会了用思维导图整理数学知识点的方法。
赵慧Nicole·2024-01-17 11:00

【 预告 】迎接智能时代——信息社会50人论坛2023年会

在这个充满创新与机遇的时代，人工智能、大数据、云计算等尖端技术日益融入我们的日常，不仅极大地提升了工作效率，还丰富了生活体验。智能时代的来临，意味着无限的可能与挑战。
人机与认知实验室·2024-01-17 11:55

智慧校园大数据平台业务系统介绍

这是某个智慧校园业务系统的数据流情况，我们可以发现业务系统和数据中心并未完全数据交互共享，因此我们在规划建设智慧校园大数据时需要协调各个职能部门的资源确认业务系统的数据接口。
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台功能模块

学校概况模块智慧校园大数据平台的“学校概况”模块，主要给学校和院系领导使用，能够从宏观、全局把控学校教学、管理、科研、资产等各个方面的整体情况，可以预测学校的发展趋势并且给出决策建议。
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台概述

背景2015年是中国的智慧校园大数据元年，政府、企业、学校、研究者、管理者、教师、社会公众等都开始关注智慧校园大数据，相关政策文件、研究机构、学术活动、市场产品等开始纷纷出现。
shawn_song1212·2024-01-17 11:01

智慧校园大数据平台架构

数据集成大数据特征表现在实时、交互、海量等方面，并且以半结构化、非结构化数据为主，价值密度低，为了更好地“让数据说话”，并充分发挥大数据价值效应，应坚持“能采尽采”的原则，数据源的涵盖范围要尽量大。
shawn_song1212·2024-01-17 11:56

2022-09-07

好的模型通常包含体积1:1（等寸大）、重量1:1（等量手感）、营养大数据（芯片和QR码）、属性鉴别容器及视觉倾角陈列架等标准配套物。此外，通过SDK通讯将模型数据与分析软件联动也是未来的趋势。
共荣·2024-01-17 11:02
上一页 64 65 66 67 68 69 70 71 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他