大数据项目总结

HDFS 系统架构

HDFS可以向应用提供高吞吐带宽，适合于大数据应用。HDFS放宽了一些POSIX的要求，以开启对文件系统数据的流式访
偷油考拉·2024-01-18 03:52

深入理解Python生成器和yield

深入理解Python生成器和yield我在《Python性能优化指南–让你的Python代码快x3倍的秘诀》中有提到，在处理大文件或大数据集时用生成器可以提高性能。
GitHub质检员·2024-01-18 03:33

BI在大数据的潜力无限

应用现在在国内已经是很热门的，就和之前的一些应用系统一样，BI在受到追捧的同时，也存在一些言论的质疑，不论是什么，对于数据分析BI应用来说，势头是不可阻挡的，对于国内的制造业企业来说，一直在寻找企业转型的他们来说，制造业大数据分析会不会带给他们不一样的体验
北栀夕夏·2024-01-18 02:26

2024 人工智能与大数据专业毕业设计(论文)选题指导

目录前言毕设选题选题迷茫选题的重要性更多选题指导最后前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。对毕设有任何疑问都可以问学长哦
Mini_hailang_IT·2024-01-18 02:08

施工企业工程管理信息化、智能化需求分析

本文将围绕信息整合平台、云计算应用、大数据分析、物联网技术、智能化决策支持、移动化管理、安全监控系统、虚拟现实与增强现实技术、智能合约管理以及协同办公平台等十
华西建筑关联专业公司 华鲲智慧·2024-01-18 01:30

249 大数据下的营销---确定目标用户、个性化匹配及预测

第一部分《数据驱动营销》课程要点营销的本质是赢得客户，我们先理解什么是消费者的“消费转换漏斗”。第一个模型就是所有营销里面最基本的理论——WHO、WHAT、HOW。第二个模型：另外三个单词：Watch、Buy和Brand。收视率（Watch）的测量品牌（Brand）的测量产品（Buy）的测量①一个产品从开始营销到获取利润一般会经过以下阶段：广告曝光、用户访问、用户注册、产生商机、下单购买。②注册用
静无波·2024-01-18 01:07

不懂代码，如何做出实时刷新的数据大屏

如果涉及大量的动态可视化，涉及大数据量，没有底层技术，性能就会大打折扣。
xuduowei·2024-01-18 00:46

盘点现在应用得最多的8大BI工具

如何在大数据中获得更好地洞察力，有效改善用户体验，同时达到优化生产力的效果。在这个过程中，BI工具起到了举足轻重的作用。
data2006·2024-01-18 00:14

大数据量csv导入sql数据库

大数据量csv导入sql数据库如题，百万级数据量csv入库思路读取csv文件转成DataTable，分批次步长1W批量入库，其中csv单元格内逗号做特殊处理防止串列实现usingDapper;usingSystem
醉酒的李白、·2024-01-18 00:04

为什么创业不成功？来看看你是否抓住了这些风口行业！未来三年最大创业风口，2024热门创业项目

市场趋势1、技术发展：如果说2023年最火爆的是什么，那一定是AI、人工智能、大数据、物联网等新兴的科技产业。2024年这些产业仍处于上升期，还有大量的机会提供给创业者。
shengyicanmou·2024-01-18 00:50

0.1折手游平台下载 0.1折手游盒子哪个好

现在的手游折扣平台很多，每家几乎都是不一样的折扣水准，所以说选择一个靠谱的平台是玩家最基本的原则，本期小编就根据现在的大数据统计来盘点几个值得推荐的0.1折手游平台，一起来瞧瞧有哪些吧！
会飞的鱼儿·2024-01-17 23:08

领导有这“四个表现”，你要夹紧尾巴做人，这是领导重用你的前戏

茶余饭后，员工都是大数据分析师，各种“算法”，指向领导要重用提拔谁谁谁了。领导培养重用你，既有“明”的表现，也有“暗”的表现。“明”的方面，主要有安排你去关键岗位、帮你树威、倾斜资源、介入家务等等。
职场火锅·2024-01-17 21:34

【若泽大数据第二天】--MySQL二进制部署

1、通过winscp上传MySQL5.6安装文件2、判断一下服务器是否安装了MySQL3、解压MySQL安装文件并进行重命名[root@hadoop001~]#tar-zxvfmysql-5.6.23-linux-glibc2.5-x86_64.tar.gz[root@hadoop001~]#mysql-5.6.23-linux-glibc2.5-x86_644、创建用户和用户组[root@had
naroutofan·2024-01-17 21:52

智慧工地平台建设方案

智慧工地平台是集成了物联网、大数据、云计算等技术的系统，旨在实现工地信息化管理和运营的智能化。本文将介绍智慧工地平台建设的方案，并探讨其对工地管理的影响。
呆码科技·2024-01-17 21:40

信息海，信息潮

各平台乐得推波助澜地利用大数据为每一个消费者精准打造了专属于她们的金丝雀笼，信息流在缩小后
平凡只要·2024-01-17 21:34

大数据深度学习长短时记忆网络（LSTM）：从理论到PyTorch实战演示

文章目录大数据深度学习长短时记忆网络（LSTM）：从理论到PyTorch实战演示1.LSTM的背景人工神经网络的进化循环神经网络（RNN）的局限性LSTM的提出背景2.LSTM的基础理论2.1LSTM的数学原理遗忘门
星川皆无恙·2024-01-17 20:56

Java可视化物联网智慧工地综合云平台源码 私有化部署

智慧工地是聚焦工程施工现场，紧紧围绕人、机、料、法、环等关键要素，综合运用物联网、云计算、大数据、移动计算和智能设备等软硬件信息技术，与施工生产过程相融合。
星辰大海里编程·2024-01-17 20:48

璀璨2023，共赴2024——Tempo大数据分析产品年度回顾

随着2024年的到来，2023年已落下了帷幕，这一年里，Tempo大数据分析产品不断追求创新，进行了四次重要的版本升级。
美林数据Tempodata·2024-01-17 20:40

大数据之Flume：自定义Sink

1）介绍Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个FlumeAgent。Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个FlumeAgent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事
浊酒南街·2024-01-17 19:51

Flume 如何自定义 Mysql Sink？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2024-01-17 19:49

近红外光谱分析技术与基于深度学习的化学计量学方法

郁磊【副教授】：主要从事AI人工智能与大数据分析等相关研究，长期致力于人工智能与近红外生物医学工程等领域融合，主持并完成多项科研课题。著有《神经网络43个案例分析》等书籍。
梦想的初衷~·2024-01-17 19:56

「干货」2018你最应该学习的硬技能（零基础大数据入门）

大数据与人工智能究竟有何关联？什么是大数据？如何赶上这个新风口？如何入门大数据呢？1.什么是人工智能？大数据与人工智能究竟有何关联？
data_ting·2024-01-17 18:57

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。
OkGogooXSailboat·2024-01-17 18:36

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

数据标签设计 -- 大数据平台(XSailboat)的数据标签模块

原先就有在大数据平台XSailboat中增加“数据标签”模块的设想，现在有这样的需求，正好趁此机会将其实现。
OkGogooXSailboat·2024-01-17 18:35

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。
OkGogooXSailboat·2024-01-17 18:05

left join NULL踩坑

相应的，大数据BDPHIVE这边的数据处理也要做相应的改造，之前处理时会判断身份证位数，如果非15位和18位，则认为数据不正确，置为NULL。姓名身份证匿名化后要去除这个判断逻辑。
莱特昂·2024-01-17 18:55

C语言项目总结

#include#includeusingnamespacestd;voidLogInfo(constcharszFormat,…){charszBuf[4096]={};va_listargs;//第一步va_start(args,szFormat);//第二步vsnprintf(szBuf,4096,szFormat,args);//第三步va_end(args);//第四步//在这里对字符串
敬德修业－自强不息·2024-01-17 18:52

基于Python的旅游景点数据分析系统设计与实现

文末获取源码+数据库+文档感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多的人一、前言随着计算机技术发展，计算机系统的应用已延伸到社会的各个领域，大量基于大数据的广泛应用给生活带来了十分的便利
一点毕设·2024-01-17 18:44

Pandas加载大数据集

Scalingtolargedatasets—pandas2.1.4documentationhttps://pandas.pydata.org/docs/user_guide/scale.html#use-efficient-datatypes官方文档提供了4种方法：只加载需要的列、转化数据类型、使用chunking（转化文件存储格式）、使用Dask（使用多进程/线程加载数据）。pd_csv.t
武小胖儿·2024-01-17 18:44

智慧公厕：颠覆传统公共厕所管理的未来之路

公共卫生设施一直是城市管理中的重要环节，而智慧公厕作为一种全新的公用卫生设施，以其融合了物联网、大数据、云计算等新型信息技术的特点，引起了人们的广泛关注。
中期科技ZONTREE·2024-01-17 18:11

智慧公厕管理系统：让公厕管理变得更智能、更高效

智慧公厕管理系统应运而生，它利用物联网、互联网、大数据、云计算、区块链和人工智能等先进技术，对公厕的使用、维护和管理进行全面升级和优化，为用户提供更智能、更高效的公厕体验。
中期科技ZONTREE·2024-01-17 18:11

智慧公厕：城市公共厕所环境卫生管理的智慧引擎

借助物联网技术、传感感知技术、云计算和大数据等信息化技术，结合科学管养管理模式创新，智慧公厕成为一个利用高科技管理系统的新潮选择。
中期科技ZONTREE·2024-01-17 18:11

【开源项目】深圳智慧城市～超经典CIM/BIM数字孪生可视化项目

飞渡科技数字孪生城市运行管理平台，以数字孪生为核心底层系统，将实景三维、大数据、云计算、人工智能等新一代技术，与城市管理服务相融合，构建高速率、高可靠和低延时的应用场景，打造全程全时、全模式全响应的数字孪生系统
万象工作室·2024-01-17 18:41

基于云平台技术的GPS定位的浅谈

智能分析和应用：通过云平台的大数据处理和分析能力，可以挖掘出GPS定位数据中的更多有价值的信
MarkHD·2024-01-17 17:36

【PostgreSQL】PostgreSQL两层hash分区表（适用于大数据量表）

【PostgreSQL】PostgreSQL两层hash分区表（适用于大数据量表）适用场景一、创建主表二、创建一级分区表三、创建二级分区四、测试数据，造数五、查询数据具体在哪个分区表六、建立索引（参考）
Tzq@2018·2024-01-17 17:29

安财学子三下乡：大数据精准扶贫 小康路携手并肩

而作为中国脱贫攻坚、乡村振兴背后的“秘诀”之一，大数据有效解决了当前脱贫攻坚工作中扶贫数据不通、数据不准等问题，切实提高了精准扶贫的效率，提升了贫困治理的能力。
西洲_d847·2024-01-17 16:21

HDFS简介与常用API

HDFS通过多种方式，实现了高容错性、可靠性、适合处理大数据HDFS缺点：1.不适合低延时的数据访问。
正橙橙橙橙·2024-01-17 16:45

张家界挂牌“元宇宙研究中心”

11月18日上午，张家界元宇宙研究融合发展研讨会暨张家界元宇宙研究中心挂牌仪式在武陵源区大数据中心吴家峪门票站举行。
NA中文社区·2024-01-17 15:27

Python 与批处理：数据处理、系统管理和任务调度

批处理学习大数据篇｜大数据实操三剑客之一的批处理目录批处理的概念使用场景框架选择选型如何选docker安装hivePython操作hivedocker安装sparkpyspark操作dataframe如果使用
Wade_Crab·2024-01-17 15:23

大数据业务解析：探索OLAP、数据挖掘、即席查询和仪表板的无限潜力

大数据业务解析：探索OLAP、数据挖掘、即席查询和仪表板的无限潜力这个系列主要帮助那些想要了解大数据和想结合大数据到自己实际业务的人，使其掌握对应的技术和业务水平引言：在当今数据驱动的商业环境中，理解联机分析处理
Wade_Crab·2024-01-17 15:23

GaussDB(DWS)查询优化技术大揭秘

GaussDB(DWS)查询优化技术大揭秘大数据时代，数据量呈爆发式增长，经常面临百亿、千亿数据查询场景，当数据仓库数据量较大、SQL语句执行效率低时，数据仓库性能会受到影响。
炒香菇的书呆子·2024-01-17 15:52

2024北京智博会：共赴科技盛会，助力跨界融合与实体经济深度发展

展区将涵盖人工智能、智能制造、物联网、大数据等多个领域，为观众呈现一场多维度、多视角的科
高登先生·2024-01-17 15:03

关于CarbonData+Spark SQL的一些应用实践和调优经验分享

大数据时代，中大型企业数据的爆发式增长，几乎每天都能产生约100GB到10TB的数据。而企业数据分系统构建与扩张，导致不同应用场景下大数据冗余严重。
weixin_34075551·2024-01-17 15:31

Yahoo的Spark实践

Yahoo的Spark实践Yahoo是大数据巨头中对Spark最情有独钟的一家。这次峰会，Yahoo贡献了三个演讲，让我们一一道来。
chuanjiaoye5017·2024-01-17 15:30

Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏！

ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
DolphinScheduler社区·2024-01-17 14:58

03 | 索引：如何用哈希表管理亿级对象？

在内存有限的单片机上运行嵌入式程序时，我们会压缩数据的空间占用，以时间换空间；但在面向海量用户的分布式服务中，使用更多的空间建立索引，换取更短的查询时间，则是我们管理大数据的常用手段。
_Rye_·2024-01-17 14:26
上一页 58 59 60 61 62 63 64 65 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他