大数据项目第5页

Clickhouse+Spark+Flink一体化实时数仓（开源）

主要用于配置低的小型大数据项目。也要做数仓的。（例如：学校，单位）优点：需要配置低，而且全是开源最新，过漏扫方便，查询性能

qq_37401291·2023-01-08 13:19

【大数据】2015 Bossie评选-20个最佳开源大数据技术

1.Spark在Apache的大数据项目中，Spark是最火的一个，特别是像IBM这样的重量级贡献者的深入参与，使得Spark的发展和进步速度飞快。与Spark产生最甜蜜的火花点仍然是在机器学习领域。

Jacky5601·2023-01-08 07:23

大数据项目问题集

给我自己看的启动项mongo启动mongod--dbpathE:\MongoDB\data\dbshowdbs查看数据库use[db名称]showtables查看表名执行bin路径下的：elasticsearch.batnpmrunstartredis1.redis-server2.redis-clizookeeperzkServerkafka1..\bin\windows\kafka-serve

我才是真正的17号·2023-01-06 11:40

大数据：豆瓣电视剧爬虫反爬代理IP、spark清洗、flask框架做可视化

豆瓣电影大数据项目全步骤1.豆瓣爬虫：我开始写豆瓣电视剧爬虫时觉得很简单，但在实操时出现了封IP的情况，导致我苦恼了好久，现在终于写出来了废话不多说，直接上代码:run函数用来获取页面的数据这里我用了代理进入

VEkoing·2023-01-02 08:20

实时可视化大数据项目01 -- 项目介绍

1、项目架构OGG+FileBeat+Kafka+Logstash+ElaticSearch+SpringBoot+Echarts+Jquery2、项目介绍1、项目是通过beat采集业务系统的日志，发送至kafka，Logstash解析日志存入ElaticSearch，2、另外一个数据，通过oracle内部的OGG同步至kafka，消息中中包含insert，update的状态字段。采集时区分ins

Ayub·2022-12-31 07:09

大数据在线实习项目|学生消费行为分析在线实习项目-项目介绍

学生校园消费行为分析在线实习班提供在线大数据项目，能够参与真实企业项目，提供企业实习证明。

泰迪智能科技·2022-12-30 11:45

模型推荐丨新闻传播大数据项目案例模型分享

1、主要业务问题：弹幕内容直观展示着用户对时下视频内容的态度。弹幕是视频网站适应社交媒介发展趋势，为增强互动性、提高网站用户活跃度而设计开发出来的。通过弹幕，用户可以实时性地表达自己的观点，不同用户之间可以针对同一处视频场景进行互动交流，同时，丰富多彩的弹幕的形式也给视频的观看用户带来了一种视觉刺激。针对视频网站，视频观看量反映了一个视频的受关注程度，当视频发布者发现自己的视频观看量达不到预先期望

泰迪智能科技·2022-12-30 11:14

“后 Hadoop 时代”，大数据从业者如何应对新技术趋势带来的挑战?

作者|蔡芳芳采访嘉宾|刘京娟、贾扬清、王峰作为开源大数据项目的发端，Hadoop兴起至今已经超过十五年。在过去这十数年里，开源大数据领域飞速发展，我们见证了多元化技术的兴起和变迁。

Apache Flink·2022-12-29 18:05

十四、《大数据项目实战之用户行为分析》HBase分布式集群搭建

HBase集群建立在Hadoop集群的基础上，而且依赖于ZooKeeper，因此在搭建HBase集群之前，需要将Hadoop集群（本例使用的Hadoop集群为非HA模式，即一个NameNode）和ZooKeeper集群搭建好。Hadoop和ZooKeeper集群的搭建读者可以参考前面章节，此处不再赘述。本例仍然使用三个节点（centos01、centos02和centos03）搭建部署HBase集

大数据张老师·2022-12-28 23:52

数据分析实战45讲（12）数据集成

据统计，大数据项目中80%的工作都和数据集成有关，这里的数据集成有更广泛的意义，包括了数据清洗、数据抽取、数据集成和数据变换等操作。

amorcyc·2022-12-24 12:56

数据分析基础篇16讲之12数据集成：这些大号一共20亿粉丝？

大数据项目中的数据集成包括有：数据清洗、数据抽取、数据集成和数据变换等操作。这是因为数据挖掘前我们的数据往往分布在不同的数据源中，需要考虑字段表达式是否一样，以及属性是否冗余。

jianhao93·2022-12-24 12:26

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集

尚硅谷大数据项目之Flink实时数仓一思考：1.为什么会有DWM（中间层）层3.实时数仓为什么要分层？2.实时数仓的数据是存在哪里的呢？

在学习的王哈哈·2022-12-19 09:07

模型交易平台|金融大数据项目案例模型分享

股市评论数据情感分析涉及关键技术：TF-IDF;词嵌入;LSTM主要工具：Python技术大类：自然语言处理主要业务问题：随着互联网的日益发展，越来越多的人依赖网络搜索信息和分享交流。同时，股市投资者也越来越倾向于通过网络平台来获取金融信息并交流投资观点。股评论坛包含着丰富的金融数据和投资者情感倾向信息。并且随着互联网应用的快速发展和用户数量的急剧增加，股票市场的评论和意见在很大程度上反映了股票市

泰迪智能科技·2022-12-15 22:46

毕业设计 : 基于Spark的海量新闻文本聚类 - Spark 新闻分类文本分类新闻聚类

项目介绍2实现流程3开发环境4java目录功能介绍5scala目录功能介绍5.1求TF-IDF5.2调用K-means模型5.3评价方式6聚类结果7最后0前言Hi，这里是丹成学长，今天学长带大家实现一个大数据项目

DanCheng-studio·2022-12-14 07:02

数据中台元年，企业数字化转型面临的三大挑战

当数据消耗成本较小时，企业通过设立独立预算的大数据项目即可应对。但是随着越来越多的数据产生且被应用，数据成本急剧增加，发展数据业务就必须被提升到企业数字化转型的高度

奇点云·2022-12-13 20:10

客快物流大数据项目（九十六）：ClickHouse的VersionedCollapsingMergeTree深入了解

文章目录ClickHouse的VersionedCollapsingMergeTree深入了解一、创建VersionedCollapsingMergeTree引擎表的语法二、折叠数据

Lansonli·2022-12-11 22:19

Springboot+Vue的音乐播放网站 echarts可视化（Java源码）大数据项目计算机毕业设计源码下载

Springboot+Vue的音乐播放网站echarts可视化（Java源码）大数据项目一、项目说明1、前端vue，后端springboot，前端安装npminstall2、serve文件夹是springboot

源码之家·2022-12-11 08:52

《大型综合项目-基于大数据平台的数据仓库》学习笔记（03）：数仓概念篇1

本项目教程笔记源自多易教育《Titan综合数据仓库与数据运营系统》，在CSDN学院有相关视频教程购买链接，大数据企业级项目实战–Titan大型数据运营系统本项目课程是一门极具综合性和完整性的大型大数据项目实战课程

江湖人称涛哥·2022-12-10 20:33

大数据项目之日志数据采集（一）

日志数据采集平台搭建模型设计1、日志采集方案选择方案一：使用flume直接从日志服务器到hdfs不能采用原因：1、由于日志服务器较多，直接从日志服务器到HDFS，会导致HDFS的访问量过高，2、由于flume采集到不同服务器上的同一时间段的日志，会写入到HDFS上同一个目录中，而同一文件的写入不支持多线程同时写入。方案二：使用flume聚合再传输给hdfs此方案解决了方案一中多线程同时写入的问题。

DSJ_smile·2022-12-07 00:19

大数据项目之数据采集总结（三）

一、数据采集项目总结1.数据仓库数据仓库是保存数据，为企业提供数据支持2.数据的分类业务数据：记录的是订单的信息！行为数据：记录的是下单的过程发生的信息！2.1用户业务数据是什么：用户使用平台（电商）时产生的和电商的业务紧密相关(购买，下单，支付，收藏，搜索)的数据！产生：用户在使用APP时，产生！如何存：关系型数据库为什么：事务是区分场景可以使用RDMS和NoSql的核心要素！RDMS：OLTP

DSJ_smile·2022-12-07 00:49

大数据项目之Flink实时数仓(数据可视化接口实现)

设计思路之前数据分层处理，最后把轻度聚合的结果保存到ClickHouse中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的BI工具，一种是面向非专业人员的更加直观的数据大屏。以下主要是面向百度的sugar的数据大屏服务的接口开发最终效果图分析各个可视化模块在可视化大屏中每个组件都需要一个单独的接口，图中一共涉及8个组件。组件名称|组

Keven He·2022-12-05 13:19

阿里发布开源大数据热力报告2022——Flink，Superset，Datahub上榜

近日阿里发布了《开源大数据热力报告2022》报告，分析近年来大数据项目的发展趋势。

大数据流动·2022-12-05 11:03

模型推荐丨政务大数据项目案例模型分享

主要工具：Python技术大类：自然语言处理主要业务问题：在社会治理上，政府部门一般通过群众的意见反馈、舆论情绪，掌握社会现状，做好舆情工作，以促进社会长治久安。微博作为有着大量活跃用户的社交平台之一，包含了人们丰富的关于事物、事件的观点和情感信息，对于舆情工作领域具有重要的应用价值。相比传统的问卷调查等形式，网络评论有着数据获取不受地域的限制，数据时效性更高，数据量更为丰富等优点。特别是现今疫情

泰迪智能科技·2022-12-05 02:30

数据驱动业务创新

60%的大数据项目在试点阶段之后将无法生存。66%的组织不知道如何真正从大数据中获取价值。90%的大数据基础设施和数据湖无法提供所需的性能。然而，成功是必不可少的：以

用友iuap·2022-12-01 19:22

开源大数据热力报告：StarRocks摘得数据查询与分析方向增速第一

报告研究了“后Hadoop时代”最活跃的102个开源大数据项目，基于2015年至今的相关公开数据进行关联分析，主要考察项目关注度、贡献活跃度、协

StarRocks_labs·2022-12-01 19:34

详谈数据同步工具ETL、ELT，反向ETL

数据同步是大数据项目重要的一个环节。关于ETL、ELT与反向ETL何为ETL？将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过

Nexadata·2022-12-01 14:09

大数据项目实践电影推荐系统概述（尚硅谷）

lamb0302·2022-11-29 22:53

模型案例推荐：电力大数据项目案例模型分享

电力行业+大数据项目模型电力高架线路巡检绝缘子缺陷智能检测涉及关键技术：语义分割目标检测图像增强图像切分主要工具：Python技术大类：计算机视觉主要业务问题：随着我国经济的高速发展，国民用电量逐年增加

泰迪智能科技·2022-11-29 22:50

阿里巴巴大数据之路-数据整合&管理体系

借助这一统一化数据整合及管理的方法体系，我们构建了阿里巴巴的数据公共层，并可以帮助相似的大数据项目快速落地实现。下面重点介绍O

村口蹲点的阿三·2022-11-29 19:14

【大数据项目学习】第九章：HBase数据库

第九章：HBase数据库一个初学者的大数据学习过程文章目录第九章：HBase数据库1.HBase简介1.1是什么1.2生态圈中的位置1.3特点1.4数据模型1.5物理模型2.HBase系统架构2.1Zookeeper2.2Master2.3RegionServer3.HBase实际应用案例1.HBase简介1.1是什么HBase是构建在HDFS之上的分布式列存储数据库，是一个高可靠性、高性能、面向

学不会K8S不改ID·2022-11-29 16:19

大数据项目 --- 数据采集项目

项目是串联知识点的最好的方式,这个项目之前看过,但是笔记并没有整理,并且环境已经破坏.由于项目二的需要,需要将这个项目进行重新搭建,对于之前的知识点使用这个项目进行重新复习.---最后一次搭建这个项目环境,供给后面使用,步步为营目录一.数仓的基本概念二.数仓基本架构三.项目需求分析四.用户行为_项目架构_技术选型五.框架版本选型六.服务器选型七.集群规模八.系统数据流程设计九.数据生成模块_目标数

YllasdW·2022-11-26 15:30

大数据项目实战——基于某招聘网站进行数据采集及数据分析（五）

大数据项目实战第五章数据分析文章目录大数据项目实战学习目标一、设计Hive数据仓库1、事实表ods_jobdata_origin2、维度表t_salary_detail3、维度表t_company_detail4

一只笨猫猫·2022-11-26 09:33

征集开始！2022年湖北省人工智能大数据十大优秀应用案例征集申报时间要求及征集范围、注意事项

年湖北省人工智能大数据十大优秀应用案例征集申报时间要求及征集范围、注意事项一、湖北省人工智能、大数据十大优秀应用案例征集范围应用案例应围绕工业制造、医疗健康、资源环保、公共服务、应急管理等重点领域，在有关单位已部署应用或实现产业化的优秀人工智能、大数据项目

wotao18714998852·2022-11-26 00:14

DolphinScheduler 登上开源热力榜 Top30！云原生推动的开源技术栈大重构正在进行...

github.com/apache/dolphinscheduler近日，ApacheDolphinScheduler登上了由开放源自开源基金会、X-lab和阿里巴巴开源联合发布的《开源大数据热力报告》开源大数据项目热力

DolphinScheduler社区·2022-11-25 15:49

【无标题】

机器学习基础大数据时代到底改变了什么改变思维方式数据重要性方法论数据分析（数据科学）计算只能（简单算法）大数据的4V特征数据量大数据种类多1.结构化数据2.非结构化数据3.半结构化数据速度快数据增长的数据块数据处理的数据块价值密度低大数据项目架构

Yangycoffee·2022-11-25 15:03

大数据项目之电商数仓-业务数据仓库

电商业务流程简介电商术语SKU，库存量单位，即库存进出计量的基本单元，可以是以件，盒，托盘等为单位。SKU这是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。SPU，标准化产品单元。是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。常用的表：订单表、订单详情表、商品表、用户表、

_TIM_·2022-11-23 09:28

大数据在线实习项目能收获什么呢？

大数据在线实习项目提供在线大数据项目，参与真实企业项目，可提供实习证明。项目实习过程会根据项目背景、项目目标、项目数据来逐一展开，一个项目的项目周期大概为4周时间，同时也可以根据自身时间条件来调整。

泰迪智能科技·2022-11-22 23:34

美创科技助力某人民医院智慧医疗大数据建设，支持医院运营革新

对此，某人民医院携手美创科技启动“智慧医疗大数据项目”，以数据撬动智慧医疗创新。让患者少跑腿、好办事、不添堵，如今各医疗机构积极推进智慧医院建设，通过打造坚实的数字底座，激活数据要素价值，实现医

数据库安全·2022-11-22 15:42

常见的大数据项目

大数据项目最重要的两个特点是数据量大，实时性要求强，这也是与小数据和传统数据处理方式的最重要的区别。

天下一般·2022-11-22 03:40

有奖报名｜StarRocks 获开源热力值增速第一，有你的贡献

欢迎大家预约～《2022开源大数据热力报告》研究了“后Hadoop时代”最活跃的102个开源大数据项目，基于2015年至今的相关公开数据进

StarRocks_labs·2022-11-21 09:34

亿信华辰：企业如何做好大数据项目的选型

本篇文章为亿信华辰《企业如何做好大数据项目的选型》视频直播稿件。大家晚上好，欢迎来到小亿直播间！本次直播我们分享的主题是：企业如何做好大数据项目的选型。

辰哥爱学习·2022-11-20 11:17

2018年零基础学习大数据路线图

这主要取决于你所学习大数据培训机构的硬性实力，如：大数据师资、大数据课程、大数据项目等等，下面我们一起来看一下吧。

web前端学习扣群：244500143·2022-11-20 04:59

2022最全大数据学习路线（建议收藏）

前言：一、个人介绍二、大数据介绍正文：一、大数据工作岗位二、大数据工程师技能要求三、大数据系统学习路径四、推荐持续学习资源（书籍、教程）五、大数据项目实战（离线计算、实时计算、离线数仓、实时数仓、ELK

大数据研习社·2022-11-20 04:46

31 大数据项目之电商数仓（用户行为数据采集）

文章目录第1章大数据项目之电商数仓（用户行为数据采集）第2章项目需求2.1项目需求分析2.2项目框架2.2.1技术选型2.2.2系统架构图设计2.2.3系统数据流程设计2.2.4框架版本选型2.2.5服务器选型

普通网友·2022-11-16 07:31

大数据项目之电商数仓、业务数据通道、Maxwell简介、Maxwell原理、MySQL主从复制读写分离、Maxwell部署

文章目录7.业务数据采集模块7.1采集通道7.1.1业务数据通道7.2采集工具7.2.1Maxwell简介7.2.1.1Maxwell概述7.2.1.2Maxwell输出数据格式7.2.2Maxwell原理7.2.2.1MySQL二进制日志7.2.2.2MySQL主从复制7.2.2.2.1主从复制的应用场景如下7.2.2.2.2主从复制的工作原理如下7.2.2.3Maxwell原理7.2.3Max

Redamancy_06·2022-11-16 07:29

大数据项目之电商数仓、Maxwell使用、 Maxwell启停脚本、增量数据同步、历史数据全量同步、采集通道Maxwell配置、通道测试

文章目录7.业务数据采集模块7.2采集工具7.2.4Maxwell使用7.2.4.1启动Kafka集群7.2.4.2Maxwell启停7.2.4.2.1启动Maxwell7.2.4.2.2停止Maxwell7.2.4.2.3Maxwell启停脚本7.2.4.2.3.1创建并编辑Maxwell启停脚本7.2.4.2.3.2脚本内容如下7.2.4.3增量数据同步7.2.4.3.1启动Kafka消费者7