E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据应用部署
大数据
毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统
(一)Selenium自动化Python爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集;(二)使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;(三)使用hive数仓技术建表建库,导入.csv数据集;(四)离线分析采用hive_sql完成,实时分析利用Spark之Scala完成;(五)统计指标使用sqoop导入m
qq_79856539
·
2024-09-01 11:16
javaweb
大数据
hadoop
课程设计
基于hadoop+spark的旅游
大数据
分析平台
S2023132基于hadoop+spark的旅游
大数据
分析平台使用BeautifulSoup爬取数据,爬取成功以后使用spark分析数据,将分析的结果保存到mysql,flask读取mysql数据,结合
源码空间站11
·
2024-09-01 11:16
hadoop
spark
旅游
大数据
毕业设计天hadoop+spark+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏
大数据
机器学习 知识图谱 计算机毕业设计 机器学习 深度学习 人工智能 知识图谱
|—||一、选题的目的和意义用户往往因为不能及时查看游戏信息而造成许多烦恼。另一方面,游戏商城平台没能进行系统的管理与维护使游戏信息没能及时的更新。而传统的游戏信息管理,采用的还是手工备案、人工查询的方式。但是随之游戏信息的增多这种管理方式的工作量不断加大,这种做法就存在费时费力、缺乏时效性、不利于调动人员的积极性等缺点。一旦网站建立好之后,一方面,用户可以在第一时间在系统里查询所需的信息,另一方
2401_84159688
·
2024-09-01 11:45
程序员
大数据
hadoop
人工智能
Java算法之归并排序(Merge Sort)
归并排序以其稳定性和高效率而著称,尤其适用于
大数据
集的排序。算法原理归并排序的基本步骤包括:分解:将数组递归地分成两半,直到每个子数组只有一个元素。
持续输出...
·
2024-09-01 10:37
#
Java
算法
算法
java
排序算法
腾讯开源之道:基于Apache之道的开源实践与探索
作为开源界备受关注的会议之一,今年的ApacheConAsia将持续3天,开设14+分论坛,内容覆盖从
大数据
到搜索再到消息队列等数十个不同类别。
CSDN云计算
·
2024-09-01 09:30
docker部署Elasticsearch和Kibana
它构建在ApacheLucene搜索引擎库的基础上,提供了一个RESTfulAPI和易于使用的工具,使得在
大数据
量情况下进行搜索和分析变得高效和简单。1.2为什么使用Elasticsearch?
youm.
·
2024-09-01 09:59
docker
docker
elasticsearch
容器
外行学习快速入行
大数据
开发指南
大数据
是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、
weixin_45732643
·
2024-09-01 03:58
Hadoop
大数据开发
编程语言
大数据
大数据开发
大数据学习
Hadoop
编程语言
php案例分析百度云_基于阿里云平台的
大数据
教学案例 —— B站弹幕数据分析
简介:实验基于所学的
大数据
处理知识,结合阿里云
大数据
相关产品,分组完成一个
大数据
分析项目,数据集可以使用开源数据集或自行爬取,最终完成一个完整的实验报告:1、能够使用阿里云
大数据
相关产品完成数据分析、数据建模与模型优化
weixin_39892311
·
2024-09-01 03:58
php案例分析百度云
基于Hadoop的高校教学管理平台设计与实现
文中就高校
大数据
平台的关键技术和架构进行阐述,结合高校实际情况,设计高校
大数据
平台架构,通过搭建Hadoop集群环境,以业务系统和平台之间的数据交互验证平台设计的可行性和优势。
这是辰辰啊
·
2024-09-01 00:38
hadoop
hadoop
大数据
优化Docker镜像,加速
应用部署
,教你6个小窍门
一、明确指定镜像版本,管理更方便为了让版本管理起来更方便,
应用部署
速度更快,在创建镜像的过程中,建议工程师们明确指定包含版本或者其他辅助信息的tag。如果不指定镜像tag,默认会使用latest。
xiaotian是个混子
·
2024-08-31 21:11
基于Spark的云南旅游
大数据
分析平台
一、项目概述Hi,大家好,今天分享的项目是《基于Spark的云南旅游
大数据
分析平台》。随着旅游业的发展和数字化进程的加速,智慧旅游已成为旅游业的重要发展方向。
Sweican
·
2024-08-31 19:09
毕业设计
spark
大数据
分布式
中标 | 极客天成分布式存储软件成功中标华泰证券并行文件系统软件项目
华泰证券并行文件系统软件项目是服务于华泰证券量化投研的重点项目,是华泰证券能否取得可持续性竞争优势的关键所在,华泰证券多年深耕信用量化投研领域,基于
大数据
、人工智能、NLP等技术自主研发。
极客天成ScaleFlash
·
2024-08-31 14:31
分布式
《数字时代的学与教》第四模块共读心得
教师选用何种教学策略不是凭老师的经验,而是
大数据
统计出学生的学习诉求、学生对教学内容的掌握情况来决定的。
屏西小学陈欣艳
·
2024-08-31 12:10
数据爬虫工作中的IP清理频率
在
大数据
和信息时代,数据爬虫已经成为获取信息的重要手段。然而,频繁的数据抓取往往会引发目标网站的反爬虫机制,导致IP地址被封禁。
KookeeyLena3
·
2024-08-31 12:19
爬虫
tcp/ip
网络协议
人心
人心人性是复杂,无法用所谓的理性和数据来分析,所有的分析从本质是错的,虽然常常会自我感觉良好,比如经济发展水平的分析,数据一大套一大套,成果一大堆一大堆,
大数据
啊!
苏鹰鹰哥
·
2024-08-31 11:39
大数据
产品化的窗口期
已经之身
大数据
行业三四年,按理说应该可以说点所谓的经验。但是,现在
大数据
行业似乎有行无市。看起来高大上,但距离日常好像很远。
可鱼KEYU
·
2024-08-31 10:57
布隆过滤器:
大数据
的高效守门员(在 Spring Boot 项目中实现布隆过滤器)
文章目录手写SpringBoot启动器:实现布隆过滤器布隆过滤器基本概念布隆过滤器原理应用场景SpringBoot实现示例添加依赖示例代码解析总结手写SpringBoot启动器:实现布隆过滤器在
大数据
和高性能计算领域
无理 Java
·
2024-08-31 08:19
#
Java
spring
boot
后端
java
布隆过滤器
面试
MySQL高级课程:索引设计与性能优化的最佳实践
为了保证MySQL数据库在高并发、
大数据
量场景下的高效运行,索引设计与性能优化成为数据库管理的重要一环。本课程将深入探讨MySQL索引设计和性能优化的最佳实践,帮助你掌握从理论到实战的优化技巧。
勤劳兔码农
·
2024-08-31 04:25
mysql
性能优化
数据库
【MYSQL】在MySQL中设置 max_allowed_packet、wait_timeout 和 interactive_timeout
目录重要配置参数临时设置参数1.使用SQL语句设置1.检查当前设置持久化设置修改配置文件在Linux上重启MySQL服务:在Windows上重启MySQL服务:注意事项示例:使用BLOB存储
大数据
总结解决连接断开问题的总结在处理大于
丶2136
·
2024-08-31 04:22
web
数据库
mysql
数据库
后端
《C++与新兴数据库技术的完美交互:开启高效数据处理新时代》
一、新兴数据库技术的崛起随着
大数据
、云计算和人工智能等技术的飞速发展,传统的关系型数据库在某些场景下已经难以满足日益增长的需求。新兴的数据库技术,如NoSQL数据库、NewSQL数据库、分布式
程序猿阿伟
·
2024-08-31 03:14
c++
数据库
开发语言
双十一云起实验室体验专场,七大场景,体验有礼
\
大数据
计算场景《基于EMR离线数据分析》E-MapReduce(简称“EMR”)是
阿里云天池
·
2024-08-31 01:30
体验场景
活动
云计算
大数据
容器
云原生
Linux基础入门
课程链接:黑马程序员新版Linux零基础快速入门到精通,全涵盖linux系统知识、常用软件环境部署、Shell脚本、云平台实践、
大数据
集群项目实战等_哔哩哔哩_bilibili声明:该文章为本人的学习笔记
LIPAH
·
2024-08-31 00:27
linux
运维
服务器
【选型】数据库 Mysql MariaDB 存储引擎选择
MysqlMariaDB存储引擎选择MariaDB新增十多个存储引擎,比较有特色的有:(1)Aria:适用于快速读取快速写入场景,替代为人诟病的MyISAM,支持事务,支持崩溃恢复;(2)TokuDB:适用于
大数据
量写入场景
我是Superman丶
·
2024-08-31 00:56
数据库
架构心得
数据库
mysql
mariadb
2022-05-17
所以,疫情真的让我们失去了很多:亲朋好友间的欢聚说走就走的旅行想见却不能见无处安放的理想…………疫情之下,你的行踪不再是秘密不要担心忘记自己去过哪里
大数据
都会帮你记得
爱米儿
·
2024-08-30 19:01
分布式WebSocket-下篇
上篇文章从功能层面实现了双向传输,但是带来了难受问题如下:我们把
应用部署
在一台2C4G服务器上运行,jvm参数如下:-Xmx2688M-Xms2688M-Xmn960M-XX:MaxMetaspaceSize
蓝天/zachary
·
2024-08-30 18:46
分布式架构
分布式
websocket
双向传输
直播
教育
新型冠状病毒感染肺炎防护,喝酒能杀病毒吗?板蓝根能预防感染
截止今日
大数据
统计:确诊新型冠状病毒感染肺炎者,11823人。疑似病例者17988人,死亡者259人,治愈人数243人。新型冠状病毒感染肺炎,还在不断扩散蔓延。
文娱综艺
·
2024-08-30 17:28
ansible自动化运维项目详细讲解
前言:Ansible是一个开源的自动化工具,主要用于配置管理、
应用部署
、任务自动化和IT编排。在实际的运维项目中,Ansible可以帮助运维工程师以一致、可重复和可靠的方式管理大量服务器和服务。
程序员小羊!
·
2024-08-30 16:08
运维
运维
ansible
自动化
【赵渝强老师】基于
大数据
组件的平台架构
在了解了
大数据
各个生态圈所包含的组件及其功能特性后,就可以利用这些组件来搭建一个
大数据
平台从而实现数据的存储和数据的计算。下图展示了
大数据
平台的整体架构。
赵渝强老师
·
2024-08-30 16:07
大数据技术
大数据
架构
kafka的安装与测试
kafka的安装与测试一、概念定义:kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要用于
大数据
实时处理领域使用消息队列的一个好处1.解耦:不需要两台服务器保持同时在线
无情白
·
2024-08-30 16:04
kafka
队列
java
linux
[Datawhale AI 夏令营][第五期]智能识别系统-Task1笔记
任务是发布在MARS
大数据
服务平台的2024“大运河杯”数据开发应用创新大赛——城市治理。了解智慧河长的朋友可能听说类似的项目,它们可以识别河道中出现的一些问题。
keexh
·
2024-08-30 15:58
人工智能
笔记
【实践】 使用k8s的leader-election来实现多副本应用的选举
背景假设你有这样一个
应用部署
在k8s中,该应用有以下功能模块:它是一个web服务,接受HTTP服务请求并处理它同时还是需要提供一个任务监控的模块,用来监控数据库中的任务进程并执行相应的逻辑如果该应用需要提高
JYCJ_
·
2024-08-30 15:28
Golang
golang
后端
k8s
三防平板:定制化服务的趋势——以智慧医疗为例
来百度APP畅享高清图片智慧医疗,即通过智能设备、
大数据
、云计算等技术,实现医疗服务的数字化、智能化和个性化。在这个背景下,三防平板凭借
livefan
·
2024-08-30 15:24
电脑
人工智能
5G
科技
智慧医疗
安全
云计算
深度学习赋能数据分析,联蔚盘云引领业务革新
一、引言随着
大数据
时代的到来,深度学习技术正逐渐成为企业数据分析的新引擎。联蔚盘云凭借其在深度学习领域的深厚积累,为企业提供高效、精准的数据分析解决方案,助力企业实现业务革新与增长。
联蔚盘云
·
2024-08-30 14:20
深度学习
数据分析
人工智能
小白学习
大数据
测试之hadoop hdfs和MapReduce小实战
转发是对小编的最大支持在湿货|
大数据
测试之hadoop单机环境搭建(超级详细版)这个基础上,我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02
·
2024-08-30 11:39
游卡,三七互娱,得物,顺丰,快手,oppo,莉莉丝,康冠科技,途游游戏,埃科光电25秋招内推
游卡,三七互娱,得物,顺丰,快手,oppo,莉莉丝,康冠科技,途游游戏,埃科光电25秋招内推①顺丰【招聘岗位】研发、算法、
大数据
、产品、项管、设计、人资等【官方内推码】4FOLXH【一键内推】https
weixin_53585422
·
2024-08-30 11:29
c++
java
算法
python
运维
大数据
技术美术
联发科Wi-Fi7基带芯片MT7996AV和收发芯片MT7977AN工艺全景图
芯品快报:亚德诺(ADI)超静音步进电机驱动芯片——TMC2209芯品快报:德州仪器(TI)的高性能、集成式的双全桥电机驱动器——DRV8412IPBrain小组集成电路
大数据
平台2024年07月11日
Victor-Tian
·
2024-08-30 10:58
WIFI
ai
功能测试
大数据
人工智能
【IEEE出版 | 往届会后三个月检索】第五届
大数据
、人工智能与软件工程国际研讨会(ICBASE 2024,9月20-22)
第五届
大数据
、人工智能与软件工程国际研讨会(ICBASE2024)将于2024年09月20-22日在中国温州隆重举行。会议主要围绕
大数据
、人工智能与软件工程等研究领域展开讨论。
i嗑盐の小F
·
2024-08-30 03:10
国际学术会议
大数据
人工智能
软件工程
机器学习
深度学习
算法
虚拟机安装hadoop,hbase(单机伪集群模式)
虚拟机安装Hadoop,Hbase工作中遇到了
大数据
方面的一些技术栈,没有退路可言,只能去学习掌握它,就像当初做爬虫一样(虽然很简单),在数据爆发的现在,传统的数据库mysql,oracle显然在处理
大数据
量级的数据时显得力不从心
流~星~雨
·
2024-08-29 21:31
大数据相关
hadoop
hbase
大数据
hive中的数据同步到hbase
关于hadoop,hive,hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法,在我目前的认知里,hadoop提供hdfs这个组件来存储
大数据
量的数据(相比于mysql,oracle
流~星~雨
·
2024-08-29 21:31
大数据相关
hive
hbase
hadoop
Apache Kafka 快速学习大纲
Kafka概述定义Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于
大数据
实时处理领域。
aaaak_
·
2024-08-29 19:46
大数据
kafka
apache
学习
大数据
实训笔记7:kafka
概述Kafka是一个开源的分布式事件流平台(EventStreamingPlatform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。Producer:消息生产者,就是向kafkabroker发消息的客户端。Consumer:消息消费者,向kafkabroker取消息的客户端。ConsumerGroup(CG):消费者组,由多个consumer组成。消费者组内每个消费者负责消
Roslin_v
·
2024-08-29 19:14
大数据
kafka
这几个高级爬虫软件和插件真的强!
亮数据(BrightData)亮数据是一款强大的数据采集工具,以其全球代理IP网络和强
大数据
采集技术而闻名。它能够轻松采集各种网页数据,包括产品信息、价格、评论和社交媒体数据等。
@Python大数据分析
·
2024-08-29 17:05
爬虫
开始学习
大数据
我是一个java开发人员,做java服务器开发已经有一年的时间了,而实际的开发经验有两年的时间,最开始的一年的时间,我从事与Android开发。而为什么从Android开发转到Java服务器开发,有如下原因:1.我自己对于做界面不太喜欢,而且也没有足够的耐心去调试界面,而且对于深度,我有足够的畏惧,因为越学到后面,就必须要对面Android的内核,这个是当时自己没有足够的多的信息继续走Androi
昨天的殇
·
2024-08-29 16:51
大数据
分析与
大数据
开发两者的区别是怎样的?
大数据
主要分为两个就业方向:①
大数据
开发②
大数据
分析
大数据
分析:主要负责现有数据价值提炼与挖掘,包括业务增长点挖掘,产品改进点挖掘,业务分析指标体系构建,业务分析报告出具等
大数据
开发:主要负责
大数据
平台与应用开发
泰迪智能科技01
·
2024-08-29 10:18
就业班
大数据
飞凌方案丨基于LS1028A系列核心板打造一款边缘计算网关
随着物联网、
大数据
、人工智能等技术的快速发展与应用,给传统的云计算模式带来了巨大的挑战,这也催生出了计算模式的变革,边缘计算由此诞生。
spear800
·
2024-08-29 10:48
5G
LS1028A
飞凌嵌入式
边缘计算
网关
Kylin的工作原理及使用分享操作指南
ApacheKylin是一个分布式的分析引擎,专为
大数据
环境中的快速分析和查询而设计。它通过构建OLAP(联机分析处理)立方体,使得对海量数据的实时分析成为可能,极大地提升了数据查询的效率。
vvvae1234
·
2024-08-29 05:14
kylin
Elasticsearch 压测方案之 esrally 简介
由于Elasticsearch(后文简称es)的简单易用及其在
大数据
处理方面的良好性能,越来越多的公司选用es作为自己的业务解决方案。
叫小七的剑客
·
2024-08-29 05:48
关于这道填空题,你会如何回答?(附带学习链接)
小白的答案是:Java是铜牌,Linux是银牌,Hadoop是金牌,
大数据
是王牌。因为Java是学
大数据
的基础,有基础然后就可以学后续的;最后只有学好
大数据
这一王牌才能出去找一份比较好的工作。
csdn业界要闻
·
2024-08-29 05:09
《未来二十年,AI、区块链、云与
大数据
技术引领全球变革》
摘要在未来二十年,全球社会与经济将深刻受到人工智能(AI)、区块链(Blockchain)、云计算(Cloud)和
大数据
(Data)四大核心技术的驱动。
久绊A
·
2024-08-29 03:25
文献/论文
人工智能
区块链
云计算
大数据
自动化运维:Ansible、Puppet、Chef工具对比与实战
以下是Ansible、Puppet和Chef这三种自动化运维工具的对比与实战详细解说:1.简介AnsibleAnsible是一个基于Python的开源自动化工具,主要用于配置管理、
应用部署
和任务自动化。
liyy614
·
2024-08-29 02:20
服务器
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他