大数据项目总结

Authing 受邀参加 2023 QCon 全球软件开发大会

Authing展位本次大会围绕大模型应用场景探索、AI与大数据、云原生技术融合、研发效
Authing·2024-01-15 13:41

springboot+java+vue+mysql 考研互助交流平台 原创

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 13:54

通俗易懂实现功能强大的实战项目 springboot+java+vue+mysql 膳食营养健康网站

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 13:54

网贷，就是把你网住再逮捕。各位，回头是岸....

如果说在这个大数据时代，有东西能让人慢性死亡的话，除了网贷，其他的都要靠边站，我相信很多人看到这里都不以为然，当初我也是，看了无数的新闻，文章，但总觉得和自己无关，总觉得自己有度，慢慢就还清了。
猫儿蓝·2024-01-15 13:29

大数据开发之Flume

第1章：Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。1.2Flume基础架构1.2.1Agent1、Agent：Flume的部署单元，本质是一个JVM进程，Agent内部是以事件的形式将数据从源头送至目的。2、组成：Agent主要有3个部分组成，Source、Channel、Sink。1.2.2Source1、S
Key-Key·2024-01-15 12:35

大数据开发之Hive（压缩和存储）

第9章：压缩和存储Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormatAPI可以从不同数据源读取数据，使用OutputFormatAPI可以将数据写成不同的格式输出。对数据进行压缩虽然会增加额外的CPU开销，但是会节约客观的磁盘空间，并且通过减少内存的数据量而提高I/O吞吐量会更加提高网络传输性能。原则上Hadoop的job时I/O密集型的话就可以采用压缩可
Key-Key·2024-01-15 12:34

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable
Key-Key·2024-01-15 12:34

大数据开发之Hive（统计影音视频网站的常规指标）

第11章：Hive实战11.1数据结构1、视频表字段备注详细描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄(int)视频在平台上的整天数category视频类别(Array)上传视频指定的视频分类length视频长度(Int)整形数字标识的视频长度views观看次数(Int)视频被浏览的次数rate视频
Key-Key·2024-01-15 12:34

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基
Key-Key·2024-01-15 12:04

大数据开发之Hive(查询、分区表和分桶表、函数)

第6章：查询6.1基本语法及执行顺序1、查询语句语法select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYcol_list][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBYcol_list]][LIMITnumber]2
Key-Key·2024-01-15 12:04

大数据开发之HA

第1章：HadoopHA高可用1.1HA概述所谓HA（HighAvailablity），即高可用（7*24小时不间断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。NameNode机器需要升级，包括软件、硬件升
Key-Key·2024-01-15 12:03

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基
Key-Key·2024-01-15 12:29

关于直播带货的一些看法

2020年4月30日，商务部大数据监测显示，今年一季度电
zhouhai1000·2024-01-15 12:55

大数据日志数据量过大如何处理

如果是web端的埋点数据，我们可以对这些数据进行分流。我们可以采用事件分流，步骤如下定义事件类型：根据埋点数据的内容，定义不同的事件类型。例如，可以有页面访问事件、按钮点击事件、表单提交事件等。提取关键信息：从埋点数据中提取关键的信息，用于确定事件类型以及其他可能用于分流的属性。这可能涉及到解析日志、提取特定字段或属性等操作。制定分流规则：基于提取的信息，制定分流规则。例如，可以根据页面路径、按钮
暴走的贼宇·2024-01-15 12:28

失踪人员信息发布与管理系统：计算机毕设课题的研究与实践 springboot+java+vue+mysql

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 11:12

同城上门喂遛宠物系统：从后端到前端的全方位解析与实践

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 11:12

springboot+java+vue+mysql 健身俱乐部网站 原创

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 11:11

springboot+java+vue+mysql 社交论坛系统 原创

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 11:11

springboot+java+vue+mysql 智能家居销量数据分析 原创

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 11:41

springboot+vue+java+mysql 在线政务服务中心系统 原创

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 11:40

宿舍维修管理系统：从数据库到前端的全面解析

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 11:39

玩转 openEuler （一）-- 系统安装

当前openEuler内核源于Linux，支持鲲鹏及其它多种处理器，能够充分释放计算芯片的潜能，是由全球开源贡献者构建的高效、稳定、安全的开源操作系统，适用于数据库、大数据、云计算、人工智能等应用场景。
广然·2024-01-15 11:06

【81】深度融合

但是每年数据又在成阶梯状递增，感叹互联网大数据如此的今天，云计算、大数据、人工智能，统筹数
幽幽白书0·2024-01-15 11:13

《中国人民银行业务领域数据安全管理办法》与个人信息保护关键技术研究 | 京东云技术团队

在大数据环境下，通过个人用户网络活动产生的数据，可以清晰地分析出用户的年龄、职业、行为规律和兴趣爱好。
京东云开发者·2024-01-15 11:09

微习惯＠写给淼的赞美日记12：㊗开心愉快

其实不用迷惑，这就是大数据根据你的喜好做出的准确推算，是不是很吓人？如果不想看这种很伤感的文案，那就在它推送的时
梅好日记·2024-01-15 11:29

服务器数据传输安全如何保障？保障意义是什么？

无论是互联网，大数据还是云计算，安全是一直被强调的。数据的安全关系的不仅仅是个人，企业更可能是国家，因此，做好数据安全防护是这个时代必须要做的事。其中保障数据传输安全是重要一环。保障
德迅云安全-甲锵·2024-01-15 10:39

大数据正在改变电子商务行业的三种方式

电子商务行业在过去几年中发生了巨大变化，而许多人都归因于大数据。随着这种趋势的持续，大公司、小企业，以及个体经营者都会花费时间去拥抱大数据，以提供更好的支付解决方案，提高业绩，以建立和保持竞争优势。
kuntoria·2024-01-15 10:17

人工智能让边缘计算更有价值!

3月28日，在2018云栖大会·深圳峰会上，阿里云宣布2018年将战略投入到边缘计算技术领域，并推出了首个IOT边缘计算产品LinkEdge,将阿里云在云计算、大数据、人工智能的优势拓宽到更靠近端的边缘计算上
weixin_34056162·2024-01-15 10:02

CAN/CANFD数据记录仪汽车电子售后神器

CAN数据记录仪是一种用于采集和存储CAN总线数据的工具，广泛应用于汽车、轨道车辆、工业控制等大数据量且不易排查故障的系统中。它可以实时存储总线上的数据，方便后续的研究和分析。解决工程师售后难点。
来可电子-CAN·2024-01-15 10:19

读书：对遗传的“扬弃”

“不用书”者，或“无用于书”者，更是“大数据”量级的。这就非常耐人寻味了。“读书无用论”的存在，是有
眺山·2024-01-15 09:53

大数据开发之Zookeeper

第1章：Zookeeper入门1.1概述它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知这些已经在Zookeeper上注册的那些观察者做出相应的反应。1.2特点一个领导者（Leader）,多个跟随者（Follower）组成的集群。集群中只要有半数以上的节点存活，Zookeeper集群就能正常工作。所以Zookeeper适合安装奇数台
Key-Key·2024-01-15 09:25

通俗易懂实现功能强大的实战项目 springboot+java+vue+mysql 汽车服务管理系统

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 09:43

springboot+java+vue+mysql 课表管理系统 原创

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 08:54

分布式计算平台 Hadoop 简介

Hadoop简介Hadoop是一种分析和处理大数据的软件平台，是一个用Java语言实现的Apache的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。
rookiexiong·2024-01-15 08:19

springboot+java+vue+mysql 流浪猫狗救助救援网站 原创

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 08:19

一文简单了解反爬虫

大家好，我是小瑜~我们现在处于一个信息爆炸的大数据时代，数据在互联网上的传播和呈现方式多种多样，越来越多的公司开始重视保护自己的数据了，他们研发反爬虫技术，让爬虫不在可以随便的去爬取获取他们的信息。
学Python的小瑜·2024-01-15 06:45

2021.12.8 科技新闻 | 生活很慢，世界很快【豌豆姑娘 整理】

2021.12.8科技新闻|生活很慢，世界很快【豌豆姑娘整理】1、B站正视直播带货：一周内将上线“小黄车”功能，用户可边看直播边下单【36氪】2、IDC：阿里云政务大数据产品能力、市场份额均位居中国第一
豌豆壳外·2024-01-15 06:37

宿舍管理系统的设计与实现：基于Spring Boot、Java、Vue.js和MySQL的完整解决方案

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 06:42

springboot+java+vue+mysql 企业车辆管理系统 原创

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-15 06:41

Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？

ActiveMQRabbitMQRocketMQKafka开发语言javaerlangjavascala单机吞吐量万级，比RocketMQ、Kafka低一个数量级同ActiveMQ10万级，支撑高吞吐10万级，高吞吐，一般配合大数据类的系统来进行实时数据计算
.L.JIN.Jie·2024-01-15 06:02

java大数据hadoop2.92安装伪分布式文件系统

ApacheHadoop3.3.6–Hadoop:SettingupaSingleNodeCluster.1、解压缩到某个路径/usr/local/hadoop2、修改配置文件/usr/local/hadoop/etc/hadoop/hadoop-env.shexportJAVA_HOME=/usr/local/javajdk3、修改配置文件/usr/local/hadoop/etc/hadoop
crud-boy·2024-01-15 06:29

Java大数据hadoop2.9.2搭建伪分布式yarn资源管理器

1、修改配置文件cd/usr/local/hadoop/etc/hadoopcp./mapred-site.xml.template./mapred-site.xmlvimapred-site.xmlmapreduce.framework.nameyarnviyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle2、重新启动hadoo
crud-boy·2024-01-15 06:29

java大数据hadoop2.92 Java连接操作

1、要想Java可以连接自己虚拟机的hadoop文件系统，需要给文件系统权限（1）需要在/usr/local/hadoop/etc/hadoop/core-site.xmlcore-site.xml文件配置具体ipfs.defaultFShdfs://ip:9000（2）文件权限hdfsdfs-chmod-R777/2、maven依赖org.apache.hadoophadoop-common2.
crud-boy·2024-01-15 06:29

react实现数据可视化大屏解决方案简介

对于很多企业而言,想要利用好大数据技术,首先需要对自身的企业架构和业务模式进行梳理,从而搭建起一个适合自身发展的数据体系。可视
前端布道人·2024-01-15 06:55

java大数据hadoop2.9.2 Java编写Hadoop分析平均成绩

1、准备文件，例如score.txt，内容如下：zsk188lsk198wwk178zsk288lsk298wwk278zsk388lsk398wwk3782、创建maven项目org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client${hadoop.version}org.apache.hadoophadoop-hdfs$
crud-boy·2024-01-15 06:23

大数据深度学习ResNet深度残差网络详解：网络结构解读与PyTorch实现教程

文章目录大数据深度学习ResNet深度残差网络详解：网络结构解读与PyTorch实现教程一、深度残差网络（DeepResidualNetworks）简介深度学习与网络深度的挑战残差学习的提出为什么ResNet
星川皆无恙·2024-01-15 06:14

译|学外语要趁早

由于研究规模大数据多，因此可信
格紫英文·2024-01-15 06:37

【EI会议征稿通知】第五届计算机信息和大数据应用国际学术会议（CIBDA 2024）

第五届计算机信息和大数据应用国际学术会议（CIBDA2024）20245thInternationalConferenceonComputerInformationandBigDataApplications
搞科研的小刘选手·2024-01-15 05:14

可以推荐一款支持多平台网购的返利机器人吗？

通过数十位选品师和大数据探查全网值得卖的产品，本着“好产品不在多，而在精”的价值观，每日甄选数款值得卖的产品，同时对素材精益求精，帮你省钱省事省时间，是你赚钱路上的好帮手可以推荐一款支持多平台网购的返利
林哥超酷·2024-01-15 05:53

项目实战-知行教育大数据分析平台-01

3、事实表与维度表的分类4、维度建模的三种模型5、缓慢渐变维七、本项目数仓架构八、HUE的使用九、自动化调度工具介绍十、通过HUE操作oozie本文将利用前面所学的Linux，Hadoop，Hive等大数据技术
吆喝的翅膀·2024-01-15 04:22
上一页 63 64 65 66 67 68 69 70 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他