大数据流式实时处理Spark

大数据01-导论

零、文章目录大数据01-导论1、数据与数据分析**数据：是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。
李宥小哥·2024-02-19 11:32

Python课堂08——六大数据类型之字符串（二）

文章目录一、字符串的基本操作1.字符串的判断2.字符串的查3.字符串的改二、格式化输出1.f格式化——比较常用2.%占位符三、for循环遍历字符串四、字符串的嵌套总结过完年了，继续回来跟着博主来学习python吧一、字符串的基本操作1.字符串的判断islower():判断字符串里的所有字符是不是都是小写，返回True或者Falses='uinujiv'print(s.islower())#True
莘薪·2024-02-19 11:28

Python课堂07——六大数据类型之字符串（一）

文章目录内容概要一、字符串的发展？二、字符串的基本用法及其特点1.定义2.字符串的‘加减乘’3.索引和切片4.成员运算符in5.原生字符串总结内容概要前面我们了解了数据类型中的数值类型，接下来让我们继续来了解python中的其他数据类型。本节字符串的内容比较多，故我们分两节来进行讲述。一、字符串的发展？由于计算机内部只识别二进制，但是用户在使用计算机的时候却可以看到各式各样的语言字符，因此就产生了
莘薪·2024-02-19 11:57

大数据，对于生活的改变

谷歌通过对于疾病的查询量可以预测一个个h1n1病毒的大爆发，大数据时代对于人的考验用户的搜索记录就是一种信息，这种信息会满足其基础相关的词条与其有关的词条（最为原始的搜索机制，国内的搜索引擎都是采用这种基础原理
待·2024-02-19 11:53

JVM工作原理与实战(三十八)：JIT即时编译器原理

专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解大数据目录专栏导航前言一、JIT即时编译器二、HotSpot中的JIT编译器三、JIT优化技术1.方法内联2.逃逸分析四、JIT优化建议总结前言
橘子-青衫·2024-02-19 11:20

(15)Hive调优——数据倾斜的解决指南

目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2Spark任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值
爱吃辣条byte·2024-02-19 11:50

Python课堂12——六大数据结构之集合

.基本操作3.成员运算符(in;notin)4.计算集合的长度——len()5.复制集合——copy()6.集合的集合运算总结前言Python中的数据结构马上就要结束了，今天我们来学习Python中六大数据结构的最后一部分集合
莘薪·2024-02-19 11:20

智慧公厕的主要应用

智慧公厕运用物联网、互联网、大数据、云计算和自动化控制等技术，实现了对公厕内部各方面情况的全面监测和精细管理。
中期科技ZONTREE·2024-02-19 10:52

机器视觉与嵌入式技术：开拓自动驾驶和远程监控新视野

这些信息通过高速摄像头传感器捕获，并由嵌入式处理器实时处理。嵌入式处理器具有高性能的计算能力，能够快速处理图
科联学妹·2024-02-19 10:49

嵌入式系统在智慧城市建设中的关键角色与挑战

它利用各种信息传感器，通过物联网、云计算、大数据等技术手段，实现城市管理的智能化、精细化。在这一过程中，嵌入式系统扮演着至关重要的角色。本文将探讨嵌入式系统在智慧城市建设中的关键作用及其面临的挑战。
科联学妹·2024-02-19 10:10

MapReduce

MapReduce的优缺点优点：易于编程良好的扩展性高容错性适合tb/pb级以上海量数据的离线处理缺点：不擅长实时计算不擅长流式计算不擅长DAG
诺冰1314·2024-02-19 10:46

【PCIE709-F】基于复旦微JFM7VX690T80 FPGA的全国产化8通道光纤双FMC接口数据处理平台

板卡概述PCIE709-F是一款基于上海复旦微电子的28nm7系列FPGAJFM7VX690T80的全国产化8通道光纤双FMC接口数据预处理平台，该板卡采用复旦微的高性能7系列FPGA作为实时处理器，实现
北京青翼科技·2024-02-19 10:05

大数据平台红蓝对抗 - 磨利刃，淬精兵！ | 京东云技术团队

随着平台业务越来越复杂，红蓝对抗的作用愈来愈明显，下面将详细介绍大数据平台在本次双十一大促备战工作中是如何开展红蓝对抗的。图1.大促备战常见工作示意首先我们先了解一下什么是红蓝对抗，它都有哪些好处？
·2024-02-19 10:27

当下最热的前端Web组态软件（可视化）

随着5G、物联网、大数据等技术的高速发展，各领域逐步向数字化、可视化的人工智能（AI）的方向不断迈进。
·2024-02-19 10:56

在python中JSON数据格式的使用

这种数据格式由于简单好用被大量应用在Web开发与大数据数据库(NoSQL)，现在已成为一种著名数据格式，Python与许多程序语言同时采用与支持。也由此在
码银·2024-02-19 10:26

莱昂纳德猛龙历史地位探索：第一人？

快船在乔治、路威和哈雷尔集体哑火的情况下，靠莱昂纳德单核33分14篮板7助攻5抢断的大数据击败并淘汰38分9篮板9助攻以及整个首轮激活一系列里程碑的历史第一档二年级东契奇率领的独行侠。
氧气是个地铁·2024-02-15 10:23

【网页设计】web前端期末大作业html+css

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
web学生网页设计·2024-02-15 10:47

计算机Java项目｜SSM实验室课程管理系统

领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、腾讯课堂常驻讲师主要内容：Java项目、Python项目、前端项目、人工智能与大数据
编程千纸鹤·2024-02-15 10:46

基于SSM+JSP实现学生信息管理系统

领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、腾讯课堂常驻讲师主要内容：Java项目、Python项目、前端项目、人工智能与大数据
编程千纸鹤·2024-02-15 10:16

基于Springboot实现学生信息管理系统

领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、腾讯课堂常驻讲师主要内容：Java项目、Python项目、前端项目、人工智能与大数据
编程千纸鹤·2024-02-15 10:15

基于Springboot+Vue实现图书个性化推荐系统

领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、腾讯课堂常驻讲师主要内容：Java项目、Python项目、前端项目、人工智能与大数据
编程千纸鹤·2024-02-15 10:15

优秀网络安全运营专家的成长之路

网络安全监控3、网络流量分析4、日志分析和搜索能力5、端点安全保护6、加入活跃的网络和安全社区7、紧跟最新的行业咨询二、中级阶段：更深入地了解网络威胁1、情报分析能力2、云计算安全3、主动威胁搜寻4、大数据分析三
岛屿旅人·2024-02-15 10:35

Hive调优——count distinct替换

离线数仓开发过程中经常会对数据去重后聚合统计，而对于大数据量来说，count(distinct)操作消耗资源且查询性能很慢，以下是调优的方式。
爱吃辣条byte·2024-02-15 10:58

【大数据Hive】hive 表设计常用优化策略

目录一、前言二、hive普通表查询原理2.1操作演示说明2.1.1创建一张表，并加载数据2.1.2统计3月24号的登录人数2.1.3查询原理过程总结2.2普通表结构带来的问题三、hive分区表设计3.1区表结构-分区设计思想3.2操作演示3.2.1创建分区表按照登录日期分区3.2.2开启动态分区按登录日期分区基于分区表查询数据查询先检索元数据查询执行计划四、hive分桶表设计4.1Hive中Joi
逆风飞翔的小叔·2024-02-15 10:22

Hive on Spark配置

前提条件1、安装好Hive，参考：Hive安装部署-CSDN博客2、下载好Spark安装包，链接：https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?
在下区区俗物·2024-02-15 10:51

配置hive on spark

配置hiveonspark1、上传Spark纯净版jar包到HDFS：hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

如何从0到1找到精准用户、搭建高转化社群

2015年年本人亲自操盘的一个项目，当时在教育培训机构，主要从事IT技术，大数据等相关技术培训，作为运营负责人因为业务需要，去开发和拓展新的项目。虽然项目本身量级比较小，但整体思路和逻辑大同小异。
summer小怪·2024-02-15 10:57

有什么类似无限游戏盒的app 跟无限游戏盒差不多的app叫什么

为了帮助玩家选择靠谱的平台，本文根据大数据统计整理了几个值得推荐的内部福利手游平台。让我们一起来看看吧！
会飞的鱼儿·2024-02-15 10:51

如何在极低成本硬件上落地人工智能算法 —— 分布式AI

**物联网（IoT）与智能设备**：-分布式AI使得AI能够下沉到终端设备，实现端到端的智能化，尤其是在智能家居、自动驾驶汽车、无人机、工业机器人等领域，可以实时处理大量数据，做出快速响应。2.
初心不忘产学研·2024-02-15 10:20

普惠金融，大型银行应发挥头雁效应

普惠金融“知易行难”的关键是信息不对称、信息不充分，但这一“堵点”正在被互联网、大数据、人工智能等技术的跨越式发展所突破。小微也有大市场，能做大文章；不仅不可不为，更大有可为。
木易的简单生活·2024-02-15 09:05

力压国际云巨头，阿里云成为全球云计算市场领军者 ...

随着互联网技术的飞速发展，大数据已经成为了炽手可热的社会发展趋势，它不仅能够帮助企业实现数字化转型，同时也能为整个社会创造巨大贡献，而这一切的背后依托的是云技术的支撑。
weixin_33985679·2024-02-15 09:14

忆享聚焦|全球云计算市场份额、数字虚拟人、“元宇宙”实体店……近期行业热点速览

适度超前推进网络、平台、安全三大体系建设，提升工业互联网大数据中心、标识解析体系、安全
忆享科技·2024-02-15 09:13

Kafka(一)

第1章Kafka概述1.1定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
xxxxxxxpp·2024-02-15 09:10

（三十八）大数据实战——Atlas元数据管理平台的部署安装

前言ApacheAtlas是一个开源的数据治理和元数据管理平台，旨在帮助组织有效管理和利用其数据资产。为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，形成数据字典。并为数据分析师和数据治理团队提供围绕这些数据资产的协作功能。本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

大数据搜索引擎之ElasticSearch安装篇(资源)

2019独角兽企业重金招聘Python工程师标准>>>实验平台：操作系统：CentOS7软件链接（官网）：https://www.elastic.co/productsElasticsearch介绍ELK由Elasticsearch、Logstash和Kibana三部分组件组成；他们都是开源免费的工具。简述如下：Elasticsearch是个开源分布式搜索引擎，特点网上一搜到处是：分布式，零配置，
weixin_34049948·2024-02-15 08:38

solr —— 1 全文检索Solr8.0第一部分

为什么要用slor2HelloWorld2.1项目安装部署2.2项目安装配置创建核心创建document(表)添加文件查询数据3solr后台管理页面详解控制面板5全文检索千万级别数据实战，全面剖析架构设计，大数据瓶颈突破
苏打饼干没加心·2024-02-15 08:38

如何使用AIGC才能有利于创新能力的培养

人工智能和大数据技术在许多领域中发挥着越来越重要的作用，但过度依赖这些技术可能会对创新能力的培养产生负面影响。首先，过度依赖人工智能和大数据技术可能会导致我们失去独立思考和创新的能力。
人机与认知实验室·2024-02-15 08:06

（三十七）大数据实战——Solr服务的部署安装

前言Solr是一个基于ApacheLucene的开源搜索平台，它提供了强大的全文搜索、分布式搜索和数据分析功能。Solr可以用于构建高性能的搜索应用程序，支持从海量数据中快速检索和分析信息。Solr使用倒排索引和先进的搜索算法，可实现快速而准确的全文搜索。Solr可以在多个服务器上进行水平扩展，实现分布式搜索和负载均衡。Solr支持复杂的过滤、排序和范围查询，使您可以根据各种条件对搜索结果进行精确
厉害哥哥吖·2024-02-15 08:05

基于Java学生干部管理系统设计和实现(源码+LW+部署讲解)

Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌主要内容：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据
java李杨勇·2024-02-15 08:00

怎么做引流推广？互联网推广引流该怎么做？

现在是互联网大数据时代，互联网根据社会群体属性，可以根据用户偏好和特点智能推广广告形式的需求，可以准确推送、定制.灵活.准确，传播快.效果好等优点。
九千营销·2024-02-15 08:10

机器学习材料性能预测与材料基因工程如何整？

近几年随着大数据和人工智能介入，通过采用支持向量机、神经网络等机器学习算法训练数据集来构建模型，以预测材料的结构、吸附特性、电学特性、催化性能、力学特性和热力学特性等性能，大大推动了新型材料的发现和传统材料的更
cuiliuyun·2024-02-15 08:11

广电智能|智慧监所解决方案！

智慧监所解决方案一、建设背景当前，全球新一轮科技革命方兴未艾，大数据、云计算、人工智能、移动互联、物联网等信息技术迅猛发展，正广泛而深刻的渗透和影响着人类生活，成为推动经济社会发展的强大引擎和提升国家治理能力的
广而电之·2024-02-15 07:15

最怕青蛙长脑子

媒体把这种担心，做了调查，变成一篇以“大数据”为支撑的文章，我不知道这算不算是另一种“fakenews”。到底是能为生活减压；感受为人父母的不容易；还是折射现代都市人的空虚和生存能力？
XMist·2024-02-15 07:08

以后还会有泡面吗？

今天看新闻，看到饿了么官方发布《2017年中国人民吃相大数据》，其中最壕的一位用户一年点了1639单外卖，而最强的一位饿了么骑手一年送外卖26674趟。
猛虎哥·2024-02-15 06:49

IDEA流式处理 Debug Stream Trace 控制面板

IDEA流式处理DebugStreamTrace控制面板1、断点代码publicstaticvoidmain(String[]args){List>customers=Arrays.asList(Optional.of
one 大白(●—●)·2024-02-15 06:21

肖锋

博特利华供应链3大股东发改委（创新奖励上海国资委高（公路港，1万台矿机内蒙大数据（托管进几亿？欧元平行进口车刘涛（年挣600万每日代收？
芮涵琪雪·2024-02-15 06:15

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark
kikiki2·2024-02-15 06:39

淘宝返利优惠券app？淘宝优惠券返利app哪个最好

淘宝优惠券返利APP排行榜TOP10这是通过上千万的“网购达人”及“分享达人”用户亲身体验上百款淘宝返利APP后大数据统计出的结果,希望可以给大家带来一定的帮助。
日常购物技巧呀·2024-02-15 04:29

51单片机——定时器和中断

1.中断系统1.中断系统是为使CPU具有对外界紧急事件的实时处理能力而设置的；当中央处理机CPU正在处理某件事的时候外界发生了紧急事件请求，要求CPU暂停当前的工作，转而去处理这个紧急事件，处理完以后，
沉眠温柔·2024-02-15 04:44
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他