生产实战spark

DAG (directed acyclic graph) 作为大数据执行引擎的优点

TL;DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen·2024-09-06 04:43

HarmonyOS实战开发：方舟编译器运行指南-ArkCompiler

方舟编译器简介方舟编译器(ArkCompiler)是为支持多种编程语言、多种芯片平台的联合编译、运行而设计的统一编译运行时平台。ArkCompiler主要分成两个部分：编译工具链与运行时。ArkCompilereTSRuntime主要由四个子系统组成：CoreSubsystem、ExecutionSubsystem、CompilerSubsystem、Runtimesubsystem。ArkCom
小小煤球·2024-09-06 04:42

Spark的Web界面

http://localhost:4040/jobs/在顶部导航栏上，可以点击以下选项来查看不同类型的Spark应用信息：Jobs-此视图将列出所有已提交的作业，并提供每个作业的详细信息，如作业ID、名称
静听山水·2024-09-06 04:40

Java实战：分布式ID生成方案

在分布式系统的设计与开发过程中，如何生成全局唯一、有序且高可用的ID是一个绕不开的核心问题。尤其是在电商、社交网络、金融交易等领域，ID不仅是业务数据的重要标识，还可能直接影响系统的稳定性和扩展性。本文将深入剖析分布式ID生成方案的设计原则、常见算法，并通过Java示例展示一种可行的实现方式。一、分布式ID生成的需求分析全局唯一性：在分布式环境下，必须保证生成的ID在全球范围内不重复，避免数据冲突
拥抱AI·2024-09-06 04:39

实时渲染云交互助力汽车虚拟仿真新体验！

在设计方面，通过在计算机上构建三维模型进行形状、颜色、材质的调整，并分析气动性、结构性和热性以提升外观和功能；制造方面，通过模拟生产流程、零部
3DCAT实时渲染云·2024-09-06 03:06

20190812复盘报告

数学85分，材科110分（牢记目标，一直不敢忘）距离2020考研还有131天PDCA复盘如下：P计划：1.实习：安心上班2.考研：跟着走D结果：完成了团建培训，通威企业文化培训，行政管理制度培训，安全生产公司级培训
Der浩研途漫漫·2024-09-06 02:47

Flink生态与未来

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz核心组件栈Flink
weixin_30394333·2024-09-06 02:00

mysql 72GB生产环境配置

64GB的,innodb_buffer_pool_size40GB[client]port=3306socket=/tmp/mysql.sock[mysqld]server-id=22port=3306user=mysqlbasedir=/usr/local/mysqldatadir=/mysqldata/datatmpdir=/mysqldata/tmpsocket=/tmp/mysql.soc
SkTj·2024-09-06 01:48

【python】Python实现XGBoost算法的详细理论讲解与应用实战

✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。《博客》：Python全栈，PyQt5和Tkinter桌面开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生K
景天科技苑·2024-09-06 01:51

闲话安全

图片发自App今天的武威南城门楼，异常的热闹，“安全生产月”宣传咨询活动，就在南城门楼下举行，在它北边不到1000米的文化广场，各家医院又在搞“世界献血日”宣传活动，似乎两个活动都不搭，仔细想想，却又都关乎生命
一为迁客·2024-09-06 01:59

读《小岛经济学》——小岛居民的命运与经济息息相关，彼得·希夫

生产力逐步提高，为了保护自己的生命财产，诞生了政府。为了竞选上台，政客们盲目承诺，为了履行承诺而不断扩大政府的支出将小政府逐渐变成大政府。
替你读书的Mr_L·2024-09-06 00:55

集成电路学习：什么是RTOS实时操作系统

它能够在外部事件或数据产生时，以足够快的速度进行处理，并在规定的时间内控制生产过程或对处理系统做出快速响应。
limengshi138392·2024-09-06 00:13

Web前端最新2024 跳槽涨薪必不可少面试通关宝典 —— css 篇(1)，Web前端面试题初级

开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】取消盒子的
2401_84433769·2024-09-05 23:38

最全金融数据_PySpark-3(2)，大数据开发学习的三个终极问题及学习路线规划

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取frompyspark.ml.evaluationimportBinaryClassificationEv
2401_84185145·2024-09-05 23:38

不一样的SQL优化

实施找到我经研究，为A表没有索引所致+索引2：生产环境二次测试+索引之后，情况好了很多速度快了六七十倍但仍然过九3：现状用户进来必定会执行一次无条件查询（全表扫描）涉及2700W条数据4：慎重决定用户进入页面之后
一键三联鸭~·2024-09-05 22:35

文章汇总 | 2018

12月RIA便签学习法10月财富最好的定义Spark分布式原理及碰到的三个坑在不断解决问题(矛盾)的过程进步9月《韭菜的自我修养》-股票交易是零和游戏吗?
学习之术·2024-09-05 22:27

Ingest Pipeline & Painless Script

包含3个字段，tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags":"hadoop,elasticsearch,spark
折纸虚桐·2024-09-05 22:03

android mvvm官方demo,Android MVVM实战Demo完全解析

最新【重大更新说明】感谢各位读者的阅读，这篇文章由于年代久远，存在一些错误的观点，再次向大家道歉，也做一个技术上的解释说明。受限于当时的技术水平和网络论调，在那个时代，网上绝大多数人都认为加了databinding就是mvvm了，实际上不是这样的，MVVM是一种架构模式，而DataBinding是一个实现数据和UI绑定的框架，是构建MVVM模式的一个工具。mvvm和MVP有一个比较大的区别是：vm
Qianwei Cheng·2024-09-05 22:32

Java修炼之道--并发编程

参考资料：《Java并发编程实战》第一部分：并发编程1.线程状态转换新建（New）创建后尚未启动。可运行（Runnable）可能正在运
weixin_30312557·2024-09-05 22:32

Spark作业提交

一.作业提交1.1作业提交模式spark作业提交使用spark-submit命令，作业提交模式有cluster和client两种。
Tom无敌宇宙猫·2024-09-05 22:26

Spark基础

一.基础1.RDD机制  1.rdd分布式弹性数据集，简单的理解成⼀种数据结构，是spark框架上的通⽤货币。所有算⼦都是基于rdd来执⾏的，不同的场景会有不同的rdd实现类，但是都可以进⾏互相转换。
Tom无敌宇宙猫·2024-09-05 22:26

2020-11-27晨间日记

今天是什么日子起床：5:40就寝：天气：心情：纪念日：任务清单昨日完成的任务，最重要的三件事：生产力如行提升之培到生产进度安排与烤漆厂沟通烤漆进度事宜主持密封圈异常检讨思考如何开展品质年活动读书改进：昨天没有早起和晨跑习惯养成
springMT·2024-09-05 22:58

Go语言自学系列 | golang标准库errors

视频来源：B站《golang入门到项目实战[2021最新Go语言教程，没有废话，纯干货！持续更新中...]》一边学习一边整理老师的课程内容及试验笔记，并与大家分享，侵权即删，谢谢支持！
热爱编程的通信人·2024-09-05 21:56

鸿蒙 HarmonyOS学习日记 Day 2 界面开发、布局

文章目录一、界面开发1、代码书写方式2、界面开发-布局思路3、组件的属性方法4、文字溢出省略号、行高5、Image图片组件6、输入框与按钮四、综合实战-华为登录五、svg图标六、布局元素的组成二、单位问题一
林钟雪·2024-09-05 21:54

AI多模态实战教程：面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理

一、项目简介MiniCPM-V系列是专为视觉-语⾔理解设计的多模态⼤型语⾔模型（MLLMs），提供⾼质量的⽂本输出，已发布4个版本。1.1主要模型及特性（1）MiniCPM-Llama3-V2.5：参数规模:8B性能:超越GPT-4V-1106、GeminiPro、Qwen-VL-Max和Claude3，⽀持30+种语⾔，多模态对话，增强OCR和指令跟随能⼒。部署:量化、编译优化，可⾼效部署于端侧
AIGCmagic社区·2024-09-05 21:23

2024年高教社杯全国大学生数学建模竞赛B题思路（2024数学建模国赛B题思路）

B题生产过程中的决策问题某企业生产某种畅销的电子产品，需要分别购买两种零配件（零配件1和零配件2），在企业将两个零配件装配成成品。
迎风斯黄·2024-09-05 19:42

物联网平台开发核心技术揭秘-架构设计篇

引言上一篇物联网平台开发实战-初探从宏观层面了解了物联网平台相关内容。随着物联网的快速发展和普及，越来越多的企业和机构开始构建自己的物联网平台。
架构师修炼·2024-09-05 19:09

20200619（235）忙碌的一天

意外的是，一个搞生产的同事工作的时候不小心把手给割破了，开了一个将近两厘米的口子，还好及时用云南白药止血了，但是还是去医院缝了两针。
Larus_317b·2024-09-05 19:16

【python】python代码打包工具cx_Freeze的介绍、原理、用法及实战案例分析

✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。《博客》：Python全栈，PyQt5和Tkinter桌面开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生K
景天科技苑·2024-09-05 18:34

CDC 数据实时同步入湖的技术、架构和方案汇总

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
Laurence　·2024-09-05 18:33

项目实战 ---- 商用落地视频搜索系统（4）--- video高效存储

目录背景设计完整代码注意点运行效果背景通过商用落地视频搜索系统1-3，基本上商用系统后台可以开始运作，主体部分可以使用了，虽然效率上还存在一些可以优化的空间，之后的每一节会带着大家一起看看一步一步怎么做。我们现在还需要解决的是video本身的存储，你可能说video本身就存储在自己的电脑或是某个服务器上，可以吗？当然是ok的。但是进一步如果你的系统需要有较为高效的存储，并且有一定的通知管理机制，查
PhoenixAI8·2024-09-05 18:30

项目实战 ---- 商用落地视频搜索系统(3) --- 数据综合查询设计与实现

目录背景商用视频搜索算法设计设计理念搜索策略详细设计源码完整代码代码解读背景向量数据库发展到现在，已经支持了类似hybridsearch的功能。但是必须要指出为了应对商用化大型系统向量查询，如果仅使用hybridsearch，无法从用户功能满足你的功能要求。比如在定义视频相似度时，如何衡量多个视频之间的相似度？如何能通过语义拆分及内容，对视频进行综合排序？如何找到相似视频的关键位置等都是searc
PhoenixAI8·2024-09-05 18:00

复刻手表哪个厂家质量好 - 推荐四个常见的工厂

目前市场上有很多厂家生产复刻手表，但是质量参差不齐。那么，哪个厂复刻手表质量好呢？以下是一份复刻手表质量排行榜，供您参考。
腕表鞋屋·2024-09-05 18:30

记录日常

后来从垃圾桶里捡回牛奶盒一看，生产日期2021年9月26日，保质期六个月。12瓶的金典牛奶，喝了六个月，还没喝完的我，在菊花爆
岂言岂弟·2024-09-05 17:23

Apache Spark简介

ApacheSpark是一个快速而通用的数据处理引擎，用于大规模数据处理和分析。它是由加州大学伯克利分校研究实验室开发的开源项目。
不知名的小Q·2024-09-05 17:52

spark streaming优点和缺点

优点：sparkstreaming会被转化为spark作业执行，由于spark作业依赖DAGScheduler和RDD，所以是粗粒度方式而不是细粒度方式，可以快速处理小批量数据，获得准实时的特性；以spark
scott_alpha·2024-09-05 15:42

springboot整合kafka

文章目录步骤一：添加依赖项步骤二：配置Kafka步骤三：创建一个生产者步骤四：创建一个消费者本教程将介绍如何在SpringBoot应用程序中使用Kafka。
##明天·2024-09-05 15:42

1+X云计算运维与开发(中级)实战案例——Kafka集群部署

前言Kafka是一种开源的流处理平台和消息系统，被设计用于构建实时数据管道和流式应用程序，可以处理大规模的实时数据流，并提供高吞吐量、持久性存储和分布式处理能力。在实时数据处理、日志聚合、指标监控、事件驱动架构等场景下，Kafka有着广泛的应用。它的高性能、可扩展性以及丰富的功能使其成为了大数据领域中的重要工具之一。Kafka中发布订阅的对象是topic。用户可以为每类数据创建一个topic，把向
kuuuugua·2024-09-05 15:41

成年人最好的自律就是管理好自己的情绪

工作，生活处处都是实战场。我个人认为，第一就是把工作和生活分开。生活里包括了工作，但是这里说的生活主要是工作之外的家庭生活之类。
simbfry·2024-09-05 14:31

2023-2024年最值得选的Java毕业设计选题大全：500个热门选题推荐

CSDN特邀作者、211毕业、高级全栈开发程序员、大厂多年工作经验、码云/掘金/华为云/阿里云/InfoQ/StackOverflow/github等平台优质作者、专注于Java、小程序技术领域和毕业项目实战
南河Java·2024-09-05 13:33

2023-2024年最值得选的Java毕业设计选题大全：500个热门选题推荐✅

CSDN特邀作者、211毕业、高级全栈开发程序员、大厂多年工作经验、码云/掘金/华为云/阿里云/InfoQ/StackOverflow/github等平台优质作者、专注于Java、小程序技术领域和毕业项目实战
花椒coding·2024-09-05 13:32

矿山开采与运输中，断链保护器保障设备安全运行

首先，生产会被迫中断，影响矿山的整体生产进度。这不仅会导致产量下降，还可能延误交货时间，给企业带来经济损失。其次，链条故障可能会引发安全
德克西尔传感·2024-09-05 13:32

Django+Vue协同过滤算法图书推荐系统的设计与实现

3.5Vue4数据库表设计5文档参考6计算机毕设选题推荐7源码获取1项目介绍博主个人介绍：CSDN认证博客专家，CSDN平台Java领域优质创作者，全网30w+粉丝，超300w访问量，专注于大学生项目实战开发
赵广陆·2024-09-05 13:31

Django+Vue家居全屋定制系统的设计与实现

3.5Vue4数据库表设计5文档参考6计算机毕设选题推荐7源码获取1项目介绍博主个人介绍：CSDN认证博客专家，CSDN平台Java领域优质创作者，全网30w+粉丝，超300w访问量，专注于大学生项目实战开发
赵广陆·2024-09-05 13:31

2023-2024年最值得选的Java毕业设计选 题大全：500个热门选题推荐✅

CSDN特邀作者、211毕业、高级全栈开发程序员、大厂多年工作经验、码云/掘金/华为云/阿里云/InfoQ/StackOverflow/github等平台优质作者、专注于Java、小程序技术领域和毕业项目实战
阿光的code小屋·2024-09-05 13:30

科普一下复刻手表在哪里买比较靠谱？为何不看看这几个渠道

腕表咨询微信：10428850复刻手表的材料与工艺复刻手表的生产过程中需要用到与原版手表相似的材料，例如精钢、黄金、陶瓷等，同时制表工匠还需采用精细的加工工艺和先进的技术手段。
腕表世界·2024-09-05 13:16

【AIGC】Whisper语音识别模型概述，应用场景和具体实例及如何本地搭建Whisper语音识别模型？

所属的专栏：TensorFlow项目开发实战，人工智能技术主页：我们的天空一、Whisper语音识别模型概述Whisper是由Ope
@我们的天空·2024-09-05 12:27

京准电钟：NTP授时服务器（卫星授时）助力云计算

京准电钟：NTP授时服务器（卫星授时）助力云计算京准电钟：NTP授时服务器（卫星授时）助力云计算摘要：控制系统时钟同步是生产装置停车原因分析的关键。
安徽京准·2024-09-05 12:27

SSL/TLS协议核心原理解析与实战

什么是SSL/TLSSSL（securesocketslayer，安全套接层）安全传输技术。TCP是传输层的协议，但是它是明文传输的，是不安全的。SSL的诞生给TCP加了一层保险，为TCP通信提供安全及数据完整性保护。TLS只是SSL的升级版，它们的作用是一样的。TLS（TransportLayerSecurity，传输层安全协议）由两层组成：TLS记录（TLSRecord）和TLS握手（TLSH
编程小海浪·2024-09-05 12:55

Spark

Spark是一个快速的、通用的集群计算系统，主要用于大规模数据处理。它最早由加州大学伯克利分校的AMPLab开发，并于2010年开源，后来由Apache软件基金会管理。
傲雪凌霜，松柏长青·2024-09-05 11:20
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他