Spark（大数据分析引擎）

大数据开发（Hadoop面试真题-卷九）

3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe
Key-Key·2024-03-09 10:06

Spark Streaming（二）：DStream数据源

1、输入DStream和Receiver输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数
雪飘千里·2024-03-09 01:28

C++和rust的比较

C++和Rust是两种非常流行的系统编程语言，都能用于开发性能敏感的应用程序，如操作系统、游戏引擎和嵌入式系统。尽管它们有相似的用途，但在设计理念、内存安全性、并发处理和学习曲线等方面存在显著差异。
DevDiary·2024-03-09 01:24

关于JVM的小总结（待补充）

JVM组成及他们之间的关系装载类子系统字节码执行引擎运行时数据区装载类子系统类加载器字节码调节器类加载运行时数据区字节码执行引擎运行时数据区线程私有虚拟机栈本地方法栈程序计数器线程共享堆方法区（元空间）
纸巾哥哥·2024-03-08 14:09

Spark常见问题汇总

注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr
midNightParis·2024-03-08 03:25

sprintboot集成flink快速入门demo

一、flink介绍Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。
AskHarries·2024-03-07 04:55

ElasticSearch为什么快？

ElasticSearch是一个高性能，分布式搜索引擎，它之所以快，主要有以下几个原因：1.分布式存储：ElasticSearch使用分布式存储技术，将数据存储在多个节点上从而减少单个节点的压力，提高整体性能
z.jiaminf·2024-03-06 19:14

从入门到精通：Elasticsearch开发实践教程

Elasticsearch是一款开源的搜索引擎，它使用Lucene搜索库作为其核心搜索引擎。Elasticsearch使用RESTfulAPI进行交互，并支持多种数据类型的搜索和聚合。
青年老年程序员·2024-03-05 19:14

hbase、hive、clickhouse对比

mapreduce任务元数据需要单独存储到一个关系型数据库，一般是mysql实际数据存储可以是外表，也可以是内表clickhouse单体架构分层类似mysql，集群状态下是多主，通过zookeeper通信数据存储看引擎
freshrookie·2024-03-05 16:40

SparkShop开源可商用，匹配小程序H5和PC端带分销功能！

SparkShop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统；包含小程序商城、H5商城、公众号商城、PC商城、App，支持页面diy、秒杀、优惠券
行动之上·2024-03-05 15:09

OPENAI SORA：未来视频创作的新引擎——浅析其背后的人工智能算法

Sora-探索AI视频模型的无限可能随着人工智能技术的飞速发展，AI视频模型已成为科技领域的新热点。而在这个浪潮中，OpenAI推出的首个AI视频模型Sora，以其卓越的性能和前瞻性的技术，引领着AI视频领域的创新发展。本文将探讨SORA的定义、应用领域及其重要性，并重点解析其背后的人工智能算法。title_0SORA的定义与应用领域SORA，作为OpenAI推出的首个AI视频模型，代表着视频生成
瑶光守护者·2024-03-03 19:12

【React架构 - Scheduler中的MessageChannel】

前序我们都知道JS代码是在浏览器5个进程(下面有介绍)中渲染进程中的Js引擎线程执行的，其他还有GUI渲染线程、定时器线程等，而页面的布局和绘制是在GUI线程中完成的，这些线程之间是互斥的，所以在执行Js
weixin_44273311·2024-03-03 17:39

每日五道java面试题之mysql数据库篇（一）

第五题.MySQL存储引擎MyISAM与InnoDB区别第一题.为什么要使用数据库?
中北萌新程序员·2024-03-03 17:08

Vue 3.4 - 详细发布说明

一、性能提升渲染优化：Vue3.4对其渲染引擎进行了进一步的优化，特别是在处理大量动态节点和复杂组件树时。通过
大鱼前端·2024-03-03 07:25

【Hadoop】在spark读取clickhouse中数据

clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties
方大刚233·2024-03-03 06:54

2018-01-27-安全测试信息搜集

1.信息收集：1.1放羊式查询1.2GoogleHacking语法filetype:inurl:intext:intitle:site1.3在线专业搜索引擎shodan在线使用，火狐浏览器插件，和Maltego
测试墨·2024-03-03 02:33

Vue 3.4 - 详细发布说明

一、性能提升渲染优化：Vue3.4对其渲染引擎进行了进一步的优化，特别是在处理大量动态节点和复杂组件树时。通过
·2024-03-03 01:33

【自动驾驶】自动驾驶地图构建方法与工具小结

自动驾驶地图构建小结概述制作流程主要利用定位与建图算法（组合导航，视觉、激光SLAM等），融合多种传感器数据，构建高精度、高分辨率的三维语义地图，将要素矢量化，构建要素间的关联关系，通过质检确保质量可靠，形成地图引擎
CS_Zero·2024-03-02 19:39

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

有时间为了解决小文件问题，我们把spark.sql.shuffle.partitions这个参数调整的很小，但是随着时间的推移，数据量越来越大，当初设置的参数就不合适了，那有没有一个可以自我伸缩的参数呢
不想起的昵称·2024-03-02 15:03

hive join中出现的数据暴增（数据重复）

我们来看一下案例：spark-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid
不想起的昵称·2024-03-02 15:03

hive四种常见的join

1.左连接leftjoinspark-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname
不想起的昵称·2024-03-02 15:33

深入理解Lucene：开源全文搜索引擎的核心技术解析

Lucene是一个开源的全文搜索引擎库，提供了强大的文本搜索和检索功能。它由Apache软件基金会维护和开发，采用Java语言编写，因其高性能、可扩展性和灵活性而备受欢迎。
一休哥助手·2024-03-01 14:57

10-Linux部署ElasticSearch

Linux部署ElasticSearch简介全文搜索属于最常见的需求，开源的Elasticsearch（以下简称es）是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。
甲柒·2024-03-01 11:52

什么是重排或回流、重绘？如何减少重排？

首先我们需要先了解浏览器渲染机制，浏览器渲染引擎是浏览器的核心组成部分之一，它负者将网页代码(html,CSS，javaScript)转换为可视化的内容。
·2024-03-01 10:05

MySQL 核心模块揭秘 | 07 期 | 二阶段提交 (1) prepare 阶段

本文基于MySQL8.0.32源码，存储引擎为InnoDB。1.二阶段提交二阶段提交，顾名思义，包含两个阶段，它们是：prepare阶段。commit阶段。
·2024-02-29 22:58

Docker的简单介绍以及常用命令介绍

目录一、Docker的简介二、Docker安装环境配置阿里云镜像仓库配置三、Docker常用命令3.1基本命令3.2镜像命令3.3容器命令一、Docker的简介Docker是一个被广泛使用的开源容器引擎
不念那年晚春·2024-02-29 10:18

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

SSL证书给用户带来什么价值？

本文将从安全性、信任度和搜索引擎排名等方面介绍SSL证书的价值。首先，SSL证书提供了数据加密传输，增强了网站和用户数据的安全性。
2301_77689616·2024-02-28 12:24

微服务架构师封神之路12-Camunda工作流引擎实践 1

微服务架构师封神之路12-Camunda工作流引擎实践1pom.xmlapplication.ymlcamunda配置文件，processes.xml启动类创建数据库启动应用参考资料**罗小爬EX**系列官方文档
B5WANG·2024-02-28 05:44

2023-03-15

简述搜索引擎有哪些类型，各类搜索引擎的工作原理是什么1、文字搜索文字搜索是我们普遍使用的一种搜索方式，基本上所有搜索引擎都是以文字形式检索的，没有特殊性可言，之所以区分出来，是基于对搜索引擎的严格分类，
忧郁的小猪·2024-02-28 04:45

软件报价

按系统报价：*1、软硬件一期打包报价(可基于项目或产品)2、按软件、硬件分开报价(偏向于项目)软件：需求分析，软件设计，前端、后台、开发工作量，测试，部署上线3w人／月引擎：10-20万一种（私有化部署
楼船夜雪_WL·2024-02-27 19:48

ClickHouse表引擎

表引擎在ClickHouse中决定了：数据存储和读取的位置、支持哪些查询方式、能否并发式访问数据、能不能使用索引、是否可以执行多线程请求、数据复制使用的参数，其中MergeTree和Distributed
王百万_·2024-02-27 11:21

java springcloud 微服务设计方案

springcloud+springcloudAlibaba+flowable流程引擎1.代码生成器：[正反双向](单表、主表、明细表、树形表，快速开发利器)freemaker模版技术,0个代码不用写,
IT祖师爷·2024-02-27 10:20

在 Spark 数据导入中的一些实践细节

best-practices-import-data-spark-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化，逐渐体现出了性能上的瓶颈：单机不足以支持更大的图谱
NebulaGraph·2024-02-27 07:53

游戏引擎学习-开篇

--文章游戏引擎学习-开篇作者游蓝海(http://blog.csdn.net/you_lan_hai)1.概述在这几年学习游戏编程的过程中，我积累了一些经验，也记录了一些学习笔记，随着新学的东西越来越多
游蓝海·2024-02-27 01:10

Spark开发_简单DataFrame判空赋值逻辑

valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame
Matrix70·2024-02-26 22:06

将多种现有技术结合在一起，达成高效修改虚拟世界的可行性分析

游戏引擎或建模软件提供了对物理属性的模拟（受力、流体、布料等等诸如此类的功能）。AI提供了对人类语言的意图理解能力，以及声音识别
dalaomanzou·2024-02-26 22:35

使用Node.js开发RESTful API

Node.js是基于ChromeV8引擎的JavaScript运行环境，它的出现使得JavaScript可以在服务器端运行，极大
JJCTO·2024-02-26 14:58

Spark SQL编程指南

SparkSQL编程指南SparkSQL是用于结构化数据处理的一个模块。同SparkRDD不同地方在于SparkSQL的API可以给Spark计算引擎提供更多地信息，例如:数据结构、计算算子等。
<>=·2024-02-26 05:46

《The Art of InnoDB》第二部分｜第4章：深入结构-磁盘结构-表空间

在InnoDB存储引擎中，表空间特指存储和管理表数据、索引、系统信息等内容的文件或文件集合。表空间的概念对数据库管理和性能优化至关重要。
无码之宗·2024-02-25 17:59

【每日前端面经】2023-02-23

题目来源:牛客企业级开发整体流程有哪些项目启动需求调研->需求文档系统设计->设计文档程序开发->开发文档BUG测试->测试文档验收维护遇到技术难题怎么办分析可能出现的原因查找搜索引擎寻问文心一言等对话模型打断点
糠帅傅蓝烧牛肉面·2024-02-25 11:51

百度知道和新浪爱问哪个效果好，怎么收费？

我们在百度知道上回答问题，不仅可以给网站带来流量和人气，还能增加在搜索引擎中的权重，现在利用百
河南贝杰文化传媒有限公司·2024-02-25 07:12

Python自动化部署与配置管理：Ansible与Docker

而Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。
api77·2024-02-25 01:09

Unity3D 框架如何搭建基于纯Lua的U框架与开发模式详解

前言Unity3D是一款非常流行的游戏开发引擎，它支持C#、JavaScript和Boo等多种脚本语言。而Lua语言作为一种轻量级的脚本语言，也在游戏开发中得到了广泛应用。
Thomas_YXQ·2024-02-24 15:56

Gin项目结构搭建

以下是一些Gin框架的特点和优势：快速和高效：Gin使用了基于Radix树的路由引擎，相比其他流行的Go框架，如n
Geek大侠·2024-02-23 23:44

马先声周周说 | 文旅项目解构与分析（演艺引擎）

马先声课程：（需要讲课和培训请联系马先声及克而瑞商旅文团队）1、城市型文旅商业定位操盘与案例分享2、文旅大盘/小镇的商旅文操盘与案例分享3、目的地商旅文街区/古镇定位操盘与案例分享马先声课程系列之商旅文开发思维与运营逻辑，课程时间2小时，包括商旅文的开发逻辑、定位逻辑、运营逻辑、营销逻辑和案例分享。解决开发商文旅和度假盘的配套与运用的底层问题，解决商旅文街区的开发与投资问题，解决文旅商业的复兴与操
无痛穿耳·2024-02-23 18:55

4.SEO

SEO由英文SearchEngineOptimization缩写而来，中文意译为“搜索引擎优化”。其实叫做针对搜索引擎优化更容易理解。
好好学习_fighting·2024-02-23 15:03

InnoDB架构

InnoDB是MySQL数据库的一种存储引擎，它是MySQL默认的存储引擎。InnoDB使用了多版本并发控制（MVCC）来实现高并发性和事务性。
乐神来了·2024-02-23 14:03

Google和Baidu谁更贴近咱中国老百姓？

我们先来看号称最大的中文搜索引擎的BAIDU的LOGO：2005年的中秋节(9月18日)晚上的baidu的LOGO再看Google的LOGO：2005年的中秋节(9月18日)晚上的Google的LOGO
紫郢剑侠·2024-02-23 13:01

智能科技助力服装业：商品计划管理系统的革命性变革

而智能系统通过运用大数据分析和人工智能算法，能够实
第七在线（7thonline）·2024-02-23 12:30
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他