深入理解Spark

深入理解网络爬虫的基本原理和应用

网络爬虫是一种自动化程序，通过模拟人类在互联网上浏览网页的行为，从网页中提取出所需的信息。它在数据采集、处理和分析等领域发挥着重要作用。本文将详细介绍网络爬虫的基本原理、工作流程、爬取内容的组成，以及在数据处理和分析方面的应用。随后，我们还将提供一份Python示例代码，演示如何使用这些原理创建一个简单的网络爬虫。一、网络爬虫的定义与作用网络爬虫是一种自动获取网页内容的程序，它通过特定的协议（如H
白话Learning·2024-01-28 17:47

pyspark在windows下java.net.SocketException: Connection reset by peer 错误

pyspark在windows加载数据集训练模型出现以下错误java.net.SocketException:Connectionresetbypeer:socketwriteerroratjava.net.SocketOutputStream.socketWrite0
walk walk·2024-01-28 15:49

2023年快要结束了，今年哪些计算机书值得推荐？

2、C++Templates（第2版）中文版C++领域热门图书新升级，详细介绍模板技术，针对新标准更新内容，帮助读者深入理解C++模板技术，掌握简洁、易维护的软件开发之道。
人邮异步社区·2024-01-28 14:54

spark-streaming与kafka的整合

1.概述在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-basedApproach，
王大为学习笔记·2024-01-28 14:47

[SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema

1、开发环境spark-2.1.0-bin-hadoop2.62、Rdd转换成DataFrame，为字段添加列信息参数nullable说明：Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森·2024-01-28 13:51

[AIGC大数据基础] Spark 入门

其中，Spark作为一个快速、通用的大数据处理引擎备受关注。本文将从“是什么、怎么用、为什么用”三个角度来介绍Spark。
程序员三木·2024-01-28 12:32

【Go】深入理解 Go map：赋值和扩容迁移 ①

文章目录map底层实现hmapbmapmaphash冲突了怎么办？map扩容触发扩容时机扩容小结为什么map扩容选择增量（渐进式扩容）？迁移是逐步进行的。那如果在途中又要扩容了，怎么办？map翻倍扩容原理map写入数据内部执行流程写入数据读取数据map扩容总结map优化点mapgc优化手段利用bigcache优化全局mapgo-zerosafemap避免OOM分析map底层实现熟悉map结构体的读
curd_boy·2024-01-28 12:51

深入理解java虚拟机之判断Java对象存活算法

Java一个重要的优势就是通过垃圾管理器GC（GarbageCollection）自动管理和回收内存，程序员无需通过调用方法来释放内存。也因此很好多的程序员可能会认为Java程序不会出现内存泄漏的问题，这种想法是不对的，当我们对内存使用不当的时候仍然可能会出现内存泄漏，并且问题相对与c++来说更隐秘，问题的根源排查起来也比较困难。不过，当我们了解了Java虚拟机内存区域，Java垃圾收集器之后，对
anwen3267·2024-01-28 12:10

Impala-shell卡顿分析——记一次曲折的Debug经历

Impala-shell卡顿分析——记一次曲折的Debug经历问题发现最近准备在Impala中增加对UTF-8的支持，以修正跟Hive、Spark等基于Java的系统在UTF-8字符串上的不兼容表现（如
stiga-huang·2024-01-28 12:06

Impala元数据简介

Impala元数据简介背景Impala是一个高性能的OLAP查询引擎，与其它SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata
stiga-huang·2024-01-28 12:05

Spark:Task Locality参考

DatalocalitycanhaveamajorimpactontheperformanceofSparkjobs.Ifdataandthecodethatoperatesonitaretogetherthencomputationtendstobefast.Butifcodeanddataareseparated
liuzx32·2024-01-28 12:38

新媒体运营这条路好走吗？

个人的理解运营的本质就是拉新和留存，深入理解一个公司为什么要运营这个岗位，即为了拉新再进行变现，从而实现盈利。那拉新这个环节需要我们做
Ring_Tan·2024-01-28 10:14

php phar 混淆,深入理解PHP Phar反序列化漏洞原理及利用方法（一）

Phar反序列化漏洞是一种较新的攻击向量，用于针对面向对象的PHP应用程序执行代码重用攻击，该攻击方式在BlackHat2018会议上由安全研究员SamThomas公开披露。类似于对编译二进制文件的ROP(Return-orientedProgramming)攻击，这种类型的漏洞利用PHP对象注入(POI)，这是面向对象的PHP代码上下文中的一种面向属性的编程(POP)。由于其新颖性，这种攻击媒介
永远的12·2024-01-28 10:34

Spark 的宽依赖和窄依赖

ApacheSpark中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西·2024-01-28 08:52

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

文章目录TreesRulesSparkSQL中使用CatalystAnalysis逻辑优化（LogicalOptimizations）物理计划（PhysicalPlanning）代码生成（CodeGeneration
Southwest-·2024-01-28 08:18

Spark——Spark覆盖分区表中指定的分区

问题描述Spark中向分区表写数据的时候，如果写入模式为“overwrite”，那会将整个表覆盖掉；如果写入模式为“ap
Southwest-·2024-01-28 08:18

Spark——Spark OOM Error问题汇总分析

.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考Spark
Southwest-·2024-01-28 08:17

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。
Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致
Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用
Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-·2024-01-28 08:46

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter
Southwest-·2024-01-28 08:42

深入理解 apply、call、bind

我们知道，在代码的世界里，一切皆为对象。函数也不例外，既然是对象，那么就可能有属性和方法，今天就聊一聊函数中的apply、call、bind方法。apply使用函数的apply方法，调用的时候会改变函数this值。是的，使用apply，其实进行了两个操作：执行函数，改变this值。apply方法接收两个参数，第一个参数是改变this值的对象，第二个参数是一个数组，数组的元素会依次传入到函数的命名参
柯腾啊·2024-01-28 08:11

javascript之深入理解词法作用域

作用域作用域是指程序源代码中定义变量的区域。作用域规定如何查找变量，也就是确定当前执行代码对变量的访问权限。JavaScript采用词法作用域，即静态作用域。静态作用域和动态作用域静态作用域是指函数作用域在函数定义的时候就决定了；相比动态作用域是指函数的作用域在函数调用的时候才决定。如下例子：varvalue=1;functionfoo(){console.log(value);}function
阿拉斯加南海岸线·2024-01-28 07:11

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

深入理解TCP网络协议,三次握手

目录1.TCP协议的段格式2.TCP原理2.1确认应答2.2超时重传3.三次握手(重点)1.TCP协议的段格式我们先来观察一下TCP协议的段格式图解:源/目的端口号:标识数据从哪个进程来,到哪个进程去32位序号/32位确认号:TCP会话的每一端都包含一个32位（bit）的序列号，该序列号被用来跟踪该端发送的数据量。每一个包中都包含序列号，在接收端则通过确认号用来通知发送端数据成功接收4位TCP报头
老cu·2024-01-28 07:45

go sync.Map 设计与实现

本文基于Go1.19在上一篇文章中（《深入理解gosync.Map-基本原理》），我们探讨了go中sync.Map的一些基本内容，如map并发使用下存在的问题，如何解决这些问题等。
白如意i·2024-01-28 07:36

软件测试活动中，如何评估测试范围？

要点1.理解需求和规格说明测试的起点是深入理解软件的需求和规格说明。通过详细阅读这些文档，测试人员可以识别关键
Chowley·2024-01-28 06:32

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

深入理解Java的反射机制

首先我们需要先了解程序的运行过程：从源文件创建到程序运行，Java程序要经过两大步骤：编译，运行；1、源文件由编译器编译成字节码（ByteCode）；2、字节码由java虚拟机解释运行。第一步(编译):创建完源文件之后，程序会先被编译为.class文件。Java编译一个类时，如果这个类所依赖的类还没有被编译，编译器就会先编译这个被依赖的类，然后引用，否则直接引用。如果java编译器在指定目录下找不
@Autowire·2024-01-28 05:12

java的自省机制_深入理解Java反射机制

前言最近在接触Android的组件化原理的时候，发现自己对Java反射的机制理解并不是很深，只能利用周末的时间把Java反射机制回炉重铸。什么是Java反射反射机制是Java语言提供的一种基础功能，赋予了Java程序在运行时的自省(introspect，官方用语)的能力。通过Java的反射机制，程序员可以在Java程序在运行态的时候操作任意的类或者对象的属性、方法。利用Java的反射机制，可以做到
一朵小小玫·2024-01-28 05:41

深入理解Java反射机制原理、使用方法

目录一、反射基础1.反射的用途2.了解反射的底层运作直接使用类使用反射总结3.反射的缺点二、在Java中使用反射1.获取类型信息1.1.Object.getClass()1.2.XXX.class1.3.Class.forName()1.4.Integer.TYPE1.5.通过反射类ClassAPI获取类2.获取类的成员变量2.1.获取字段：2.2.获取方法：2.3.获取构造器：3.操作java.
涝山道士·2024-01-28 05:10

[Java] 深入理解Java反射机制（TODO）

目录一、1.2.二、1.一、1.2.二、1.参考：《深入理解Java类型信息(Class对象)与反射机制》
华Zia·2024-01-28 05:40

深入理解Java反射机制

深入理解Java反射机制Java反射机制是Java语言中一个强大而灵活的特性，它允许程序在运行时访问、检查和修改类的行为。反射机制主要由java.lang.reflect包中的类和接口提供支持。
来自宇宙的曹先生·2024-01-28 05:10

MQ面试题之Kafka

MQ面试题之Kafka1.kafka架构只需深入理解上图即可清楚Kafka的工作流程。描述一下Kafka是什么，以及它的主要特点是什么？Kafka是由Apache软件基金会开发的一个开源流
for62·2024-01-28 05:39

逆境鸡汤，送给正在逆境中奋斗的你，干杯！

如果想要深入理解其中的道理，必须要亲自实践才行。4.道德是永远的，财富是暂时的。5.虽然世界多苦难，但是苦难总是能战胜的。——海伦·凯勒6.好的运气令人羡慕，而战胜厄运则今人惊佩。
万益快讯·2024-01-28 03:24

深入理解指针（三）

深入理解指针（三）目录深入理解指针（三）1.字符指针变量2.数组指针2.1数组指针是什么？
阿祥成长日记·2024-01-28 00:52

深入理解指针（四）

目录1.回调函数的实现2.qsort的使用2.1简单了解qsort2.2使用qsort函数对结构体类型数据进行排序利用age来进行排序用姓名来进行排序3.模拟实现qsrot函数1.回调函数的实现什么是回调函数，回调函数就是⼀个通过函数指针调⽤的函数。如果你把函数的指针（地址）作为参数传递给另⼀个函数，当这个指针被⽤来调⽤其所指向的函数时，被调⽤的函数就是回调函数。回调函数不是由该函数的实现⽅直接调
阿祥成长日记·2024-01-28 00:52

深入理解指针（一）

目录深入了解指针（一）1.指针变量和地址2.指针变量3.指针的解引用4.指针+整数的运用指针+整数的用法实操5.void类型指针6.const修饰指针6.1const作用6.2const在*左边6.3const在*右边6.4双指针玩法6.5双const6.6总结7.指针的运算7.1指针+-整数7.2指针-指针指针-指针的意义作用7.3指针关系运算8.野指针8.1指针未初始化8.2指针越界访问8.3
阿祥成长日记·2024-01-28 00:22

深入理解指针(指针练习)

目录1.strlen和sizeof的区别1.1sizeof1.2strlen1.3sizeof和strlen对比2.数组和指针笔试题解析2.1一维数组（sizeof）2.2字符数组（sizeof和strlen）sizeofstrlen加入指针变量（sizeof和strlen）2.3二维数组（sizeof求大小）2.4理解数组名的意义3.指针运算笔试题3.1题目一3.2题目二3.3题目三3.4题目四
阿祥成长日记·2024-01-28 00:51

Apache Spark架构与特点

1.背景介绍ApacheSpark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。
OpenChat·2024-01-27 23:35

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

深入理解STM32中断处理机制

深入理解STM32中断及其使用方法（基于HAL库）STM32微控制器作为一款强大的嵌入式系统芯片，在各种应用中都需要使用中断来实现实时响应和处理各种事件。
宁子希·2024-01-27 23:37

深入理解Class文件结构

深入理解Class文件结构概述我们都知道编写的Java的源码会先编译成Class文件，java虚拟机再将Class文件解释编译成对应平台的机器指令，所以能够解析Class文件的数据结构是非常有必要的。
哭泣哭泣帕拉达·2024-01-27 21:08

指针典型例题剖析

本篇重点讲解一维数组、字符数组、二维数组的sizeof和strlen的应用，首先要先回顾以下知识（在博主指针专题的深入理解指针（1）、（2）和（3）中有详细学习）一、做题前的重点知识回顾1.sizeof
✿ ༺小陈在拼命༻✿·2024-01-27 20:08

DS：顺序表的实现（超详细！！）

深入理解指针（1）深入理解指针（2）深入理解指针（3）深入理解指针（4）自定义类型-——结构体动态内存管理如果了解了这三块的知
✿ ༺小陈在拼命༻✿·2024-01-27 20:08

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。
csdn产品小助手·2024-01-27 19:18
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他