Spark大数据处理学习笔记

什么是分布式搜索引擎

搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相关性的信息服务。
罗彬桦·2024-03-18 20:00

【pip学习笔记】Python包管理器 - pip

深入了解pip：Python包管理器的全面指南安装和升级pip什么是pippip的安装方式在操作系统上进行安装虚拟环境安装与使用pip创建虚拟环境激活虚拟环境虚拟环境中安装pip验证pip安装pip的升级命令行升级pip升级到特定版本的pip基本使用方法安装Python包卸载Python包查看已安装的包更新已安装的包高级使用技巧管理依赖关系安装包的其他选项和参数高级功能和扩展常用问题和故障排除常见
Augenstern K·2024-03-18 07:14

欧阳修《秋声赋》学习笔记

本文是一篇文赋（文赋是一种在赋体上善于铺陈，以四言和六言句式为主，基本押韵的基础上，更加散文化，句式多参差，具有散文气势的文体），此文也是作者晚年之作，虽仕途进入顺境，但多年的政治斗争使他看透官场险恶，看淡名利，所以对官场产生了厌倦之情，再加上开始步入老年，人生迟暮之感滋生，所以以“悲秋”为主题，抒发人生的苦闷和感叹。全诗以“秋声”为引子，抒发草木被风摧残的悲凉，以及作者自己对人生不易的感悟。作者
孙晓梅·2024-03-18 04:24

2022-8-24晨间日记

今天是什么日子起床：5.15就寝：天气：多云心情：好纪念日：任务清单昨日完成的任务，最重要的三件事：改进：习惯养成：周目标·完成进度学习·信息·阅读整理紫微斗数网课学习笔记健康·饮食·锻炼站桩45分钟早上红薯汤
明心279·2024-03-18 02:16

【C/C++ 学习笔记】内存

【C/C++学习笔记】内存视频地址:Bilibili内存分区模型代码区:存放函数体的二进制代码，由操作系统进行管理全局区:存放全局变量和静态变量以及常量栈区:由编译器自动分配释放，存放函数的参数值、局部变量等堆区
糠帅傅蓝烧牛肉面·2024-03-17 22:02

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄·2024-03-17 18:57

PyTorch学习笔记之基础函数篇（四）

文章目录2.8torch.logspace函数讲解2.9torch.ones函数2.10torch.rand函数2.11torch.randn函数2.12torch.zeros函数2.8torch.logspace函数讲解torch.logspace函数在PyTorch中用于生成一个在对数尺度上均匀分布的张量（tensor）。这意味着张量中的元素是按照对数间隔排列的，而不是线性间隔。这对于创建在数
熊猫Devin·2024-03-17 16:54

【Python学习笔记】Python logging模块的学习

Pythonlogging模块基础介绍作用与功能基本用法引入模块创建并配置记录器的基本步骤代码演示日志级别日志消息格式用法介绍代码示例日志的输出位置代码示例日志记录的高级功能对日志记录进行过滤和处理在多个模块中使用同一个日志记录器总结当谈到日志记录时，logging库是Python中最常用的工具之一。它提供了许多功能和选项，使开发人员能够灵活地记录和管理应用程序的日志信息。引入logging作为P
Augenstern K·2024-03-16 14:21

android 事件分发笔记

这是学习笔记，以我看得明白为主。
呆咖啡·2024-03-16 07:11

【深度学习笔记】1 数据操作

注：本文为《动手学深度学习》开源内容，仅为个人学习记录，无抄袭搬运意图数据操作在深度学习中，我们通常会频繁地对数据进行操作。作为动手学深度学习的基础，本节将介绍如何对内存中的数据进行操作。在PyTorch中，torch.Tensor是存储和变换数据的主要工具。如果你之前用过NumPy，你会发现Tensor和NumPy的多维数组非常类似。然而，Tensor提供GPU计算和自动求梯度等更多功能，这些使
RIKI_1·2024-03-16 02:02

【《中庸》学习笔记】第20课：君子居易以俟命

第20课读原文：君子居易以俟命，小人行险以徼幸。子曰：“射有似乎君子，失诸正鸪，反求诸其身。”悟原理：大意是说，君子安分守己，履行自己的使命，小人却铤而走险，心存侥幸。孔子说，君子为人处世就像射箭一样，射不中，反躬自省，自己的剑术是否不够高。我们先学习第一句“君子居易以俟命”。我们先来看“居易”，唐朝有一位大家都熟悉的大诗人白居易，可见居易这两个字在古人心中的地位。什么是易？这里的易不是容易的易，
毓秀红林·2024-03-15 16:11

Python学习笔记(1)——环境安装与变量

python环境安装-python2还是python3python2只支持到2020年，并且python2和3有不少用法差异。要是刚学完python2不久就发现过时了这就很尴尬了，所以推荐使用python3-安装环境推荐：Anaconda+pychamAnaconda是一个python的科学计算包，python环境，常用模块以及工具都包含在里面，省心省力官网：https://www.anacond
ThinkerChenYi·2024-03-15 14:45

W800和W801小小白级入门记录01

STC15的单片机做过几个小东西，最近准备做点复杂的，带WIFI的，所以就看上了W801，都说是个坑，却偏偏想踩踩，结果经过三天的折腾，就有了这篇小小白的入门级别记录，万一过段时间忘记了，也相当于给自己做个学习笔记
sunyu1·2024-03-15 08:05

C#(C Sharp)学习笔记_变量常量与作用域【十二】

变量变量是用来存储数据值的标识符。你可以将变量视为内存中的一个位置，这个位置可以保存不同类型的数据。同时，变量也被称作为类中的成员变量在C#中声明变量时，你需要指定变量的类型，这告诉编译器你打算在变量中存储什么类型的数据。常量在C#中，常量（也称为字面量或常量值）是一种在编译时确定并在程序执行期间不可更改的值。常量可以是任何基本数据类型（如整数、浮点数、字符等）的值，也可以是字符串、枚举类型或引用
tiamo_16·2024-03-14 16:13

px、rpx、rem、pt、dpr学习笔记

1）px分辨率是屏幕像素的数量，一般用屏幕宽乘以屏幕高度的像素点，如iphone6的分辨率为750*1334；英寸表示屏幕斜对角的长度；分辨率分为物理分辨率和逻辑分辨率，设计师通常给的是物理分辨率，程序中用到的是逻辑分辨率，但都称为分辨率，物理分辨率是硬件所支持的分辨率，逻辑分辨率是软件可以达到的分辨率；px是物理分辨率，和屏幕尺寸没有关系，点是没有大小的，只有个数之分，photoshop里面量出
puxiaotaoc·2024-03-14 08:11

Spark的数据结构——RDD

RDD的5个特征下面来说一下RDD这东西，它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域，大数据都是分割成若干个部分，放到多个服务器上，这样就能做到多线程的处理数据，这对处理大数据量是非常重要的。分区意味着，可以使用多个线程了处理。Afunctionforcomputingeachsplit：作用在
bluedraam_pp·2024-03-14 08:32

阿里云分布式深度学习训练架构Whale

阿里云分布式深度学习训练架构Whale阿里云分布式深度学习训练架构Whale参考文献Whale基于Tensorflow深度学习分布式训练框架|学习笔记Whale:EfficientGiantModelTrainingoverHeterogeneousGPUs
qwfys200·2024-03-14 07:30

学习笔记——计算机网络（Internet、网络边缘）

一、Internet网络是由多个计算机和其他网络设备通过通信链路相互连接而形成的互联网，用于实现数据传输和资源共享。它是现代信息社会中不可或缺的基础设施。1.计算机网络：通过通信链路连接；以共享资源为目标；资源包括：计算机硬件、软件、信息和对他人有用的东西。—————————————2.构成网络的重要概念：节点：主机及其是上运行的应用程序；路由器、交换机等网络交换设备。边：通信链路接入网链路：主机
D D D D C·2024-03-14 03:25

stm32的SysTick外设介绍——学习笔记

简介：SysTick即系统定时器是一个内核外设，而不是片上外设，寄存器手册说明需要查看《Cortex-M3编程手册》，具体是哪一款内核就查哪一款内核的手册,我用的stm32f103所以我查的Cortex-M3。其实就是个24位递减计数器，计一个数时间是1/SYSCLK，stm32f103里面SYSCLK=72MHZ，所以其计数周期是1/72*10^6s=1/72us。(1s=10^6us)，当从初
Linux嵌入式木子·2024-03-13 14:07

flink重温笔记（十五）： flinkSQL 顶层 API ——实时数据流转化为SQL表的操作

Flink学习笔记前言：今天是学习flink的第15天啦！
那就学有所成吧(˵¯͒¯͒˵)·2024-03-13 09:32

大数据开发（Spark面试真题-卷一）

大数据开发（Spark面试真题）1、什么是SparkStreaming？简要描述其工作原理。2、什么是Spark内存管理机制？请解释其中的主要概念，并说明其作用。
Key-Key·2024-03-13 07:58

Python 学习笔记 080

csv复制小程序开发心得——01程序思路记录嗯，因为第一次写程序的原因吧，思路可能真的比较多，也比较乱，所以就都写上来咯，顺便也是一个自我整理的过程！1.开发背景及目的1.1开发背景嗯，其实前面的引言应该也说了，主要是工作需要，真的就是这样。所以首先说下工作相关背景吧！1.1.1工作背景工作在某个半导体显示领域的工厂，经常会接触到一些工业设备产生的csv文件，而且自己这方面的工作经常要对这些数据的
夜羽萧轩·2024-03-13 00:17

软件测试学习笔记丨数据库基础知识

本文转自测试人社区，原文链接：https://ceshiren.com/t/topic/30175数据库数据库基础知识数据库简介数据库(DataBase)就是一个以某种有组织的方式存储的数据集合是存储和管理数据的仓库其本质是一个文件系统数据库管理系统（DBMS）是一款管理软件数据库分类关系型数据库（RDB:RelationshipDataBase）非关系型数据库（NoSQL）使用场景关系型数据库需
软件测试大空翼·2024-03-12 23:45

基于HBase和Spark构建企业级数据处理平台

摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。
weixin_34071713·2024-03-12 22:44

lightGBM专题4:pyspark平台下lightgbm模型保存

之前的文章（pysparklightGBM1和pysparklightGBM2）介绍了pyspark下lightGBM算法的实现，本文将重点介绍下如何保存训练好的模型，直接上代码：frompyspark.sqlimportSparkSessionfrompyspark.ml.featureimportStringIndexer
I_belong_to_jesus·2024-03-12 12:30

Effective C++ 学习笔记 条款13 以对象管理资源

假设我们使用一个用来塑模投资行为（如股票、债券等等）的程序库，其中各式各样的投资类型继承自一个rootclassInvestment：classInvestment{/*...*/};//“投资类型”继承体系中的rootclass进一步假设，这个程序库是通过一个工厂函数（factoryfunction，见条款7）供应我们某特定的Investment对象：Investment*createInves
吃着火锅x唱着歌·2024-03-12 09:55

【深度学习笔记】6_4 循环神经网络的从零开始实现

注：本文为《动手学深度学习》开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图6.4循环神经网络的从零开始实现在本节中，我们将从零开始实现一个基于字符级循环神经网络的语言模型，并在周杰伦专辑歌词数据集上训练一个模型来进行歌词创作。首先，我们读取周杰伦专辑歌词数据集：importtimeimportmathimportnumpyasnpimporttorchfromtorchimport
RIKI_1·2024-03-12 07:23

（day 4）JavaScript学习笔记（操作符）

概述这是我的学习笔记，记录了JavaScript的学习过程，我是有一些Python基础的，因此在学习的过程中不自觉的把JavaScript的代码跟Python代码做对比，以便加深印象。
m0_63165331·2024-03-12 05:50

大数据开发（Spark面试真题-卷六）

大数据开发（Spark面试真题）1、SparkHashPartitioner和RangePartitioner的实现？
Key-Key·2024-03-12 02:16

大数据开发（Hadoop面试真题-卷二）

6、Spark为什么比MapReduce更快？7、详细描述一
Key-Key·2024-03-12 02:15

Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。
勇于自信·2024-03-11 00:20

markdown学习笔记

Markdown学习笔记1.Markdown简介Markdown是一种轻量级标记语言，它设计简单、易读易写。通过纯文本格式编写文档，可以方便地转换为结构化的HTML页面或其他格式如PDF。
imgsq·2024-03-10 21:21

【个人学习笔记】概率论与数理统计知识梳理【五】

文章目录第五章、大数定律及中心极限定理一、大数定律1.1基本概念1.2弱大数定理二、中心极限定理独立同分布的中心极限定理定理总结第五章、大数定律及中心极限定理写博客比想象中费劲得多，公式得敲好久，所以只得随缘更更了，想写一些机器学习相关的东西，但是强迫症又不允许我把这个扔掉不管，我太难了Orz这一节的内容比较深，即使我是一个喜欢数学的工科生，也没有精力再去深究了，各式各样的大数定律及中心极限定理我
已经是全速前进了·2024-03-10 12:10

【深度学习笔记】6_10 双向循环神经网络bi-rnn

注：本文为《动手学深度学习》开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图6.10双向循环神经网络之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此它们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后面时间步决定。例如，当我们写下一个句子时，可能会根据句子后面的词来修改句子前面的用词。双向循环神经网络通过增加从后往前传递信息的隐藏层来更
RIKI_1·2024-03-10 11:07

Effective C++ 学习笔记 条款04 确定对象被使用前已先被初始化

读取未初始化的值会导致不明确行为。某些平台上读取未初始化的值就会使程序终止运行。永远在使用对象前对其进行初始化。构造函数体中可用=给数据成员赋值，也可以在构造函数初始化列表中对数据成员初始化。使用构造函数初始化列表效率较高，因为前者在初始化后又进行了赋值操作。构造函数初始化列表中也能使用默认构造函数初始化类类型成员。总是应该在构造函数初始化列表中列出所有成员变量，虽然类类型的变量会使用默认构造函数
吃着火锅x唱着歌·2024-03-09 19:18

机器学习笔记

什么是机器学习：机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。机器学习有下面几种定义：（1）机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。（2）机器学习是对能通过经验自动改进的计算机算法的研究。（3）
rl染离·2024-03-09 15:44

大数据开发（Hadoop面试真题-卷九）

3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe
Key-Key·2024-03-09 10:06

Spark Streaming（二）：DStream数据源

1、输入DStream和Receiver输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数
雪飘千里·2024-03-09 01:28

Spark常见问题汇总

注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr
midNightParis·2024-03-08 03:25

web学习笔记（二十六）

目录1.JS执行队列1.1JS是单线程1.2WebWorker1.3同步和异步1.4JS执行机制2.location对象2.1什么是location对象2.2url包含的信息2.3location对象属性2.4location对象的方法3.navigator对象和history对象3.1navigator对象3.2history对象1.JS执行队列1.1JS是单线程JavaScript语言的一大特
shan33__·2024-03-07 12:35

Java学习笔记004——接口概念理解及意义

一个类中有抽象方法，则必须声明为abstract（做为抽象类），抽象类不能实例化。子类继承抽象类，必须对所有的抽象方法重写，否则依然有抽象方法，还是抽象的，无法实例化。故抽象类常做为基类。一个类中所有方法都是抽象方法，那么该类就可以使用接口来实现。在Java语言中，接口（interface）默认是公开的（public）。这意味着，当你定义一个接口时，你不需要显式地将其声明为public，它默认就是
诚外无物0106·2024-03-07 05:27

学习笔记——前端页面性能指标

意义Findouthowyoustackuptonewindustrybenchmarksformobilepagespeed曾提到随着页面加载时间从1秒增加到10秒，移动站点访问者跳转的概率增加了123%。相关指标计算NavigationTimingLevel2为了帮助开发者更好的衡量和改进前端页面性能，W3C性能小组引入了PerformanceNamvaigationTimeAPI（IE和Sa
Garfield的子非鱼·2024-03-07 03:12

学习笔记2022-08-09 IPO财务不规范情形

1、转贷：为满足贷款银行受托支付的要求，在无真实业务支持情况下，通过供应商获取银行贷款，或为客户取得贷款资金提供走账通道；2、向关联方或供应商开具无真实交易背景的商业票据，通过票据贴现获得银行融资；3、与关联方或第三方直接进行资金拆借（包括借进和借出）；4、通过关联方或第三方代收款项；5、利用个人账户收付款项；6、出借公司账户为他人收付款项；7、违反内部资金管理规定，对外支付大额款项、大额现金借支
ecdce109cfe7·2024-03-06 05:55

代码随想录算法训练营第四十七天|● 198.打家劫舍 ● 213.打家劫舍II ● 337.打家劫舍III

仅做学习笔记，详细请访问代码随想录●198.打家劫舍●213.打家劫舍II●337.打家劫舍III●198.打家劫舍classSolution{public:introb(vector&nums){if
一枚清澈愚蠢的研究生·2024-03-06 04:26

GO语言学习笔记(与Java的比较学习)（十一）

协程与通道什么是协程一个应用程序是运行在机器上的一个进程；进程是一个运行在自己内存地址空间里的独立执行体。一个进程由一个或多个操作系统线程组成，这些线程其实是共享同一个内存地址空间的一起工作的执行体。并行是一种通过使用多处理器以提高速度的能力。所以并发程序可以是并行的，也可以不是。公认的，使用多线程的应用难以做到准确，最主要的问题是内存中的数据共享，它们会被多线程以无法预知的方式进行操作，导致一些
Benaso·2024-03-05 21:46

教师成长丛谈之五

教师如何快速成长（教师成长丛谈）学习笔记之五（0212）有无明晰的目标，让许多教师收获截然不同的两种人生。全国著名特级教师林良富是我十分熟悉的一位好朋友。
东哥杂谈·2024-03-05 17:31

SparkShop开源可商用，匹配小程序H5和PC端带分销功能！

SparkShop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统；包含小程序商城、H5商城、公众号商城、PC商城、App，支持页面diy、秒杀、优惠券
行动之上·2024-03-05 15:09

《金文诚〈孟子〉学习笔记751，尽心章14-36》

《金文诚〈孟子〉学习笔记751，尽心章14-36》【曾皙嗜羊枣，而曾子不忍食羊枣。公孙丑问曰：＂脍炙与羊枣孰美？＂孟子曰：＂脍炙哉！＂公孙丑曰：＂然则曾子何为食脍炙而不食羊枣？
金吾生·2024-03-05 13:02

易效能学习笔记85――工具

iPhone和Mac电脑的防丢操作：1.一定要设置屏保密码。密码也一定要记住，否则可能数据会丢失。2.苹果系统的备份。用iCloud系统整机备份。既可以备份在云端，又可以备份在电脑里面。还可以让我们共享。3.若按照前2点设置好了密码和iCloud备份，设备丢的时候也不用担心，你可以用查找iPhone这个程序把它找到。并进行播放声音、锁定、抹掉数据等远程操作，让你的数据更安全。4.买设备一定要买最新
豆浆油条_bdb7·2024-03-05 05:33

System Verilog学习笔记（十二）——数组（2）

SystemVerilog学习笔记（十二）——数组（2）动态数组在编译时不会为其定制尺寸，而是在仿真运行时来确定动态数组一开始为空，需要使用new[]来为其分配空间声明方式intdyn[],d2[];/
颖子爱学习·2024-03-04 07:27
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他