Spark大数据处理学习笔记

学习笔记040——如何定时备份服务器中的数据库？

目录1、编写备份脚本：2、创建crontab定时任务需求前景：Ubuntu系统的服务器中，需要定时备份MySQL数据库中的数据。确保数据能够得到安全保障。我的方法：1、写一个备份数据库的脚本2、利用Ubuntu的crontab每日定时执行脚本。下面是我的实现方式：1、编写备份脚本：#!/bin/bash#设置数据库名，用户和密码DB_NAME="数据库名"DB_USER="账号"DB_PASSWO
上下求索.·2025-01-19 23:24

mysql学习笔记(八):分页查询

应用场景：当要显示的数据，一页显示不全，需要分页提交sql请求语法：select查询列表from表【jointypejoin表2on连接条件where筛选条件groupby分组字段having分组后的筛选orderby排序的字段】limit【offset,】size;offset要显示条目的起始索引（起始索引从0开始）size要显示的条目个数特点：①limit语句放在查询语句的最后②公式要显示的页
代码魔法师Sunny·2025-01-19 23:22

学习笔记081——如何备份服务器中MySQL数据库数据？

方法：可以通过编写sh脚本的方式，结合Linux中的crontab定时任务来实现定时备份数据的功能。sh脚本如下：#!/bin/bash#要备份的数据库DB_NAME="wms"#数据库账号DB_USER="root"#数据库密码DB_PASSWORD="123456"#数据备份存放目录BACKUP_DIR="/home/htl/backup"mkdir-p$BACKUP_DIR#备份文件名BAC
上下求索.·2025-01-19 22:46

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

Livy是一个开源的REST接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
zuoseve01·2025-01-19 22:15

隐语课程 隐语架构概览学习笔记

隐语架构包含：产品层、算法层、计算层、资源层和硬件层隐语产品：定位：通过可视化产品，降低终端用户的体验和演示成本。通过模块化API降低技术集成商的研发成本。人群画像：作为隐语的直观入口，隐语保护计算从业者均应该关注产品：SecretPad：轻量化安装、快速验证POC、可定制集成；多部署形态：中心模式、P2P模式全栈产品：MPC、TEE、SCQLSecretNote：Notebook形式、交互式建模
皓月雪·2025-01-19 22:43

Spark Livy 指南及livy部署访问实践

背景：ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark
house.zhang·2025-01-19 22:40

大数据学习（四）：Livy的安装配置及pyspark的会话执行

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。
猪笨是念来过倒·2025-01-19 21:08

探索数据科学新边界：Apache Livy 开源项目详解

探索数据科学新边界：ApacheLivy开源项目详解incubator-livyApacheLivyisanopensourceRESTinterfaceforinteractingwithApacheSparkfromanywhere
毕艾琳·2025-01-19 21:37

MyBatis学习笔记

MyBatis学习笔记MyBatis绪论功能：访问数据库相当于增强版JDBC官网：mybatis–MyBatis3|简介MyBatis环境JDK1.8MySQL5.7/8.0（经典！）
繁星依月·2025-01-19 19:16

sed学习笔记1

0.引用《Linux命令行与shell脚本编程大全.第3版by布鲁姆，布雷斯纳汉》第19章，第21章1.今晚回家学习总结
我要精通C++·2025-01-19 19:16

golang学习笔记08——如何调用阿里oss sdk实现访问对象存储？

应用级os框架使用案例，欢迎star案例：基于golang开发的一款超有个性的旅游计划app经历golang实战大纲golang优秀开发常用开源库汇总想学习更多golang知识，这里有免费的golang学习笔记专栏首先确保安装了阿里云
GoppViper·2025-01-19 16:17

芝法酱学习笔记（2.5）——elastic-search 8.x初探（自用）

一、elastic-search的下载官网的下载地址在这里。官网文档地址在这里访问路径是doc/search让人惊呆了，新版的elastic-search竟然需要JDK23。ThelocaledatabaseusedbyElasticsearch,usedtomapfromvariousdateformatstotheunderlyingdatestorageformat,dependsonthe
芝法酱·2025-01-19 14:07

ESP32学习笔记_FreeRTOS(6)——Event and Notification

博客提供了多个代码示例，展示了如何使用事件组和任务通知在多任务环境中实现任务同步，特别适用于任务间的依赖关系和信号传递前言：本文档是本人在依照B站UP：Michael_ee的视频教程进行学习时所做的学习笔记
flashier·2025-01-19 14:07

2024年软考信息安全工程师备考学习笔记汇总

信息安全工程师分属“信息系统”专业，位处中级资格，2016年下半年，第一次开考信息安全工程师（中级）考试。目前每年考试一次。已开考六次，2016年11月12日，2017年5月20日，2018年5月26日，2019年5月25日，2020年11月7日，2021年11月6日，2022年11月5日，2023年11月4日为第八次考试。第五次至第八次考试，采用第二版教材。信安精品课|月梦工作室(moondre
月梦工作室·2025-01-19 13:59

自强学堂mysql_Django ——自强学堂学习笔记

(一)、启动服务器E:\ScienceSoft\Python\Django\Django_project>pythonmanage.pyrunserver0.0.0.0:8000Performingsystemchecks...Systemcheckidentifiednoissues(0silenced).July22,2017-17:00:33Djangoversion1.11.3,using
weixin_39792049·2025-01-19 13:27

Django几条命令，一定要牢记(Python学习笔记)

Django项目搭建流程流程（切记使用中文）安装包安装下载安装包，解压运行pythonsetup.pyinstall命令安装python-mpipinstalldjango新建一个djangoprojectdjango-admin.pystartprojectproject_name特别是在windows上;如果报错，尝试用django-admin代替django-admin.py试试JetBra
代码帮·2025-01-19 11:48

大数据公司 Databricks 详解

Databricks是一家在大数据和人工智能领域具有重要影响力的美国企业软件公司，以下是关于它的详细技术解析：1.起源与背景：Databricks成立于2013年，由来自加州大学伯克利分校AMP实验室的Spark
Bj陈默·2025-01-19 10:00

全面解读 Databricks：从架构、引擎到优化策略

导语：Databricks是一家由ApacheSpark创始团队成员创立的公司，同时也是一个统一分析平台，帮助企业构建数据湖与数据仓库一体化（Lakehouse）的架构。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 09:27

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

Apache Hive--排序函数解析

在大数据处理与分析中，ApacheHive是一个至关重要的数据仓库工具。其丰富的函数库为数据处理提供了诸多便利，排序函数便是其中一类非常实用的工具。
大鳥·2025-01-19 06:31

关于我的博客建站经历

也是从那个时候开始学着搭建自己的个人博客，用来记录自己的学习笔记，但是却坚持不下来。而且发现一个奇怪的现象，对于搭建站点的过程我很感兴趣，内容输出却坚持不下来，这是我需要反思的地方。
忆宸_1·2025-01-19 05:12

深度学习笔记——前向传播与反向传播、神经网络（前馈神经网络与反馈神经网络）、常见算法概要汇总

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文简要介绍深度学习的前向传播与反向传播，以及前馈神经网络与反馈神经网络。文章目录前向传播与反向传播前向传播（ForwardPropagation）反向传播（BackPropagation）总结神经网络简介结构类型前馈神经网络（FeedforwardNeuralNetwork,FFNN）特点常见变体反馈神经网络（Feedb
好评笔记·2025-01-19 03:25

深度学习笔记——生成对抗网络GAN

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍早期生成式AI的代表性模型：生成对抗网络GAN。文章目录一、基本结构生成器判别器二、损失函数判别器生成器交替优化目标函数三、GAN的训练过程训练流程概述训练流程步骤1.初始化参数和超参数2.定义损失函数3.训练过程的迭代判别器训练步骤生成器训练步骤4.交替优化5.收敛判别GAN训练过程的挑战四、GAN的常见变体
好评笔记·2025-01-19 03:25

机器学习笔记——Boosting中常用算法（GBDT、XGBoost、LightGBM）迭代路径

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文主要阐述Boosting中常用算法（GBDT、XGBoost、LightGBM）的迭代路径。文章目录XGBoost相对GBDT的改进引入正则化项，防止过拟合损失函数L(yi,y^i)L(y_i,\hat{y}_i)L(yi,y^i)正则化项Ω(fm)\Omega(f_m)Ω(fm)使用二阶导数信息，加速收敛一阶导数与二
好评笔记·2025-01-19 03:24

基于vue.js+element-ui组件开发的博客blog详细步骤

vue学习笔记一、前端项目初始化步骤1、通过vuecli3创建项目2、配置vue路由3、配置element-ui组件库4、配置axios库5、初始化git远程仓库6、将本地项目托管到GitHub或码云上二
perfect-code-hzy·2025-01-19 00:00

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （正在更新中~）别人能写出来的，你也能行！多学习别人的思路，形成自己的思路，高薪工作奔你而来！

Java序列化实现类JavaSerializer(1)JavaSerializationStream类代码实际例子1：序列化(2)JavaDeserializationStream代码实际例子2：反序列化Spark
小白的大数据历程·2025-01-18 22:07

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （java序列化部分完结，正在更新RpcEnv部分~）

目录(3)JavaSerializerInstance定义了一个Java序列化实例(1)构造方法参数(2)方法1：serializeStream(3)方法2：deserializeStreamdefaultClassLoader(4)方法3：deserializeStreamloader(5)方法4：serialize(6)方法5：deserializeloader(7)方法6：deseriali
小白的大数据历程·2025-01-18 22:37

qt/c++学习笔记之基于tcp的文件同步程序demo（第二部分）

server服务器端头文件filebase.h#ifndefFILEBASE_H#defineFILEBASE_H#include#include#include#include#includeenumMsgType{MsgTypeInvaid=0,MsgTypeFile,MsgTypeDel,MsgTypeRename};classfilebase:publicQObject{Q_OBJECTp
Bryce学亮·2025-01-18 15:05

Python学习笔记 | 类与对象

基于Python3版本的学习。初识概念：类(class)与对象(object)生活中我们所说的类，是物以类聚的类，是分门别类的类，是多个类似事物组成的群体的统称。而在Python中我们所遇到的类（class），比如整数、字符串、浮点数等，不同的数据类型就属于不同的类。准确来说，它们的全名是整数类、字符串类、浮点数类。每一个类之下都包含无数相似的不同个例。在Python的术语里，我们把类的个例就叫做
MUYUN友逹·2025-01-18 14:24

人工智能英语学习笔记

基础篇单词mythologyn.ancientmythsingeneral;ideasthatmanypeoplethinkaretruebutthatdonotexistorarefalse神话Examples:AsatyrishalfmanandhalfgoatinGreekandRomanmythology.在希腊和罗马神话中，森林之神是半人半羊的样子。Thishasbeenwellillu
「已注销」·2025-01-18 12:14

TypeScript 学习笔记（七）：TypeScript 与后端框架的结合应用

1.引言在前几篇学习笔记中，我们已经探讨了TypeScript的基础知识和在前端框架（如Angular和React）中的应用。
Evaporator Core·2025-01-18 12:11

LabVIEW 蔬菜精密播种监测系统

该系统充分发挥高精度传感器的感知能力以及先进软件的强大数据处理与控制能力，显著提高了播种作业的
LabVIEW开发·2025-01-18 11:33

深度学习项目--基于LSTM的火灾预测研究(pytorch实现)

LSTM模型一直是一个很经典的模型，这个模型当然也很复杂，一般需要先学习RNN、GRU模型之后再学，GRU、LSTM的模型讲解将在这两天发布更新，其中：深度学习基础–一文搞懂RNN深度学习基础–GRU学习笔记
羊小猪~~·2025-01-18 10:30

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark
武子康·2025-01-18 10:29

架构师反向代理Haproxy+压力测试 - 学习笔记

一.Apache的反向代理(生产不建议使用)1.Apache的编译安装:yuminstallapr-develapr-util-develpcre-developenssl-develcd/usr/local/src/wgethttp://archive.apache.org/dist/httpd/httpd-2.4.18.tar.gztar-zxvfhttpd-2.4.18.tar.gzcdht
无影V随风·2025-01-18 10:25

pyspark 中删除hdfs的文件夹

在pyspark中保存rdd的内存到文件的时候，会遇到文件夹已经存在而失败，所以如果文件夹已经存在，需要先删除。搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

华为数通HCIA(学习笔记)

2024-03-22重启华为数通学习计划由于工作原因，预计将在2024年6月30日之前完成HCIP的学习并通过HCIP的考试-在2025年6月30日前完成HCIE的学习并通过HCIE的考试此为学习笔记，
想做运维大佬·2025-01-18 05:20

python学习笔记

python学习笔记第1-3章基础知识https://www.jetbrains.com/help/pycharm/小技巧：如果在编辑器中未选择任何内容，按⌘C可将文本光标处的整行复制到剪贴板。
浅夏入秋^_^·2025-01-18 05:20

python捕获异常

try:name="aaa"id="aaa"exceptExceptionase:print("任务报错")print(str(e))print(str(traceback.print_exc()))spark.sql
青云游子·2025-01-18 02:58

Spark任务提交流程

当包含在applicationmaster中的spark-driver启动后，会与资源调度平台交互获取其他执行器资源，并通过反向注册通知对应的node节点启动执行容器。
尘世壹俗人·2025-01-18 01:21

spark读取、写入Clickhouse以及遇到的问题

最近需要处理Clickhouse里面的数据，经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。具体Clickhouse的讲解本篇不做讲解，后面专门讲解这个。
Alex_81D·2025-01-18 01:18

如何实现集群部署

集群部署广泛应用于各种场景，如Web服务、数据库、大数据处理等。以下是关于集群部署的详细解释：1.基本概念集群（Cluster）:一组相互连接的计算机，它们协同工作以提供单一的计算资源。
DaXiongJoker·2025-01-17 21:49

2011寒假-数据库学习笔记

第一课:数据库类型1.1平面文件适用于:1，数值小且简单2，数值不经常变化3，希望能够使用简单的文本编辑器来更改数值4，希望保存以前数值的简单历史清单,5，希望使用工具快速比较两个文件例如:INI文件(initialization)1.2关系数据库适用于:l需要在不同的表之间执行复杂的查询和连接.l需要执行数据有效性验证,如在其他表中检验相关行的存在.l需要为特定的数据有效性验证,如在其他表中检验
weixin_33967071·2025-01-17 21:14

2024年最新Python：Page Object设计模式_python page object，BTAJ大厂最新面试题汇集

知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
m0_60707708·2025-01-17 20:36

2024年总结：大转向

职业转向今年我在职业上尝试做了一个转向，具体的结果可能需要比较长的时间来检验我选择是否正确，所以转向的细节我就不全部展开了，可以确定是我依然会专注在Infra和BigData，比如今年我发布了SparkSQL
·2025-01-17 20:11

Java爬虫——使用Spark进行数据清晰

1.依赖引入  org.apache.spark  spark-core_2.13  3.5.3 org.apache.spark spark-sql_2.13 3.5.32.数据加载从MySQL数据库中加载
Future_yzx·2025-01-17 20:59

whisper.cpp 学习笔记

whisper.cppwhisper.cpp学习笔记whisper介绍源码下载源码编译支持的模型优化/加速生成库文件使用whispe.cpp的demo参考文献whisper.cpp学习笔记whisper
法号：行颠·2025-01-17 17:12

【Linux探索学习】第二十五弹——动静态库：Linux 中静态库与动态库的详细解析

Linux学习笔记：https://blog.csdn.net/2301_80220607/category_12805278.html?
GG Bond.ฺ·2025-01-17 16:33
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他