ETL学习笔记第2页

nodejs+mysql分页查询

router:（参数page,size）goodsRouter.get("/getList",getGoodsList)controllerasyncgetGoodsList(ctx,next){const

m0_67987829·2025-03-17 16:15

kettle ETL 配置

pdi-ce-9.1.0.0-324配置-CSDN博客3、配置中文字符3.1）spoon支持中文字符，spoon.bat启动文件加-Dfile.encoding=utf-8REM%SPOON_START_OPTION%"%_PENTAHO_JAVA%"%JAVA_ADD_OPENS%%OPT%-jarlauncher\launcher.jar-lib..\%LIBSPATH%%_cmdline%%

云连山·2025-03-17 07:37

简单工厂模式、工厂方法模式、抽象工厂模式对比学习笔记

工厂模式架构设计原则开闭原则：是指一个软件实体（如类、模块和函数）应该对扩展开放，对修改关闭。依赖倒置原则：是指设计代码结构时，高层模块不应该依赖低层模块，二者都应该依赖其抽象。抽象不应该依赖细节，细节应该依赖抽象。单一职责：是指一个类只负责一个主要任务，避免因一个类负责两个以上任务时，修改其中一个任务代码导致另一个任务代码受到连带影响。接口隔离原则：是指用多个专门的接口，而不使用单一的总接口，客

idgoodbye·2025-03-17 06:53

Spring-Boot学习笔记

这个笔记是在自己学习的过程中根据实际用到的和学到的整理出来的，可能会有缺失，错误等，主要是给激励自己学习，遇到写不下去的情况给自己一个参考，请各位大佬发现问题提出问题时能嘴下留情，也希望多提建议，谢谢。本笔记长期更新（更新日期2024年9月21日）目录第1章.固定格式参考1.1application.yml1.2mapper.xml(详细操作见另一个文件[XML数据库操作笔记]())1.3appl

戴帽子的小熊猫·2025-03-17 04:41

HarmonyOS NEXT应用开发之适配挖孔屏案例

源码参考DiggingHoleScreen.ets//获取窗口实例window.getLastWindow(this.context,(err,data)=>{if(err){logger.er

2401_89191552·2025-03-17 04:09

Linux命令学习笔记之 network NetworkManager

networkNetworkManager前言CentOS7最小安装下的测试220511心得:启动network能打开网络,关闭network能关闭网络启动NetworkManager能打开网络,关闭不会关闭网络在两者都启动的情况下,单停network会断网,单停NetworkManager不会一些摘抄前言这两个东西在centOS7最小安装无勾选附加时就存在Ubuntu20.04中只有Networ

kfepiza·2025-03-17 02:52

AI技术学习笔记系列001：FastLanguageModel.get_peft_model 函数各参数的详细解释

以下是关于代码中FastLanguageModel.get_peft_model函数各参数的详细解释，以及企业实际微调时的选择考量：参数详解及对微调的影响1.r=32（秩）作用：控制LoRA适配器的低秩矩阵的维度（秩），直接影响可训练参数数量。影响：r越大：适配器表达能力更强，能捕捉更复杂的任务特征，但可能导致过拟合（尤其数据量少时），训练时间和显存占用增加。r越小：参数量少，训练更快，显存占用低

新说一二·2025-03-17 00:43

Python个人学习笔记（2）：编程入门知识与基础语法介绍

一、注释（一）作用1.对代码进行解释和说明避免自己忘了写的代码是做什么的——写给人看的，机器不运行不要去注释你代码做了什么，而要去注释我的代码为什么要这么做。用于记录思路、实现方法、代码功能注释很重要，大厂很重视，尤其日企2.调试代码报错的一篇代码，从下到上一句一句加#，依次运行，如果某行代码加了#后，程序运行成功，那么就是这行有问题，但这个方法不好。（二）注释方法1.单行注释==句子前加#快捷键

NEET_LH·2025-03-17 00:11

Java学习笔记1.1_初识 Java

初识Java前言一、Java概述1.什么是程序2.Java语言的产生和发展史3.Java可以做什么4.Java语言的特点二、Java语言环境搭建1.JDK、JRE、JVM关系2.安装JDK3.配置环境变量4.环境测试三、开发第一个Java程序1.开发Java程序的步骤2.用记事本开发Java程序四、Java程序的注释1.单行注释和多行注释2.文档注释五、Java程序的结构六、JavaAPI文档前言

火车爱上轨道·2025-03-17 00:08

IMX6ULL学习整理篇——UBoot的一些基础知识（1.编译流程）

前言笔者整理了最近刷IMX6ULL的一些学习笔记，这里打算稍微整理一下东西发上来作为作为一个补充正文大部分而言，当我们拿到源码的时候，一般都是——先使用make来生成一份针对我们目标开发板的配置。

charlie114514191·2025-03-16 21:49

STL学习笔记

包含数据结构和数学函数#includeusingnamespacestd;boolcmp(paira,pairb){//第二位从小到大if(a.second!=b.second)returna.secondb.first;}intgcd(inta,intb){if(!b)returna;elsereturngcd(b,a%b);}intlcm(inta,intb){returna/gcd(a,b)

2301_76962440·2025-03-16 21:48

2021-05-21 python中curses基本用法

首先上demo主程序#-*-coding:UTF-8-*-importcursesimportlocalelocale.setlocale(local

zerfew·2025-03-16 21:17

MATAB学习笔记2

1.多项式拟合>>p=polyfit(DateNum,Pclose,1);%多项式拟合>>value=p(1)%将斜率赋值给value，作为股票的价值value=0.1212代码分析：%后面的内容是注释，ployfit（）有三个参数，第三个参数表示多项式的阶数，也就是最高次数。比如：第三个参数为1，说明为1次项，即一次函数，第三个参数为你要拟合的阶数，一阶直线拟合，二阶抛物线拟合，并非阶次越高越好

好大一口果汁·2025-03-16 16:11

网络运维学习笔记（DeepSeek优化版） 018 HCIA-Datacom综合实验03

文章目录综合实验3实验需求一：A公司网络规划二：B公司网络规划配置一、ip、vlan、vlanif，stp、eth-trunkSW1SW2R1二、ospfSW1R1三、NATR1ISP四、拒绝ping允许httpSW1五、右半部分vlan、dhcp、ospf、NATSW4R2综合实验3实验需求一：A公司网络规划SW1/2/3组成了A公司的交换网络，其中SW1是核心层，SW2/3是接入层。三台交换机

技术小齐·2025-03-16 15:05

PHP 处理csv 文件解决中文乱码

/***读取csv格式的数据*@param$file*@returnarray*/publicstaticfunctionread_csv($file){setlocale(LC_ALL,'zh_CN'

MountainYanYL·2025-03-16 15:04

[学习笔记] Windows编程——GDI——（六）设备上下文

前言：学习笔记，随时更新。如有谬误，欢迎指正。说明：红色字体为较为重要部分。绿色字体为个人理解部分。

根本没在怕哦·2025-03-16 15:04

[学习笔记] Windows编程——GDI——（三）裁剪

前言：学习笔记，随时更新。如有谬误，欢迎指正。说明：红色字体为较为重要部分。绿色字体为个人理解部分。

根本没在怕哦·2025-03-16 15:03

kaggle-ISIC 2024 - 使用 3D-TBP 检测皮肤癌-学习笔记

问题描述：通过从3D全身照片(TBP)中裁剪出单个病变来识别经组织学确诊的皮肤癌病例数据集描述：图像+临床文本信息评价指标：pAUC，用于保证敏感性高于指定阈值下的AUC主流方法分析（文本）基于CatBoost、LGBM和XGBoost三者的组合，为每个算法创建了XX个变体，总共XX个模型，进行集成学习。CatBoost在传统梯度提升决策树（GBDT）基础上，引入了一系列关键技术创新，以提升处理类

supernova121·2025-03-16 12:10

Autoleaders控制组——51单片机学习笔记（2）

51单片机学习（2）1.模块化编程1.1模块化编程的意义在学习单片机的途中，随着我们的知识不断扩展，我们能写出的代码也越来越复杂，越来越长了，有时我们自己写出的很长的代码，出现了错误，需要调试，但奈何自己的代码实在是太长了，真的不好分析到底是哪里出错了。这是因为我们将太多的函数和代码放在一个main.c的文件里，导致代码过度堆积。如果我们能够条理清晰地去将不同作用的代码和函数放在不同的xxx.c文

Autoleaders控制组邓翔·2025-03-16 11:31

AI开发 - 算法基础递归的概念和入门（三）递归的进阶学习

这篇学习笔记将涵盖递归的基本概念、应用、优化技巧、陷阱及与迭代的对比，并通过具体的Python代码示例和大家一起来深入理解递归的使用。一、巩固基础1.递归的概念递归，简单来说就是函数自己调用自己。

minstbe·2025-03-16 10:27

【STM32】USART串口收发HEX数据包&收发文本数据包

有关串口知识参考：【STM32】USART串口协议&串口外设-学习笔记-CSDN博客HEX模式/十六进制模式/二进制模式：以原始数据的形式显示文本模式/字符模式：以原始数据编码后的形式显示参考上面文章查看

傍晚冰川·2025-03-16 07:37

深入理解C++内存管理机制

侯捷C++系列课程学习笔记：深入理解C++内存管理机制在侯捷老师的C++系列课程中，内存管理是一个极其重要且深刻的主题。

qzw1210·2025-03-16 06:35

elasticsearch analyzer 学习笔记

基本定义analyzer执行将输入字符流分解为token的过程使用场景在indexing的时候，也即在建立索引的时候在searching的时候，也即在搜索时，分析需要搜索的词语analysisCharacterfiltering(字符过滤器):使用字符过滤器转换字符Breakingtextintotokens(把文字转化为标记):将文本分成一组一个或多个标记Tokenfiltering：使用标记过

weixin_40455124·2025-03-16 06:00

《架构300讲》学习笔记（201-250）

前言内容来自B站IT老齐架构300讲内容。201小心selectforupdate，有效规避索引选择性锁表202设计模式之建造者模式的用途20320分钟上手ELK日志监控系统分类：【ELK】204设计模式之门面模式Facade205设计模式之适配器模式Adapter206经典设计！如何让RabbitMQ支持消息延迟投递207Docker容器基于NFS实现跨容器文件共享208数据向上追溯场景该如何优

newProxyInstance·2025-03-16 03:10

HIVE开窗函数

ETL,SQL面试高频考点——HIVE开窗函数（基础篇）目录标题ETL,SQL面试高频考点——HIVE开窗函数（基础篇）一，窗口函数介绍二，开窗函数三，分析函数分类1，排序分析函数：实列解析对比总结2.

Cciccd·2025-03-16 02:31

物联网开发-jetlinks 开发协议包时引入dom4j提示 clasnotfound

在开发协议jar包时需要解析xml,但是工程引入jetlinks-core包，这个包又引用了dom4j-1.6.1.jar，所以pom就没有配dom4j,编译不报错。本地main和测试方法都正常。

lynn-66·2025-03-15 23:08

信息技术基础专有名词和计算机硬件学习笔记

信息技术常见专有名词信息技术基础课程中常见的专有名词英文缩写或简称及其详细含义，按领域分类整理：硬件与存储CPU(CentralProcessingUnit)中央处理器，负责执行计算机指令和处理数据。GPU(GraphicsProcessingUnit)图形处理器，专用于处理图形和并行计算。RAM(RandomAccessMemory)随机存取存储器，临时存储运行中的程序和数据。ROM(Read-

learning-striving·2025-03-15 21:25

5分钟看懂数据中台的典型架构

在这一层中，运用高效的数据采集工具和技术是核心要点，常见的工具涵盖ETL（提取、

isNotNullX·2025-03-15 21:53

ARTS Week 45

商店里正在进行促销活动，如果你要买第i件商品，那么你可以得到与prices[j]相等的折扣，其中j是满足j>i且prices[j]{letlowerPriceIndexes=[]letpriceDifference

·2025-03-15 18:06

vue 动态加载插件及插件样式解决插件样式造成的全局污染问题

路径*@param{*}isCss是否为css文件*/exportfunctionasynLoad(src,isCss=false){returnnewPromise(res=>{if(isCss){letlist

看客随心·2025-03-15 12:48

吴恩达机器学习笔记复盘（二）监督学习和无监督学习

监督学习经济价值以及定义监督学习是机器学习中创造了99%经济价值的类型，它是学习输入到输出映射的算法，关键在于给学习算法提供包含正确答案（即给定输入X的正确标签Y）的学习例子。生活中的例子邮件分类，输入是电子邮件，输出是判断邮件是否为垃圾邮件。语音识别，输入音频剪辑，输出文本记录。机器翻译，输入一种语言文本，输出其他语言的相应翻译。在线广告，输入广告和用户信息，预测用户是否点击广告，为公司带来大量

wgc2k·2025-03-15 09:21

uCOS-II学习笔记(一)

第一章：范例在这一章里将提供三个范例来说明如何使用µC/OS-II。这一章是为了让读者尽快开始使用µC/OS-II。1.00安装µC/OS-II1.01INCLUDES.H#include"includes.h"INCLUDE.H可以使用户不必在工程项目中每个*.C文件中都考虑需要什么样的头文件。换句话说，INCLUDE.H是主头文件。这样做唯一的缺点是INCLUDES.H中许多头文件在一些*.C

abc94·2025-03-15 05:12

25年大数据开发省赛样题第一套，离线数据处理答案

省赛样题一，数据抽取模块这一模块的作用是从mysql抽取数据到ods层进行指标计算，在题目中要求进行全量抽取，并新增etl-date字段进行分区，日期为比赛前一天importorg.apache.spark.sql.SparkSessionimportjava.util.PropertiesobjectTask1

Tometor·2025-03-15 00:01

C语言数据结构——变长数组（柔性数组）

前言这是一位即将大二的大学生（卷狗）在暑假预习数据结构时的一些学习笔记，供大家参考学习。水平有限，如有错误，还望多多指正。

Iawfy22·2025-03-15 00:31

C语言学习笔记-进阶（17）预处理详解

1.预定义符号C语言设置了一些预定义符号，可以直接使用，预定义符号也是在预处理期间处理的。__FILE__//进⾏编译的源⽂件__LINE__//⽂件当前的⾏号__DATE__//⽂件被编译的⽇期__TIME__//⽂件被编译的时间__STDC__//如果编译器遵循ANSIC，其值为1，否则未定义举个例子：printf("file:%sline:%d\n",__FILE__,__LINE__);2

John.Lewis·2025-03-15 00:27

图神经网络学习笔记—高级小批量处理（专题十四）

小批量（mini-batch）的创建对于让深度学习模型的训练扩展到海量数据至关重要。与逐条处理样本不同，小批量将一组样本组合成一个统一的表示形式，从而可以高效地并行处理。在图像或语言领域，这一过程通常通过将每个样本缩放或填充为相同大小的形状来实现，然后将样本在一个额外的维度中分组。该维度的长度等于小批量中分组的样本数量，通常称为batch_size。由于图是能够容纳任意数量节点或边的最通用的数据结

AI专题精讲·2025-03-14 23:52

简单了解WIndow和Linux的路径含义

路径概念2>绝对路径2.1>window绝对路径2.2>Linux绝对路径3>相对路径3.1>window相对路径3.2>Linux相对路径很高兴你能看到这篇文章，同时我的语雀文档也更新了许多嵌入式系列的学习笔记希望能帮到你

alive903·2025-03-14 20:20

WPF学习笔记04-控件Control_Part1

之前我们已经学习过WPF布局了，这节我们开始简单介绍下控件。熟悉Winform的应该对控件并不陌生。WPF和Winform的渲染也是不一样的一个是基于DirectX一个是基于GDI+。在WPF中，打交道最多的控件无非就那么几种。1）布局控件。之前介绍过的，可以容纳多个控件或嵌套其他布局控件，用于在UI上组织和排列控件。比如StackPanel、Grid等控件都属于此类控件，他们都拥有共同父类---

一只只对技术感兴趣的程序员·2025-03-14 17:01

【学习笔记】GitLab 使用技巧和说明和配置和使用方法

GitLab使用技巧和说明1.注册账号和登录注册账号：访问GitLab官网，点击“Signup”按钮，填写必要的信息（如用户名、邮箱、密码）完成注册。普通用户注册后需要管理员审批，如果有管理员权限可以直接登录使用。登录：使用注册的账号和密码登录GitLab。2.创建项目创建项目：登录后，点击页面右上角的加号图标，选择“Newproject”创建新项目。在项目创建页面，填写项目名称、描述和可见性等信

铜锣烧1号·2025-03-14 15:07

python连接clickhouse两种方法

importloggingfromapscheduler.schedulers.blockingimportBlockingSchedulerfromclickhouse_driverimportClientlogger=logging.getLogger

dair6·2025-03-14 15:07

『FFmpeg学习笔记』MAC系统电脑安装FFmpeg以及使用

MAC系统电脑安装FFmpeg文章目录一.安装FFmpeg1.1.MACbrew安装FFmpeg1.2.MAC官网下载FFmpeg压缩包1.3.Windows安装1.4.Linux安装二.FFmpeg的使用2.1.音频操作2.1.1.如果不转换，直接输出aac2.1.2.将音频输出为wav2.1.3.将aac转换为wav2.1.4.双声道分离2.1.5.使用FFmpeg将音频和视频合并2.2.字幕

AI大模型前沿研究·2025-03-14 15:06

渗透学习笔记（四）window基础2

声明！学习视频来自B站up主**泷羽sec**有兴趣的师傅可以关注一下，如涉及侵权马上删除文章，笔记只是方便各位师傅的学习和探讨，文章所提到的网站以及内容，只做学习交流，其他均与本人以及泷羽sec团队无关，切勿触碰法律底线，否则后果自负！！！！有兴趣的小伙伴可以点击下面连接进入b站主页[B站泷羽sec](https://space.bilibili.com/350329294)五、Windows网

nnnimok·2025-03-14 12:17

基于 Flink 的海量日志实时处理系统的实践

据笔者调研，不少公司现在是有日志统一的收集，也会去做日志的实时ETL，利用一些主流的技术比如E

zhisheng_blog·2025-03-14 11:09

Vim忍者速成秘卷：让你的键盘冒出残影の奥义

⚡残影生成术（基础篇）"️贴地飞行模式（.vimrc极速配置）settimeoutlen=300"快捷键响应时间压缩至300ms（武士刀级响应）setttyfast"激活终端极速传输模式setlazyredraw

ivwdcwso·2025-03-14 10:34

C++ 并发编程实战学习笔记

C++并发编程学习笔记目录一.基本接口二.初步了解多线程三.线程所属权管理四.线程间共享数据五.同步并发操作六.C++内存模型和原子类型操作七.基于锁的并发数据结构设计八.无锁数据结构九.并发代码设计十

myc13381·2025-03-14 10:01

RecyclerView学习笔记(1) ChildHelper.Bucket

简介toString方法set方法get方法clear方法countOnesBefore方法reset方法insert方法remove方法总结简介RecyclerView中的ChildHelper.Bucket是一个工具类，实现了类似List的数据结构，从而达到减少内存占用的目的。Bucket是一个链表结构，有两个字段：mData用于存储当前信息，next指向下一个数据publicstaticcl

奋斗小小鸟cy·2025-03-14 07:41

RxSwift 学习笔记第二篇之Observables

目录前言一、什么是Observables二、创建Observable的几种方式1.just1.含义2.实用场景2.of1.含义3.from4.create5.interval三、订阅Observable四、取消订阅（DisposeBag）五、常见操作符六、总结前言这篇博客主要介绍Observables的用法。一、什么是ObservablesObservables是Rx的核心。在Rx中我们看到“Ob

我叫柱子哥·2025-03-14 05:51

点云边缘提取及可视化

PointCloud::Ptrcloud){std::ifstreamfin(file_path.c_str());std::stringline;pcl::PointXYZpoint;while(getline

Alan Lan·2025-03-14 01:29

React学习笔记16

一、useReducer作用：和useState的作用类似，用来管理相对复杂的状态数据使用：1、定义一个reducer函数（根据不同的action返回不同的新状态）2、在组件中调用useReducer，并传入reducer函数的状态和初始值import{useReducer}from"react"functionreducer(state,action){switch(action.type){c

充气大锤·2025-03-14 00:28

C语言进阶指针学习笔记

文章目录字符指针指针数组数组指针数组名数组传参函数指针函数指针数组指向函数指针数组的指针回调函数Qsort的使用通过冒泡排序模拟实现qsort大部分的内容都写在代码注释中指针有类型，指针的类型决定了指针的±整数的步长，指针解引用操作的时候的权限字符指针#includeintmain(void){constchar*str1="Hello,World!";constchar*str2="Hello,

flashier·2025-03-14 00:54

推荐频道

ETL学习笔记