芒果香菠菠
芒果香菠菠

在pytorch中自定义dataset读取数据

这篇是我对哔哩哔哩up主 @霹雳吧啦Wz 的视频的文字版学习笔记 感谢他对知识的分享

有关我们数据读取预训练

以及如何将它打包成一个一个batch输入我们的网络的

首先我们来看一下之前我们在讲resnet网络时所使用的源码

我们去使用了官方实现的image folder去读取我们的图像数据

然后再使用官方提供的data loader去对我们读取的数据进行一个打包

大家有没有想过这个image folder它的内部到底实现了哪些功能呢

在pytorch中自定义dataset读取数据_第1张图片

那么我们今天为什么要讲这个dataset呢

因为在之前我们讲分类网络时

有很多小伙伴私信问我

如果我的图片不是rgb图像

是灰度图像或者是雷达图像

深度图像等等

就是非rgb的图像时

我该如何去载入并预处理我的图像

那么如果你直接通过官方提供的这个方法呢

其实它是有一定的局限性的

而且比如如果你想去设计一个比较独特的网络

比如说你设计的网络

它有多个输入

那么这种情况呢官方所提供的这些方法都是无法满足你的需求的

所以本节课我们来讲一下如何去实现我们自己的一个data set

以及进一步去讲解我们的data loader是如何利用我们data set所生成的数据

打包成一批一批的数据输入网络的

那么本节课所讲的一个代码呢

我已经提前上传到我的github上了

在pytourh classification模块下的custom dataset这个文件夹当中

在pytorch中自定义dataset读取数据_第2张图片

然后这三个文件呢就是我们今天主要要讲的内容了

那么这个内容呢也是我们在后面讲利用多gpu训练时

所使用到的一个数据读取

以及预处理的部分

那么我们接下来就进入到我们的代码当中

首先呢我们看一下我们的main这个脚本

首先呢我们这里所使用的数据集

还是我之前所说的划分类数据集

之前也有小伙伴在问我数据在哪下载呀

我该如何去划分训练集以及验证集

那么今天呢我在这里就详细地将整个流程仔细的讲一遍

并且呢我这里写了一个新的关于划分数据集的一个脚本

相比原来那个脚本呢使用起来会更加的方便

不需要再将训练集以及验证集单独划分到不同的文件夹当中了

首先呢如果你想使用之前我们所说的花分类数据集

那么大家可以自己去在这个链接当中去下载

下载完之后呢

你会得到一个点tgz的一个压缩文件

然后解压之后呢

我们可以看到都有个flower photos

在这个文件夹下呢主要有这五个子文件夹

每个文件夹呢它对应的一种花的类型

在pytorch中自定义dataset读取数据_第3张图片

比如说我们看这个daisy

这个daisy呢它对应的就是雏菊

也就是说在这个文件夹下面的所有图片都是关于雏菊这个类别

那么我们下载完之后呢

我们这里的root这个变量就指向我们的flower photos

那么我这里就已经设置好了

就保存在我所给定的这个路径下

然后呢我们就进入到我们这个main函数

在pytorch中自定义dataset读取数据_第4张图片

接下来呢我们就使用我们的read split data

这个方法来划分我们的训练集一验证集

那么这个方法呢我们只需要传入一个root这个参数就可以了

然后我们来仔细的看一下这个方法

进入这个方法之后呢

我们可以看到有两个参数

第一个是root

就是我们刚刚所说指向我们解压后的文件夹的路径

然后这个rate它是我们划分验证集所占所有样本的一个比例

我们这里将我们引入的random这个随机的这个包

设置一个随机种子设置为零

这里为什么要设计随机种子呢

就在于能够保证随机结果是可以复现的

也就是说只要我们将这个random的种子设置为零之后

无论是在你的电脑上

我的电脑上还是其他人电脑上

我们待会儿通过随机函数所随机划分的数据都是一模一样的

也就是都是可复现的

这样呢就能够保证大家划分的数据集都是一模一样的

然后接下来呢我们来判断一下我们所传入的这个路径

它是否存在

如果不存在

我们就会报出一个错误

接下来我们再通过os库的例子

第二来便利我们所给的那个路径下的所有的文件

那么它它变的文件呢可能就包含有文件夹以及我们普通的文件

然后这里呢我们就通过一个for循环来遍历它所编辑得到的

每一个文件夹或文件

接下来我们再判断

如果我们的这个路径它所对应的是个文件夹的话

那么我们就将它进行保存

如果不是文件夹的话

那我们就将它丢弃

那么这样我们得到的flower class就应该有五个值

在pytorch中自定义dataset读取数据_第5张图片

初始化几个空列表

那么这里呢我再多说一句

我们这里为什么要使用PIL的image这个库

而不去使用open cv

因为在touch它所提供的这一系列预处理方法

在pytorch中自定义dataset读取数据_第6张图片

其实它主要还是针对pl库所读入的images

在pytorch中自定义dataset读取数据_第7张图片

比如我们随机看一个预处理方法

那么在他预处理方法的计划当中呢

他写的就是针对一个PIL的image进行一个处理的

然后这里我再多说一句

就是有时候我们在调试过程当中可能会遇到这种情况

就是我想看一下变量的一个信息

但是我设置断点之后

我们在debug这个信息当中呢

看到每个变量一直在显示正在载入数据

然后一直看不到

那么这个问题要怎么解决呢

那么这里呢大家可以点击这个file

然后在设置当中

然后在我们的build execution deployment

在pytorch中自定义dataset读取数据_第8张图片然后在这个地方呢大家可以勾选一下这个

然后再点ok

这样的话你在调试过程当中

每一个变量它的参数值就会很快的载入进来了

在pytorch中自定义dataset读取数据_第9张图片

那么通过stack方法之后呢

它会增加一个新的维度

那么这个新维度是在dimension等于零的位置上

那么拼接之后我们可以来看一下我们所得到的shape

那接下来我们再将我们的labels也转化成tensor形式

因为刚在我们item的方法当中呢

我们通过transform方法将我们的image已经转换成tensor格式了

但我们label它并不是tender格式

所以这里我们要通过touch as tensor这个方法

我们label也转换成tensor

然后我们所得到的labels呢

它就是一个tensor变量了

然后我们再通过return

就可以将我们打包好的图片以及标签信息进行一个返回

那么接下来我们再停止我们的一个调试过程

我们再回到我们的main函数当中

那么这里我们讲了这么多

我说的这些到底是不是对的呢

我们接下来再通过我们所得到的这个train data loader

应该读取它的图片以及标签信息

看是否是正确的

那么这里我又实现了个plot data loader image这个方法

在pytorch中自定义dataset读取数据_第10张图片

那我们来看一下这个方法

这个方法当中呢

首先我们获取一下我们这个data load的batchsize

然后我们这个json pass就指向我们刚刚生成的这个json文件

然后我们这里判断一下存存在

如果不存在就报错

然后我们再打开这个计算文件

然后载入它就得到了我们的一个字典

然后通过transport方法来调整它的一个通道顺序

原来通道顺序是channel

高度宽度

那么通过transpose之后

我们就还原成了高度宽度以及channel

然后在我们刚刚预处理过程当中呢

首先我们这个Totensor会将我们的数据范围从0~255

缩放到0~1之间

然后呢通过这个normalize这个方法

将我们数据rgb 个通道的数值分别减去这三个均值

然后再除以这三个标准差

得到我们标准化之后的数据

那么现在我们读入的数据就是标准化之后的数据

如果我们要绘制它呢

我们就需要将它转化回去

所以呢我们这里就对我们的rgb 通道首先乘以这三个数值

然后再加上这三个数值

然后再乘以255

我们就可以还原回原来的一个图像了

那么我们这里绘制的一个图像当中一共有1个行，plot number个列

在pytorch中自定义dataset读取数据_第11张图片

我们这里呢由于我们刚刚进行了一系列操作之后呢

它是一个float类型

我们这里将它转化成一个int 类型然后再show

你可能感兴趣的:(pytorch,人工智能,python)

  • 2024MathorCup数学建模之——MathorCup奖杯”获得者经验思路分享 美赛数学建模 数学建模
    一、经验分享1.工具选择：顺手即可。Matlab和Python都是比较主流的选择，二者的应用场合各有不同。Python在数据分析、深度学习方面的优势愈发明显，而Matlab更适合进行物理仿真和数值计算。不过随着Python社区不断发展，其功能也愈发全面与强大，因此我们比较推荐学有余力的情况下可以更早接触Python。2.模型算法：多多益善。不一定要精通所有的算法，但是手上至少要准备一些常用的算法（
  • Python 用户账户(创建用户账户) 钢铁男儿 Python从入门到精通pythonsqlite数据库
    Web应用程序的核心是让任何用户都能够注册账户并能够使用它，不管用户身处何方。在本章中，你将创建一些表单，让用户能够添加主题和条目，以及编辑既有的条目。你还将学习Django如何防范对基于表单的网页发起的常见攻击，这让你无需花太多时间考虑确保应用程序安全的问题。然后，我们将实现一个用户身份验证系统。你将创建一个注册页面，供用户创建账户，并让有些页面只能供已登录的用户访问。接下来，我们将修改一些视图
  • AI人工智能软件开发方案：开启智能时代的创新钥匙 广州硅基技术官方 人工智能
    一、引言：AI浪潮下的软件开发新机遇近年来，人工智能（AI）技术的迅猛发展如同一股汹涌澎湃的浪潮，席卷了全球各个领域。从最初的概念提出到如今的广泛应用，AI历经了漫长的发展历程，终于迎来了属于它的黄金时代。回首过去，AI的发展并非一帆风顺，早期由于计算能力和算法的限制，经历了多次起伏。但随着大数据、云计算、机器学习、深度学习等技术的不断突破，AI迎来了爆发式增长。如今，AI已经深入到人们生活和工作
  • 使用欧拉法数值求解微分方程的 Python 实现 神经网络15044 python深度学习算法python开发语言
    编写函数y=Eular(x,h)，使用欧拉法数值求解微分方程初值为函数Eular(x,h)中Cx为计算结束时微分方程x的值，h为计算步长再编写脚本，通过调用函数分别以不同步长(例如h=1.0，h=0.5，h=0.25)计算y(3)，并分析步长和误差之间的关系。以下是使用欧拉法数值求解微分方程的Python实现。假设我们要求解的微分方程是dydx=f(x,y)\frac{dy}{dx}=f(x,y)
  • 深度学习框架PyTorch——从入门到精通（6.2）自动微分机制 Fansv587 深度学习pytorch人工智能经验分享python机器学习
    本节自动微分机制是上一节自动微分的扩展内容自动微分是如何记录运算历史的保存张量非可微函数的梯度在本地设置禁用梯度计算设置requires_grad梯度模式（GradModes）默认模式（梯度模式）无梯度模式推理模式评估模式（`nn.Module.eval()`）自动求导中的原地操作原地操作的正确性检查多线程自动求导CPU上的并发不确定性计算图保留自动求导节点的线程安全性C++钩子函数不存在线程安全
  • 使用AirtableLoader轻松加载数据到Python bavDHAUO python开发语言
    在现代软件开发中，数据的管理与使用非常关键。Airtable作为一种灵活的数据库应用，提供了简便且强大的数据处理方式。而通过使用AirtableLoader这种工具，可以轻松地将Airtable中的数据加载到Python项目中进行处理。技术背景介绍Airtable是一款集电子表格和数据库功能于一体的工具，它以其简单易用、强大的扩展性而受到众多开发者的喜爱。AirtableLoader是一个文档加载
  • 【Python工具】Jupyter Notebook常用快捷键 清平乐的技术博客 Python高级应用由浅入深学Pythonjupyteridepython
    1.JupyterNotebook的启动与停止环境为Windows10系统首先win+R进入命令提示符cmd，用cd命令切换到工作目录，键入命令jupyternotebook2.JupyterNotebook常用快捷键2.1模式切换当前cell侧边为蓝色时，表示此时为命令模式，按Enter切换为编辑模式当前cell侧边为绿色时，表示此时为编辑模式，按Esc切换为命令模式2.2命令模式快捷键H：显示
  • Pytorch深度学习教程_9_nn模块构建神经网络 tRNA做科研 深度学习保姆教程深度学习pytorch神经网络
    欢迎来到《深度学习保姆教程》系列的第九篇！在前面的几篇中，我们已经介绍了Python、numpy及pytorch的基本使用，进行了梯度及神经网络的实践并学习了激活函数和激活函数，在上一个教程中我们学习了优化算法。今天，我们将开始使用pytorch构建我们自己的神经网络。欢迎订阅专栏进行系统学习：深度学习保姆教程_tRNA做科研的博客-CSDN博客目录1.理解nn模块：(1)使用nn.Sequent
  • Python 单例模式的 5 种实现方式：深入解析与最佳实践 做测试的小薄 测试高阶python单例模式自动化测试测试框架
    单例模式（SingletonPattern）是一种经典的设计模式，其核心思想是确保一个类在整个程序运行期间只有一个实例，并提供一个全局访问点。这种模式在许多场景中非常有用，例如全局配置管理、日志记录器、数据库连接池等。然而，Python的灵活性使得实现单例模式有多种方式，每种方法都有其特点和适用场景。本文将详细介绍Python中实现单例模式的5种常见方法，并深入分析它们的优缺点以及适用场景，帮助您
  • Python 爬虫实战：舞台剧与演出信息获取 西攻城狮北 python爬虫开发语言
    作为一名对文化艺术活动和数据获取感兴趣的内容创作者，我决定利用Python爬虫技术抓取舞台剧与演出信息。这对于文艺爱好者、文化活动组织者以及相关研究人员来说，是一个极具价值的探索。一、项目背景舞台剧和各类演出活动丰富了人们的精神文化生活。许多城市都有专业的演出场馆，如国家大剧院、上海大剧院等，它们会定期发布演出信息。通过爬虫技术，我们可以自动化地获取这些演出信息，方便用户查询和分析。二、技术选型在
  • LeetCode剑指offer题目记录4 t.y.Tang LeetCode记录leetcodepython矩阵
    leetcode刷题开始啦,每天记录几道题.目录剑指offer07.重建二叉树题目描述示例思路python改进剑指offer09.用两个栈实现队列题目描述示例思路python剑指offer10-1.斐波那契数列题目描述思路pythonC++剑指offer10-2.青蛙跳台阶问题问题描述思路C++剑指offer07.重建二叉树题目描述输入某二叉树的前序遍历和中序遍历的结果，请构建该二叉树并返回其根节
  • 【技巧分享】开发环境配置Python、R、Stata A线上仓库 python开发语言
    自用，看心情更新~版本更新2024-03-131.0版本2024-09-25FIX:1.conda命令ADD：1.python调用r命令2.r系统配置2025-01-22更新VSCode调用Statado文件目录版本更新Python环境配置Cheatsheet基础配置可选：环境配置：conda命令包管理R环境配置基础配置R命令Python调用Method1:`rpy2`Stata环境配置基础配置P
  • 基于 PyTorch 的 MNIST 手写数字分类模型 欣然～ pytorch分类人工智能
    一、概述本代码使用PyTorch框架构建了一个简单的神经网络模型，用于解决MNIST手写数字分类任务。代码主要包括数据的加载与预处理、神经网络模型的构建、损失函数和优化器的定义、模型的训练、评估以及最终模型的保存等步骤。二、依赖库torch：PyTorch深度学习框架的核心库，提供了张量操作、自动求导等功能。torch.nn：PyTorch的神经网络模块，包含了各种神经网络层、损失函数等。torc
  • python实现成语接龙 Camellia 泡泡 笔记python
    first_idiom='万事如意'end_str=first_idiom[-1]new_li=[first_idiom]li=['发愤图强','笑容满面','意气风发','强颜欢笑']forindexinrange(len(li)):foriinli:ifend_str==i[0]:new_li.append(i)li.remove(i)end_str=i[-1]breakprint(new_l
  • 涛哥聊Python | borb，一个好用的 Python 库，处理 PDF 文件好帮手！ 双木的木 python拓展学习python库python开发语言机器学习pdf人工智能深度学习
    本文来源公众号“涛哥聊Python”，仅用于学术分享，侵权删，干货满满。原文链接：borb，一个好用的Python库！大家好，今天为大家分享一个好用的Python库-borb。Github地址：https://github.com/jorisschellekens/borbPythonBorb是一个用于处理PDF文件的Python库，它提供了丰富的功能和工具，使得PDF文件的创建、修改和解析变得更
  • python—计算学生成绩等级 2111339 彭传月 python
    一、打开软件新建窗口输入代码#计算学生成绩等级is_continue='y'whileis_continue=='Y'oris_continue=='y':score=eval(input('请输入学生的成绩：'))ifscore>=90:print('A')elifscore>=80:print('B')elifscore>=70:print('C')elifscore>=60:print('D
  • CPU占用率飙升至100%：是攻击还是正常现象？ 群联云防护小杜 安全问题汇总ddos安全waf服务器cpu占用被攻击
    在运维和开发的日常工作中，CPU占用率突然飙升至100%往往是一个令人紧张的信号。这可能意味着服务器正在遭受攻击，但也可能是由于某些正常的、但资源密集型的任务或进程造成的。本文将探讨如何识别和应对服务器的异常CPU占用情况，并通过Python脚本示例，提供一种监控和诊断CPU占用率的方法。一、CPU占用率100%：攻击or正常？1.1攻击迹象持续性高占用：如果CPU占用率长时间保持在100%，且没
  • Python 成绩等级判定 Camellia 泡泡 python笔记
    score=int(input("请输入学生成绩:"))if90<=score<=100:grade="A"elif75<=score<=90:grade="B"elif60<=score<=75:grade="C"elifscore<60:grade="D"print("本次考试，等级为:",grade)运行结果：
  • 【Python】PDFMiner.six：高效处理PDF文档的Python工具 技术无疆 Pythonpythonpdf开发语言python3.11人工智能数据挖掘机器学习
    PDF是一种广泛使用的文件格式，特别适用于呈现固定布局的文档。然而，提取PDF文件中的文本和信息并不总是那么简单。幸好有许多Python库可以帮助我们，其中，PDFMiner.six是一个功能强大、专门用于PDF文档解析的库。⭕️宇宙起点什么是PDFMiner.six？主要功能安装PDFMiner.six♨️核心功能和代码示例1.提取PDF文档的纯文本2.从多个页面提取文本3.提取PDF中的表格内
  • 25道Python练手题（附详细答案），赶紧收藏！_python题库 字节全栈_rJF python开发语言
    importrandomasrdnumber=rd.randint(0,100)foriinrange(10):choice=int(input("请输入你要猜测的数字："))ifchoice>number:print("你猜大了")elifchoice0and5*x+3*y+z/3==100:count+=1print("="*60)print(f'第{count}种买法，公鸡买了{x}只，母鸡
  • python爱心代码高级 youyouxiong python开发语言
    在Python中，我们可以使用各种方法来绘制一个“爱心”形状。以下是一个使用turtle模块绘制爱心的高级示例。这个示例将使用更复杂的数学公式和图形操作来绘制一个更精致的爱心形状。importturtleimportmath#设置初始状态window=turtle.Screen()window.bgcolor("black")#设置背景色为黑色love=turtle.Turtle()love.sp
  • python画一个爱心 戴子雯 python绘画python
    大家好这是我的地一篇博客，我要写一个关于python的文章我要用python写一个爱心。不说别的，先看效果效果如下：话不多说，上代码，在这之前要下载python下载这事咱们放在最后现在上代码！！！！！！！！！！！！！！importturtleastt.pensize(2)#笔大小2像素t.pencolor("red")#颜色为红色t.left
  • brew 安装pip_pip brew wget 安装 weixin_32612253 brew安装pip
    终端播放器安装教程从简书上看到一篇,终端实现网易云音乐的文章,并给出了一个github链接.心里有些痒痒,想看看是什么样子,于是尝试安装.安装过程中有些坎坷,记录以便以后查阅.程序实现是用Python写的.安装使用方式仅仅给了三行命令.安装$pipinstallnetease-musicbox$brewinstallmpg123使用$musicbox下载了源码后,不知道该如何安装.三行命令也是莫名
  • 探索Google AI聊天模型的集成和使用 qahaj 人工智能python
    随着人工智能的飞速发展，GoogleAI的聊天模型提供了强大的自然语言处理能力，可以应用于多种场景中。本文将为你介绍如何通过GoogleAI和LangChain库来使用这些聊天模型。技术背景介绍GoogleAI提供了一系列强大的聊天模型，这些模型具备不同的功能和参数设置。它们不仅可以通过GoogleAI服务访问，还可以通过GoogleCloudVertexAI以企业级功能使用。在本文中，我们将重点
  • python实现绘制爱心函数（绘制过程） halo0416 python开发语言
    首先，确保已经安装了matplotlib库和numpy库。如果没有安装，可以通过pip来安装：pipinstallmatplotlibpipinstallnumpy了解心形函数公式：x(t)=y(t)=13cos⁡(t)−5cos⁡(2t)−2cos⁡(3t)−cos⁡(4t)定义函数：defheart_shape(t):x=16*np.sin(t)**3y=13*np.cos(t)-5*np.c
  • python 绘图（爱心） @小H python开发语言
    #-*-coding:utf-8-*-fromturtleimport*defcurvemove():foriinrange(200):right(1)forward(1)color('red','pink')begin_fill()left(140)forward(111.65)curvemove()left(120)curvemove()forward(111.65)end_fill()don
  • Mulvus向量库数据插入失败排查 Sirius Wu milvus
    Mulvus是一个开源的向量数据库，要判断数据是否成功插入以及在插入失败时进行排查，可以参考以下方法：确认数据是否成功插入1.API返回结果在使用Mulvus提供的API插入数据时，API会返回相应的结果信息。以PythonSDK为例，插入数据的代码通常如下：frompymilvusimportconnections,Collection,FieldSchema,CollectionSchema,
  • 使用 Python 绘制爱心图形（高级版） 徐浪老师 徐浪老师大讲堂python开发语言
    以下是一段使用Python绘制高级“爱心”图案的代码，结合数学公式生成精美的爱心形状，并附加一些交互式的效果，比如渐变颜色或动态展示：动态渐变爱心importnumpyasnpimportmatplotlib.pyplotaspltimportmatplotlib.animationasanimation#设置爱心的数学公式defheart_shape(t):x=16*np.sin(t)**3y=
  • “租赁业务ERP+deepseek”模式的应用 软件研究员 汽车DeepSeek汽车租赁系统
    汽车租赁业务从上世纪90年代发展至今，从传统的人工管理到软件辅助，随着互联网的发展，业务公司对汽车租赁系统提出了更高的要求，比如自助订单，业务推广、客户资质评估，车辆风控，风险预警等，又随着近期人工智能的出现，业务公司对业务系统的期望更高，期望都节约更多人工成本，让管理变得简单快捷高效和智能。所以就引发人们新的启发：“业务系统ERP+deepseek”，但业务系统ERP+deepseek能否满足业
  • 2025计算机毕设全流程实战指南：Java/Python+协同过滤+小程序开发避坑手册 启点毕设 课程设计javapython大四论文指南查重降重技巧毕业设计spring
    技术框架的选择是项目开发的关键起点，直接影响开发效率和最终成果质量。然而，许多开发者在选择技术框架时面临困难：现有知识储备不足以支撑复杂项目需求，团队经验有限，框架选择缺乏前瞻性常导致后期问题。尽管技术框架的选择过程充满挑战，但合适的框架能为项目开发和维护奠定基础，而不当的选择则可能带来持续的技术债务和开发困扰。所以，建议对项目技术框架把握不好的同学，最好是找自己的研究生学长或者老师详细的把关机技
  • 枚举的构造函数中抛出异常会怎样 bylijinnan javaenum单例
    首先从使用enum实现单例说起。 为什么要用enum来实现单例？ 这篇文章（ http://javarevisited.blogspot.sg/2012/07/why-enum-singleton-are-better-in-java.html）阐述了三个理由： 1.enum单例简单、容易，只需几行代码： public enum Singleton { INSTANCE;
  • CMake 教程 aigo C++
    转自：http://xiang.lf.blog.163.com/blog/static/127733322201481114456136/   CMake是一个跨平台的程序构建工具，比如起自己编写Makefile方便很多。 介绍：http://baike.baidu.com/view/1126160.htm 本文件不介绍CMake的基本语法，下面是篇不错的入门教程： http:
  • cvc-complex-type.2.3: Element 'beans' cannot have character Cb123456 springWebgis
      cvc-complex-type.2.3: Element 'beans' cannot have character     Line 33 in XML document from ServletContext resource [/WEB-INF/backend-servlet.xml] is i
  • jquery实例:随页面滚动条滚动而自动加载内容 120153216 jquery
    <script language="javascript"> $(function (){ var i = 4;$(window).bind("scroll", function (event){ //滚动条到网页头部的 高度，兼容ie,ff,chrome var top = document.documentElement.s
  • 将数据库中的数据转换成dbs文件 何必如此 sqldbs
    旗正规则引擎通过数据库配置器（DataBuilder）来管理数据库，无论是Oracle，还是其他主流的数据都支持，操作方式是一样的。旗正规则引擎的数据库配置器是用于编辑数据库结构信息以及管理数据库表数据，并且可以执行SQL 语句，主要功能如下。 1)数据库生成表结构信息：         主要生成数据库配置文件(.conf文
  • 在IBATIS中配置SQL语句的IN方式 357029540 ibatis
    在使用IBATIS进行SQL语句配置查询时，我们一定会遇到通过IN查询的地方，在使用IN查询时我们可以有两种方式进行配置参数：String和List。具体使用方式如下： 1.String:定义一个String的参数userIds，把这个参数传入IBATIS的sql配置文件，sql语句就可以这样写： <select id="getForms" param
  • Spring3 MVC 笔记（一） 7454103 springmvcbeanRESTJSF
             自从 MVC 这个概念提出来之后 struts1.X  struts2.X   jsf 。。。。。 这个view 层的技术一个接一个！ 都用过！不敢说哪个绝对的强悍！ 要看业务，和整体的设计！      最近公司要求开发个新系统！
  • Timer与Spring Quartz 定时执行程序 darkranger springbean工作quartz
    有时候需要定时触发某一项任务。其实在jdk1.3，java sdk就通过java.util.Timer提供相应的功能。一个简单的例子说明如何使用，很简单： 1、第一步，我们需要建立一项任务，我们的任务需要继承java.util.TimerTask package com.test; import java.text.SimpleDateFormat; import java.util.Date;
  • 大端小端转换，le32_to_cpu 和cpu_to_le32 aijuans C语言相关
    大端小端转换，le32_to_cpu 和cpu_to_le32  字节序 http://oss.org.cn/kernel-book/ldd3/ch11s04.html         小心不要假设字节序. PC 存储多字节值是低字节为先(小端为先, 因此是小端), 一些高级的平台以另一种方式(大端)
  • Nginx负载均衡配置实例详解 avords
    [导读] 负载均衡是我们大流量网站要做的一个东西，下面我来给大家介绍在Nginx服务器上进行负载均衡配置方法，希望对有需要的同学有所帮助哦。负载均衡先来简单了解一下什么是负载均衡，单从字面上的意思来理解就可以解 负载均衡是我们大流量网站要做的一个东西，下面我来给大家介绍在Nginx服务器上进行负载均衡配置方法，希望对有需要的同学有所帮助哦。 负载均衡 先来简单了解一下什么是负载均衡
  • 乱说的 houxinyou 框架敏捷开发软件测试
    从很久以前，大家就研究框架，开发方法，软件工程，好多！反正我是搞不明白！ 这两天看好多人研究敏捷模型，瀑布模型！也没太搞明白. 不过感觉和程序开发语言差不多， 瀑布就是顺序，敏捷就是循环. 瀑布就是需求、分析、设计、编码、测试一步一步走下来。而敏捷就是按摸块或者说迭代做个循环，第个循环中也一样是需求、分析、设计、编码、测试一步一步走下来。 也可以把软件开发理
  • 欣赏的价值——一个小故事 bijian1013 有效辅导欣赏欣赏的价值
    　　第一次参加家长会，幼儿园的老师说："您的儿子有多动症，在板凳上连三分钟都坐不了，你最好带他去医院看一看。"　　回家的路上，儿子问她老师都说了些什么，她鼻子一酸，差点流下泪来。因为全班30位小朋友，惟有他表现最差；惟有对他，老师表现出不屑，然而她还在告诉她的儿子："老师表扬你了，说宝宝原来在板凳上坐不了一分钟，现在能坐三分钟。其他妈妈都非常羡慕妈妈，因为全班只有宝宝
  • 包冲突问题的解决方法 bingyingao eclipsemavenexclusions包冲突
    包冲突是开发过程中很常见的问题： 其表现有： 1.明明在eclipse中能够索引到某个类，运行时却报出找不到类。 2.明明在eclipse中能够索引到某个类的方法，运行时却报出找不到方法。 3.类及方法都有，以正确编译成了.class文件，在本机跑的好好的，发到测试或者正式环境就 抛如下异常： java.lang.NoClassDefFoundError: Could not in
  • 【Spark七十五】Spark Streaming整合Flume-NG三之接入log4j bit1129 Stream
    先来一段废话： 实际工作中，业务系统的日志基本上是使用Log4j写入到日志文件中的，问题的关键之处在于业务日志的格式混乱，这给对日志文件中的日志进行统计分析带来了极大的困难，或者说，基本上无法进行分析，每个人写日志的习惯不同，导致日志行的格式五花八门，最后只能通过grep来查找特定的关键词缩小范围，但是在集群环境下，每个机器去grep一遍，分析一遍，这个效率如何可想之二，大好光阴都浪费在这上面了
  • sudoku solver in Haskell bookjovi sudokuhaskell
    这几天没太多的事做，想着用函数式语言来写点实用的程序，像fib和prime之类的就不想提了（就一行代码的事），写什么程序呢？在网上闲逛时发现sudoku游戏，sudoku十几年前就知道了，学生生涯时也想过用C/Java来实现个智能求解，但到最后往往没写成，主要是用C/Java写的话会很麻烦。   现在写程序，本人总是有一种思维惯性，总是想把程序写的更紧凑，更精致，代码行数最少，所以现
  • java apache ftpClient bro_feng java
    最近使用apache的ftpclient插件实现ftp下载，遇见几个问题，做如下总结。 1. 上传阻塞，一连串的上传，其中一个就阻塞了，或是用storeFile上传时返回false。查了点资料，说是FTP有主动模式和被动模式。将传出模式修改为被动模式ftp.enterLocalPassiveMode();然后就好了。 看了网上相关介绍，对主动模式和被动模式区别还是比较的模糊，不太了解被动模
  • 读《研磨设计模式》-代码笔记-工厂方法模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 工厂方法模式：使一个类的实例化延迟到子类 * 某次，我在工作不知不觉中就用到了工厂方法模式（称为模板方法模式更恰当。2012-10-29）： * 有很多不同的产品，它
  • 面试记录语 chenyu19891124 招聘
    或许真的在一个平台上成长成什么样，都必须靠自己去努力。有了好的平台让自己展示，就该好好努力。今天是自己单独一次去面试别人，感觉有点小紧张，说话有点打结。在面试完后写面试情况表，下笔真的好难，尤其是要对面试人的情况说明真的好难。 今天面试的是自己同事的同事，现在的这个同事要离职了，介绍了我现在这位同事以前的同事来面试。今天这位求职者面试的是配置管理，期初看了简历觉得应该很适合做配置管理，但是今天面
  • Fire Workflow 1.0正式版终于发布了 comsci 工作workflowGoogle
    Fire Workflow 是国内另外一款开源工作流，作者是著名的非也同志，哈哈.... 官方网站是 http://www.fireflow.org 经过大家努力,Fire Workflow 1.0正式版终于发布了 正式版主要变化: 1、增加IWorkItem.jumpToEx(...)方法，取消了当前环节和目标环节必须在同一条执行线的限制，使得自由流更加自由 2、增加IT
  • Python向脚本传参 daizj python脚本传参
    如果想对python脚本传参数，python中对应的argc, argv(c语言的命令行参数)是什么呢？ 需要模块：sys 参数个数：len(sys.argv) 脚本名：    sys.argv[0] 参数1：     sys.argv[1] 参数2：     sys.argv[
  • 管理用户分组的命令gpasswd dongwei_6688 passwd
    NAME： gpasswd - administer the /etc/group file SYNOPSIS： gpasswd group gpasswd -a user group gpasswd -d user group gpasswd -R group gpasswd -r group gpasswd [-A user,...] [-M user,...] g
  • 郝斌老师数据结构课程笔记 dcj3sjt126com 数据结构与算法
    <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
  • yii2 cgridview加上选择框进行操作 dcj3sjt126com GridView
    页面代码 <?=Html::beginForm(['controller/bulk'],'post');?> <?=Html::dropDownList('action','',[''=>'Mark selected as: ','c'=>'Confirmed','nc'=>'No Confirmed'],['class'=>'dropdown',])
  • linux mysql fypop linux
    enquiry mysql version in centos linux yum list installed | grep mysql yum -y remove mysql-libs.x86_64 enquiry mysql version in yum repositoryyum list | grep mysql oryum -y list mysql* install mysq
  • Scramble String hcx2013 String
    Given a string s1, we may represent it as a binary tree by partitioning it to two non-empty substrings recursively. Below is one possible representation of s1 = "great":
  • 跟我学Shiro目录贴 jinnianshilongnian 跟我学shiro
    历经三个月左右时间，《跟我学Shiro》系列教程已经完结，暂时没有需要补充的内容，因此生成PDF版供大家下载。最近项目比较紧，没有时间解答一些疑问，暂时无法回复一些问题，很抱歉，不过可以加群（334194438/348194195）一起讨论问题。     ----广告-----------------------------------------------------
  • nginx日志切割并使用flume-ng收集日志 liyonghui160com
         nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。第二步向nginx主
  • Oracle死锁解决方法 pda158 oracle
    　select p.spid,c.object_name,b.session_id,b.oracle_username,b.os_user_name from v$process p,v$session a, v$locked_object b,all_objects c where p.addr=a.paddr and a.process=b.process and c.object_id=b.
  • java之List排序 shiguanghui list排序
       在Java Collection Framework中定义的List实现有Vector，ArrayList和LinkedList。这些集合提供了对对象组的索引访问。他们提供了元素的添加与删除支持。然而，它们并没有内置的元素排序支持。 　　你能够使用java.util.Collections类中的sort()方法对List元素进行排序。你既可以给方法传递
  • servlet单例多线程 utopialxw 单例多线程servlet
    转自http://www.cnblogs.com/yjhrem/articles/3160864.html 和   http://blog.chinaunix.net/uid-7374279-id-3687149.html Servlet 单例多线程 Servlet如何处理多个请求访问？Servlet容器默认是采用单实例多线程的方式处理多个请求的：1.当web服务器启动的
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他