- 爬取MalwareBazaar实现恶意样本数据自由
梦想闹钟
python
最近在做恶意软件的研究时,发现一个主要问题就是缺少样本,在网上搜索后发现各个开源的数据集都有各种各样的问题,如这个DikeDataSet:https://github.com/iosifache/DikeDataset优点是有白样本,缺点是黑样本分布不均且主要集中在一个家族里发现有一个比较好用的开源数据平台MalwareBazaar:https://bazaar.abuse.ch/browse/可
- 神经网络分类任务python入门
三十度角阳光的问候
神经网络分类python
目录Mnist分类任务读取Mnist数据集转换成tensor才能参与后续建模训练torch.nn.functional创建一个model来更简化代码使用TensorDataset和DataLoader来简化整个过程Mnist分类任务-网络基本构建与训练方法,常用函数解析-torch.nn.functional模块-nn.Module模块读取Mnist数据集-会自动进行下载frompathlibim
- 机器学习——lightGBM(学习整理)
CXDNW
机器学习机器学习人工智能笔记lightgbm参数优化sklearn
目录一、认识lightGBM1.简单介绍2.主要特点LightGBM的缺点3.模型训练方式(1)TrainingAPI(2)Scikit-learnAPI二、相关函数参数1.TrainingAPI2.Scikit-learnAPI(重复只做补充)3.lightgbm.cv4.lightgbm.Dataset5.Callbacks(1)lightgbm.record_evaluation(2)lig
- Spark权威指南读书笔记(二):结构化API
kaiker
第四章结构化API概述结构化API主要指三种核心分布式集合类型API:Dataset、DataFrame、SQL表和视图DataFrame和Dataset类型DataFrame和Dataset是具有行和列的类似于数据表的集合类型Spark中的DataFrame和Dataset代表不可变的数据集合Schema定义了DataFrame的列名和类型两者比较非类型化的DataFrame和类型化的Datas
- [论文笔记] LLM数据集——LongData-Corpus
心心喵
论文笔记服务器ubuntulinux
https://huggingface.co/datasets/yuyijiong/LongData-Corpus1、hf的数据在开发机上要设置sshkey,然后cat复制之后在设置在hf上2、中文小说数据在云盘上清华大学云盘下载:#!/bin/bash#BaseURLbase_url="https://cloud.tsinghua.edu.cn/d/0670fcb14d294c97b5cf/fi
- Taco数据集的yolo格式
lhy12345678910
计算机视觉python
将Taco数据集的1500张图片和原本的coco标注改为yolo格式,方便用yolo算法对垃圾数据集进行目标检测操作。并配上改成中文标签的yaml文件。TACO原数据集GitHub链接:GitHub-pedropro/TACO:TrashAnnotationsinContextDatasetToolkityaml文件链接:https://pan.baidu.com/s/1ZI9GKeRoysCMY
- yolo7 自定义数据训练
漫欣
深度学习人工智能
数据打标labelimg预定义标签格式namelabel数据集定义文件errimg.yamltrain:/home/kean/works/yolov7/dataset/train.txtval:/home/kean/works/yolov7/dataset/val.txt#numberofclassesnc:1#classnamesnames:["error_dialog"]数据定义文件train
- SparkSql
李思缘的大数据之路
sparksparksql
SparkSQL基本介绍什么是SparkSQL?用于处理结构化数据的Spark模块。可以通过DataFrame和DataSet处理数据。SparkSQL特点1、易整合可以使用java、scala、python、R等语言的API操作。2、统一的数据访问连接到任何数据源的方式相同。3、兼容Hive4、标准的数据连接(JDBC/ODBC)SQL优缺点优点:表达非常清晰,难度低、易学习。缺点:复杂的业务需
- PyTorch实现CIFAR-10分类代码
曹勖之
PyTorch学习之路深度学习pytorch
这篇是PyTorch学习之路第七篇,用于记录PyTorch实现CIFAR-10分类代码(书上的代码有好多冗余)目录完整代码(还未训练)完整代码(已训练,直接载入模型)下面实例数据集位于:C:\Users\22130\Learning_Pytorch\dataset完整代码(还未训练)importtorchimporttorchvisionimporttorchvision.transformsas
- Flink SQL w/ Blink Planner执行流程解析(上篇)
码农老K
javasqlflinkhive大数据
Foreword大数据领域SQL化的风潮方兴未艾(所谓"EverybodyknowsSQL"),Flink自然也不能“免俗”。FlinkSQL是Flink系统内部最高级别的API,也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务,屏蔽了底层DataStream/DataSetAPI的复杂细节,降低了使用门槛。那么,一条FlinkSQL语句是如何转化成可执行的
- torch.nn到底是什么?
yanglamei1962
PyTorch学习教程python深度学习pytorch
torch.nn到底是什么?我们建议将本教程作为笔记本而不是脚本来运行。要下载笔记本(.ipynb)文件,请单击页面顶部的链接。PyTorch提供设计精美的模块和类torch.nn,torch.optim,Dataset和DataLoader神经网络。为了充分利用它们的功能并针对您的问题对其进行自定义,您需要真正了解它们在做什么。为了建立这种理解,我们将首先在MNIST数据集上训练基本神经网络,而
- CVPR2024部分研究方向文章梳理(持续更新中)
路漫漫独求索
计算机视觉人工智能深度学习分类AI作画stablediffusion
CVPR2024部分研究方向文章梳理(持续更新中)长尾分布(Long-Tailed)DeiT-LT:DistillationStrikesBackforVisionTransformerTrainingonLong-TailedDatasets.全文地址:DeiT-LT\(rangwani-harsh.github.io\)领域自适应(DomainAdaptation)LearningCNNonV
- 【赵渝强老师】Spark中的RDD
赵渝强老师
大数据技术spark大数据分布式
RDD(ResilientDistributedDataset)叫做弹性分布式数据集,它是Spark中最基本、也是最重要的的数据模型。它由分区组成,每个分区被一个Spark的Worker从节点处理,从而支持分布式的并行计算。RDD通过检查点Checkpoint的方式提供自动容错的功能,并且具有位置感知性调度和可伸缩的特性。通过RDD也提供缓存的机制,可以极大地提高数据处理的速度。 视频讲解如
- 深度学习五种不同代码实现,神经网络,机器学习
学呗~那不然呢
pycharm
第一种importnumpyasnpimporttensorflowastfmnist=tf.keras.datasets.mnistimportmatplotlib.pyplotaspltimportmatplotlibmatplotlib.use("TkAgg")(x_train,y_train),(x_test,y_test)=mnist.load_data()x_train=x_train
- C# ADO.NET的五个常用对象及数据库连接操作
ZorroBubble
C#基础学习笔记C#ADO.NETDataSetSqlConnection
C#中和数据库连接的操作时开发中必不可少的,而ADO.NET就是其中的关键技术之一。常见的ADO.NET有五个常用的对象:SqlConnection数据库连接对象SqlCommand数据库命令对象SqlDataAdapter数据适配器SqlDataReader数据库读取器,“只读、向前”,不能后退地读取数据DataSet数据集,相当于内存中的数据库以下为这几个对象常用的方法:ExecuteScal
- React+Vis.js(06):vis.js修改选中节点的样式和边的样式
叁拾舞
Vis.jsjavascriptreact.js前端vis.js
文章目录初始化知识图谱选中节点修改节点背景颜色选中节点修改节点文字颜色未选中节点恢复节点背景颜色和文字颜色修改当前选中节点的边的颜色初始化知识图谱创建network.js组件,来初始化原始知识图谱:importReact,{useRef,useEffect}from"react";importvisfrom"vis";constnodes=newvis.DataSet([
- Pytorch中使用SubsetRandomSampler做数据集划分
RAGERAGE_
pytorch
importtorchfromtorch.utils.dataimportTensorDataset,DataLoaderfromtorch.utils.data.samplerimportSubsetRandomSamplerdataset=TensorDataset(torch.tensor(list(range(20))))#构造一个数据集(0到19)idx=list(range(len(d
- 24.8.19学习笔记(MNIST,)
kkkkk021106
学习笔记
pytorchMNIST手写数字识别:importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorchvisionimportdatasets,transforms#设定随机种子以保证结果可复现torch.manual_seed(0)#定义超参数batch_size=32learning_rate=0.001num_epochs=10#1
- 24.8.10学习笔记
kkkkk021106
学习笔记
深度剖析猫狗分类CNN代码:importtorchfromtorchimportnnfromcatdogimportMyAlexNetimportnumpyasnpfromtorch.optimimportlr_schedulerimportosfromtorchvisionimporttransformsfromtorchvision.datasetsimportImageFolderfromt
- Python_pytorch(五)模型训练
Han Gang
pythonpytorch深度学习
反向传播LossFunctionimporttorchvisionfromtorchimportnnfromtorch.nnimportFlattenfromtorch.utils.dataimportDataLoaderdataset=torchvision.datasets.CIFAR10("./data",train=False,transform=torchvision.transform
- COMP315 JavaScript Cloud Computing for E Commerce
zhuyu0206girl
javascript开发语言ecmascript
Assignment1:Javascript1IntroductionAcommontaskincloudcomputingisdatacleaning,whichistheprocessoftakinganinitialdatasetthatmaycontainerroneousorincompletedata,andremovingorfixingthoseelementsbeforeform
- Spark的数据结构——RDD
bluedraam_pp
Sparkspark数据结构大数据
RDD的5个特征下面来说一下RDD这东西,它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域,大数据都是分割成若干个部分,放到多个服务器上,这样就能做到多线程的处理数据,这对处理大数据量是非常重要的。分区意味着,可以使用多个线程了处理。Afunctionforcomputingeachsplit:作用在
- KGCN---pytorch代码(1)---data_loader
sweet_Mary
推荐算法python推荐算法pytorch人工智能机器学习深度学习
代码:importpandasaspdimportnumpyasnpfromsklearn.preprocessingimportLabelEncoderfromsklearn.model_selectionimporttrain_test_splitimportrandomclassDataLoader:'''DataLoaderclasswhichmakesdatasetfortraining
- 微信小程序学习记录——4.框架-视图层
赈川
微信小程序微信小程序
文章目录1.WXML数据绑定简单绑定运算组合列表渲染wx:forblockwx:forwx:key条件渲染wx:ifblockwx:ifwx:ifvshidden模板定义模板使用模板模板的作用域引用importimport的作用域include事件什么是事件事件的使用方式事件分类事件绑定和冒泡事件的捕获阶段事件对象timeStamptargetcurrentTargetdatasettouches
- 机器学习-02-机器学习专家系统
IT从业者张某某
2024年机器学习机器学习人工智能
总结本系列是机器学习课程的第02篇,主要介绍机器学习中专家系统的应用介绍本门课程的目标完成一个特定行业的算法应用全过程:定义问题(ProblemDefinition)->数据收集(DataCollection)->数据分割(DatasetSpitup)->模型训练(ModelTraining)->模型评估(ModelEvaluation)->应用部署(SystemDeployment)->改变世界
- waymo open dataset v2.0.0 (Perception dataset) 大小
wzy-666
linux人工智能运维
可以使用以下命令来获取指定存储桶或文件夹的大小:gsutildu-shgs://waymo_open_dataset_v_2_0_0/testinggsutildu-shgs://waymo_open_dataset_v_2_0_0/testing_locationgsutildu-shgs://waymo_open_dataset_v_2_0_0/traininggsutildu-shgs://
- [R] to get how many participants in the dataframe and use it
EricWang1358
Rr语言开发语言
prop1<-sum(GE_survey$`Q17_Whatdepartmentareyouin`=="HSS")/nrow(GE_survey)nrow()andncol():Supposeyouhaveadatasetmy_datathatcontainsinformationaboutcustomers,witheachrowrepresentingadifferentcustomerand
- 关于MediaEval数据集的Dataset构建(Text部分-使用PLM BERT)
Coisíní℘
多模态虚假新闻检测bert人工智能深度学习
importrandomimportnumpyasnpimportpandasaspdimporttorchfromtransformersimportBertModel,BertTokenizerfromtqdm.autoimporttqdmfromtorch.utils.dataimportDatasetimportre"""参考Game-On论文""""""util.py"""defset_
- 如何将npy数据加载到DataLoader中(应对已将特征保存为npy格式的情况)- 接续PLM后的数据加载
Coisíní℘
多模态虚假新闻检测笔记深度学习
importnumpyasnpfromtorch.utils.dataimportDataset,DataLoaderclassNumpDatasets(Dataset):def__init__(self,file_path):self.data=np.load(file_path)def__getitem__(self,item):returnself.data[index]def__len__
- [R] compare the sum, and report with if{}else if{}
EricWang1358
Rr语言
YoumayneedtocomparethefrequencyofinquiriesaboutgradedistributionandteachingstyleintheGE_surveydataset.Assumingyouhavevariablesinyourdatasetthatrepresenttheseinquiries(let'scallthemQ_grade_distribution
- scala的option和some
矮蛋蛋
编程scala
原文地址:
http://blog.sina.com.cn/s/blog_68af3f090100qkt8.html
对于学习 Scala 的 Java™ 开发人员来说,对象是一个比较自然、简单的入口点。在 本系列 前几期文章中,我介绍了 Scala 中一些面向对象的编程方法,这些方法实际上与 Java 编程的区别不是很大。我还向您展示了 Scala 如何重新应用传统的面向对象概念,找到其缺点
- NullPointerException
Cb123456
androidBaseAdapter
java.lang.NullPointerException: Attempt to invoke virtual method 'int android.view.View.getImportantForAccessibility()' on a null object reference
出现以上异常.然后就在baidu上
- PHP使用文件和目录
天子之骄
php文件和目录读取和写入php验证文件php锁定文件
PHP使用文件和目录
1.使用include()包含文件
(1):使用include()从一个被包含文档返回一个值
(2):在控制结构中使用include()
include_once()函数需要一个包含文件的路径,此外,第一次调用它的情况和include()一样,如果在脚本执行中再次对同一个文件调用,那么这个文件不会再次包含。
在php.ini文件中设置
- SQL SELECT DISTINCT 语句
何必如此
sql
SELECT DISTINCT 语句用于返回唯一不同的值。
SQL SELECT DISTINCT 语句
在表中,一个列可能会包含多个重复值,有时您也许希望仅仅列出不同(distinct)的值。
DISTINCT 关键词用于返回唯一不同的值。
SQL SELECT DISTINCT 语法
SELECT DISTINCT column_name,column_name
F
- java冒泡排序
3213213333332132
java冒泡排序
package com.algorithm;
/**
* @Description 冒泡
* @author FuJianyong
* 2015-1-22上午09:58:39
*/
public class MaoPao {
public static void main(String[] args) {
int[] mao = {17,50,26,18,9,10
- struts2.18 +json,struts2-json-plugin-2.1.8.1.jar配置及问题!
7454103
DAOspringAjaxjsonqq
struts2.18 出来有段时间了! (貌似是 稳定版)
闲时研究下下! 貌似 sruts2 搭配 json 做 ajax 很吃香!
实践了下下! 不当之处请绕过! 呵呵
网上一大堆 struts2+json 不过大多的json 插件 都是 jsonplugin.34.jar
strut
- struts2 数据标签说明
darkranger
jspbeanstrutsservletScheme
数据标签主要用于提供各种数据访问相关的功能,包括显示一个Action里的属性,以及生成国际化输出等功能
数据标签主要包括:
action :该标签用于在JSP页面中直接调用一个Action,通过指定executeResult参数,还可将该Action的处理结果包含到本页面来。
bean :该标签用于创建一个javabean实例。如果指定了id属性,则可以将创建的javabean实例放入Sta
- 链表.简单的链表节点构建
aijuans
编程技巧
/*编程环境WIN-TC*/ #include "stdio.h" #include "conio.h"
#define NODE(name, key_word, help) \ Node name[1]={{NULL, NULL, NULL, key_word, help}}
typedef struct node { &nbs
- tomcat下jndi的三种配置方式
avords
tomcat
jndi(Java Naming and Directory Interface,Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。命名服务将名称和对象联系起来,使得我们可以用名称
访问对象。目录服务是一种命名服务,在这种服务里,对象不但有名称,还有属性。
tomcat配置
- 关于敏捷的一些想法
houxinyou
敏捷
从网上看到这样一句话:“敏捷开发的最重要目标就是:满足用户多变的需求,说白了就是最大程度的让客户满意。”
感觉表达的不太清楚。
感觉容易被人误解的地方主要在“用户多变的需求”上。
第一种多变,实际上就是没有从根本上了解了用户的需求。用户的需求实际是稳定的,只是比较多,也比较混乱,用户一般只能了解自己的那一小部分,所以没有用户能清楚的表达出整体需求。而由于各种条件的,用户表达自己那一部分时也有
- 富养还是穷养,决定孩子的一生
bijian1013
教育人生
是什么决定孩子未来物质能否丰盛?为什么说寒门很难出贵子,三代才能出贵族?真的是父母必须有钱,才能大概率保证孩子未来富有吗?-----作者:@李雪爱与自由
事实并非由物质决定,而是由心灵决定。一朋友富有而且修养气质很好,兄弟姐妹也都如此。她的童年时代,物质上大家都很贫乏,但妈妈总是保持生活中的美感,时不时给孩子们带回一些美好小玩意,从来不对孩子传递生活艰辛、金钱来之不易、要懂得珍惜
- oracle 日期时间格式转化
征客丶
oracle
oracle 系统时间有 SYSDATE 与 SYSTIMESTAMP;
SYSDATE:不支持毫秒,取的是系统时间;
SYSTIMESTAMP:支持毫秒,日期,时间是给时区转换的,秒和毫秒是取的系统的。
日期转字符窜:
一、不取毫秒:
TO_CHAR(SYSDATE, 'YYYY-MM-DD HH24:MI:SS')
简要说明,
YYYY 年
MM 月
- 【Scala六】分析Spark源代码总结的Scala语法四
bit1129
scala
1. apply语法
FileShuffleBlockManager中定义的类ShuffleFileGroup,定义:
private class ShuffleFileGroup(val shuffleId: Int, val fileId: Int, val files: Array[File]) {
...
def apply(bucketId
- Erlang中有意思的bug
bookjovi
erlang
代码中常有一些很搞笑的bug,如下面的一行代码被调用两次(Erlang beam)
commit f667e4a47b07b07ed035073b94d699ff5fe0ba9b
Author: Jovi Zhang <
[email protected]>
Date: Fri Dec 2 16:19:22 2011 +0100
erts:
- 移位打印10进制数转16进制-2008-08-18
ljy325
java基础
/**
* Description 移位打印10进制的16进制形式
* Creation Date 15-08-2008 9:00
* @author 卢俊宇
* @version 1.0
*
*/
public class PrintHex {
// 备选字符
static final char di
- 读《研磨设计模式》-代码笔记-组合模式
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
import java.util.ArrayList;
import java.util.List;
abstract class Component {
public abstract void printStruct(Str
- 利用cmd命令将.class文件打包成jar
chenyu19891124
cmdjar
cmd命令打jar是如下实现:
在运行里输入cmd,利用cmd命令进入到本地的工作盘符。(如我的是D盘下的文件有此路径 D:\workspace\prpall\WEB-INF\classes)
现在是想把D:\workspace\prpall\WEB-INF\classes路径下所有的文件打包成prpall.jar。然后继续如下操作:
cd D: 回车
cd workspace/prpal
- [原创]JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明
comsci
eclipse设计模式算法工作swing
JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明
&nb
- SecureCRT右键粘贴的设置
daizj
secureCRT右键粘贴
一般都习惯鼠标右键自动粘贴的功能,对于SecureCRT6.7.5 ,这个功能也已经是默认配置了。
老版本的SecureCRT其实也有这个功能,只是不是默认设置,很多人不知道罢了。
菜单:
Options->Global Options ...->Terminal
右边有个Mouse的选项块。
Copy on Select
Paste on Right/Middle
- Linux 软链接和硬链接
dongwei_6688
linux
1.Linux链接概念Linux链接分两种,一种被称为硬链接(Hard Link),另一种被称为符号链接(Symbolic Link)。默认情况下,ln命令产生硬链接。
【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中,保存在磁盘分区中的文件不管是什么类型都给它分配一个编号,称为索引节点号(Inode Index)。在Linux中,多个文件名指向同一索引节点是存在的。一般这种连
- DIV底部自适应
dcj3sjt126com
JavaScript
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml&q
- Centos6.5使用yum安装mysql——快速上手必备
dcj3sjt126com
mysql
第1步、yum安装mysql
[root@stonex ~]# yum -y install mysql-server
安装结果:
Installed:
mysql-server.x86_64 0:5.1.73-3.el6_5 &nb
- 如何调试JDK源码
frank1234
jdk
相信各位小伙伴们跟我一样,想通过JDK源码来学习Java,比如collections包,java.util.concurrent包。
可惜的是sun提供的jdk并不能查看运行中的局部变量,需要重新编译一下rt.jar。
下面是编译jdk的具体步骤:
1.把C:\java\jdk1.6.0_26\sr
- Maximal Rectangle
hcx2013
max
Given a 2D binary matrix filled with 0's and 1's, find the largest rectangle containing all ones and return its area.
public class Solution {
public int maximalRectangle(char[][] matrix)
- Spring MVC测试框架详解——服务端测试
jinnianshilongnian
spring mvc test
随着RESTful Web Service的流行,测试对外的Service是否满足期望也变的必要的。从Spring 3.2开始Spring了Spring Web测试框架,如果版本低于3.2,请使用spring-test-mvc项目(合并到spring3.2中了)。
Spring MVC测试框架提供了对服务器端和客户端(基于RestTemplate的客户端)提供了支持。
&nbs
- Linux64位操作系统(CentOS6.6)上如何编译hadoop2.4.0
liyong0802
hadoop
一、准备编译软件
1.在官网下载jdk1.7、maven3.2.1、ant1.9.4,解压设置好环境变量就可以用。
环境变量设置如下:
(1)执行vim /etc/profile
(2)在文件尾部加入:
export JAVA_HOME=/home/spark/jdk1.7
export MAVEN_HOME=/ho
- StatusBar 字体白色
pangyulei
status
[[UIApplication sharedApplication] setStatusBarStyle:UIStatusBarStyleLightContent];
/*you'll also need to set UIViewControllerBasedStatusBarAppearance to NO in the plist file if you use this method
- 如何分析Java虚拟机死锁
sesame
javathreadoracle虚拟机jdbc
英文资料:
Thread Dump and Concurrency Locks
Thread dumps are very useful for diagnosing synchronization related problems such as deadlocks on object monitors. Ctrl-\ on Solaris/Linux or Ctrl-B
- 位运算简介及实用技巧(一):基础篇
tw_wangzhengquan
位运算
http://www.matrix67.com/blog/archives/263
去年年底写的关于位运算的日志是这个Blog里少数大受欢迎的文章之一,很多人都希望我能不断完善那篇文章。后来我看到了不少其它的资料,学习到了更多关于位运算的知识,有了重新整理位运算技巧的想法。从今天起我就开始写这一系列位运算讲解文章,与其说是原来那篇文章的follow-up,不如说是一个r
- jsearch的索引文件结构
yangshangchuan
搜索引擎jsearch全文检索信息检索word分词
jsearch是一个高性能的全文检索工具包,基于倒排索引,基于java8,类似于lucene,但更轻量级。
jsearch的索引文件结构定义如下:
1、一个词的索引由=分割的三部分组成: 第一部分是词 第二部分是这个词在多少