JData数据处理

【创新实训】问答系统-Question Generation模块-【博客4：模型架构的搭建与训练过程】

前面三篇博客主要探究了QG（QuestionGeneration）任务的基本策略、评价指标；描述了我的初步探索；以及给出了数据处理的方法：博客1：基本策略博客2：评价指标、初步探索博客3：训练数据和预测数据预处理的部分博客
VictorChenSC·2023-12-25 08:08

深度学习中用来训练的train.py 探究学习2.0（ 数据预处理）

数据预处理下列代码为train.py中常见的一些数据处理方法train_transform=transforms.Compose([  transforms.Resize((224,224)),  transforms.RandomVerticalFlip
无妄无望·2023-12-25 08:38

Spark集群部署与架构

ApacheSpark作为一种强大的大数据处理工具，可以在集群中高效运行，处理数十TB甚至PB级别的数据。本文将介绍如何构建和管理Spark集群，以满足大规模数据处理的需求。
晓之以理的喵~~·2023-12-25 08:36

一对一包教会磁共振数据处理教学服务

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师
茗创科技·2023-12-25 07:35

【MySQL】数据处理：从SQL批量删除报错到Python优雅解决

一、背景MySQL数据库表中有一批重复的脏数据，为不影响正常业务，需要进行批量删除。二、SQL批量删除首先想到的是编写SQL语句来批量删除：删除身份证号为51****59且ID不为5的全部数据（保留ID为5的那一条数据）DELETEFROMtest_tableWHEREidIN(SELECTidFROMtest_tableWHEREid_card_no="51****59"ANDid!=5);运行
奔向理想的星辰大海·2023-12-25 05:27

Fluent常见问题：获取在某个范围内物理量的分布

2数据处理等值切面的面积可通过“reportdefinitions”功能的“surfa
awayuk11·2023-12-25 05:50

python机器学习（三）——机器学习学习方法

python机器学习所写，详情点击链接，可观看相关视频往期链接python机器学习（一）——机器学习的含义以及数据集的构成python机器学习（二）——机器学习算法分类正文1.机器学习开发流程获取数据数据处理特征工程机器学习算法进行训练
十八子是李·2023-12-25 02:06

CnosDB：深入了解时序数据处理函数

CnosDB是一个专注于时序数据处理的数据库，旨在解决时序数据存储与分析问题，为用户提供高效的时序数据管理与查询便利。为了实现这一目标，CnosDB实现了一系列专用函数，快来和CC一起来看看吧！
CnosDB·2023-12-25 02:30

乐观锁和悲观锁的区别？

一、悲观锁悲观锁的基本思想是，在整个数据处理过程中，认为数据会发生冲突，因此在访问数据之前就对数据进行加锁，以防止其他事务的访问。悲观锁常用于写操作较多的情况，例如数据库的更新、删除等操作。
bug丶小狼人·2023-12-25 02:30

Python数据处理048：Python读写pkl文件

文章目录原理pkl文件介绍pkl文件优缺点python数据和pkl相互转换的原理代码代码解释注意事项原理pkl文件介绍Pickle（.pkl）格式是Python特有的一种数据序列化方式。它允许用户将几乎任何Python对象转换为字节流，并将其存储在文件中。之后，可以从这个文件中恢复（反序列化）原来的Python对象。这种格式广泛用于数据持久化和在程序运行间传递对象。Pickle格式的介绍：通用性:
惊鸿若梦一书生·2023-12-25 01:13

YARN Hadoop2.0 区别

Hadoop1.0更多是在于离线的数据处理，Hadoop2.0可以支持MapReduce计算框架之外，可以支持Spark、Strom等的实时数据处理框架。在h
omygodvv·2023-12-24 23:01

【MongoDB】MongoDB如何实现insert tab select操作

前言：今天在整理笔记的时候发现前段时间处理的MongoDB数据处理的事情，作为一个MySQLDBA，在MySQL的世界里驰骋，却在MongoDB的阴沟里翻了船。
拾荒者charley·2023-12-24 22:29

Apache Spark简介与历史发展

在当今信息爆炸的时代，大数据处理已成为了现实。企业和组织需要处理海量数据来获得有用的信息和见解。ApacheSpark作为一个开源的大数据处理框架，已经在大数据领域占据了重要地位。
晓之以理的喵~~·2023-12-24 22:55

Flink 解析（二）：反压机制解析

TaskManager的反压过程基于Credit的反压过程TM内部的反压过程Flink反压监控反压的原因参考Flink反压机制反压是流式系统中关于处理能力的动态反馈机制，并且是从下游到上游的反馈，一般是在实时数据处理的过程中
Stray_Lambs·2023-12-24 22:25

Ubuntu20.04 上学习DPDk21.11

DPDK(DataPlaneDevelopmentKit),数据平面开发套件.它是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量
谁都无法抵挡，仲夏下的芬芳·2023-12-24 21:02

工业机器视觉的应用及发展

工业机器视觉收集的各种生产数据是智能化生产的基础，这些数据通过工业以太网等传至工业服务器，由MES/DCS软件系统进行数据处理分析，并与企业资源管理软件（如ERP）联动，提供最优化的生产方案或者定制化生产
双翌视觉·2023-12-24 20:35

漫谈计算机安全

定义国际标准化委员会的定义是"为数据处理系统和采取的技术的和管理的安全保护，保护计算机硬件、软件、数据不因偶然的或恶意的原因而遭到破坏、更改、显露。"
蒟蒻武天骏……·2023-12-24 20:50

0，个人感悟

其实对于vue来说，只用vue就可以实现单页面的应用程序的开发，所以可以做到前后端分离，使用ssm获取数据，然后进行所有的数据处理都放在前段来操作，然后页面之间的信息传递可以使用ssm来做到
coderymy·2023-12-24 19:54

一对一包教会磁共振ASL（动脉自旋标记）数据处理教学服务

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师
茗创科技·2023-12-24 19:44

Python数据专家必备的工具：精选Python工具合集

Python拥有丰富的生态系统和强大的数据处理功能，但是在处理大规模数据和进行复杂分析时，我们需要借助一些优秀的Python工具来提高效率和准确性。
TechGlide·2023-12-24 17:01

python数据分析第三方库scipy_Python数据分析-初识numpy、pandas、scipy、matplotlib和Scikit-Learn等数据处理库...

1.numpy-支持多维数组与矩阵的科学计算器包功能：常用功能16条a.ndarray-n维数组/矢量的操作。b.支持高级大量的n维数组与矩阵的运算。c.针对数组运算提供大量的数学函数库。2.scipy-配合numpy完成对矩阵的计算，因此依赖于numpy，且含多个子模块功能：常用15个函数a.标准导入方式-由于scipy中的函数基本都是numpy的主函数，因此通常不用importscipy1im
weixin_39816260·2023-12-24 16:01

Open3D 点云数据处理基础（Python版）

Open3D点云数据处理基础（Python版）文章目录1概述2安装2.1PyCharm与Python安装2.3Anaconda安装2.4Open3D0.13.0安装2.5新建一个Python项目3点云读写
非常颜色·2023-12-24 16:29

数据处理之关联多表（第12章）

本文介绍《深入浅出数据分析》书中的第12章内容。本篇文章蜻蜓点水地引入了RDBMS，在企业中，关系型数据库是常见的存储数据的工具。了解关系型数据库，利用数据库中的表之间的关系把数据关联在一起进行有效的比较，能得出有用的结论。分析目标：找出在每一期刊物上刊登文章的最优数量。量化目标：汇总每一期的文章数目和销量，当小于最优数目时，销量下降；当大于最优数目时，销量也没有增长。数据说明：每一期杂志刊登一批
越马·2023-12-24 14:02

工业信息采集平台的五大核心优势

关键字：工业信息采集平台,蓝鹏数据采集系统,蓝鹏测控系统,生产管控系统,生产数据处理平台,MES系统数据采集,蓝鹏数据采集平台通过实现和构成其他工业数据信息平台的一级设备进行通讯，从而完成平台之间的无缝对接
qq_41695441·2023-12-24 14:57

第六届磁共振ASL（动脉自旋标记）数据处理班（直播：2023.8.12~8.13）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师
茗创科技·2023-12-24 14:43

这是测试的

时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark大数据处理详细教程使用教程
数据科学知识库·2023-12-24 13:56

Pandas中级教程——时间序列数据处理

PythonPandas中级教程：时间序列数据处理Pandas是数据分析领域中最为流行的库之一，它提供了丰富的功能用于处理时间序列数据。
Echo_Wish·2023-12-24 11:58

【数据结构与算法基础】最小生成树算法原理及实现

前言数据结构，一门数据处理的艺术，精巧的结构在一个又一个算法下发挥着他们无与伦比的高效和精密之美，在为信息技术打下坚实地基的同时，也令无数开发者和探索者为之着迷。
卷儿~·2023-12-24 10:52

构建每个聚类的profile和deletion_mean特征

集成函数数据处理流程：sample_msa->make_masked_msa->nearest_neighbor_clusters->summarize_clusters-
qq_27390023·2023-12-24 09:02

【深度学习】DataComp论文，数据集介绍，大数据模型的数据集介绍

/blog/datacomp/论文：https://arxiv.org/abs/2304.14108文章目录论文报告的一些内容datacomp-1B数据质量比lainon2B要好不同规模数据有多少数据数据处理数据来源论文报告的一些内容摘要多模态数据集是近期如
XD742971636·2023-12-24 09:15

Excel中用数组公式解决可能出现的数据处理问题！

通过前几期的分享，我们了解到Excel中数组公式的应用以及相关的函数，如TRANSPOSE。本期我们会继续深入地介绍一些关于使用数组公式时，针对出现的一些问题，我们该如何解决。在ProductList工作表中，计算“AUDTotal”时，我们使用的数组公式出现了一些问题，在现有的公式中，只计算了前四个“Product”的总和，而在表格中，当添加了新的产品后，则无法准确进行合计。我们需要更新F4单元
Excel客旅·2023-12-24 09:17

文本处理神器Awk语言详解

文章目录初步认识命令执行脚本文件输入输出管道基本语法运算符流程控制函数封装内置变量内置函数算术和位操作函数字符串函数与正则表达式字符输出函数时间函数其它函数初步认识AWK主要用于文本数据处理，由Afred
微小冷·2023-12-24 08:50

内容导航目录

时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark大数据处理详细教程使用教程
数据科学知识库·2023-12-24 08:37

Linux---基础操作命令

时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark大数据处理详细教程使用教程
数据科学知识库·2023-12-24 08:35

基于Python的共享单车数据可视化实战

本文基于SODA上海开放数据创新应用大赛提供的摩拜单车数据，利用Python语言进行数据处理
爱欲无极·2023-12-24 08:32

Hadoop学习笔记(3)——MapReduce入门

MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。”map"负责分，即把复杂的任务分解为若干简单的任务来处理。
今天有没有写代码·2023-12-24 08:53

pandas数据处理

工作准备：importpandasaspd1、导⼊数据pd.DataFrame()#自己创建数据框，用于练习pd.read_csv(filename)#从CSV⽂件导⼊数据pd.read_table(filename)#从限定分隔符的⽂本⽂件导⼊数据pd.read_excel(filename)#从Excel⽂件导⼊数据pd.read_sql(query,connection_object)#从S
pythonJam·2023-12-24 08:46

使用R语言进行数据处理，数据分析，特征工程的基础以及代码实现（以房价预测数据集为例）

主要内容：一、对数据缺失值进行处理在R语言中，处理数据缺失值是数据预处理的一个重要步骤，通常采用以下方法：识别缺失值：在R中，缺失值通常用NA表示。你可以使用函数is.na()或complete.cases()来检测缺失值。删除缺失值：如果缺失值很少，你可以选择删除包含缺失值的行或列。#检查整个数据框中的缺失值is.na(your_data_frame)#通过列查看缺失值colSums(is.na
筱筱西雨·2023-12-24 07:37

（4.1）亿万级数据处理（分而治之/Hash映射 + HashMap统计 + 堆/快速/归并排序）

秘技一:分而治之/Hash映射+HashMap统计+堆/快速/归并排序Hash任意长度的输入（又叫做预映射，pre-image）通过散列算法变换成固定长度的输出（散列值）。这种转换是一种压缩映射，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。简单说就是一种将任意长度的消息压缩到某一固定长度的函数。hash映射：简单来说，为了便于内存中处理大
hedgehog1112·2023-12-24 07:19

笔记-awk

1.Awk基础介绍awk不仅仅是一个文本处理工具，通常用于处理数据并生成结果报告，当然awk也是一门编程语言，是linux上功能最强大的数据处理工具之一。
口口帅日日·2023-12-24 06:00

天文与计算机：技术的星辰大海

天文观测的复杂度与数据量随着技术的进步而爆炸性增长，这使得计算机技术在数据处理、存储和传输等方面扮演着越来越重要的角色。本文将深入探讨天文与计算机技术之间的紧密联系，以及它们如何共同推动天文学的发展。
a谷雨c·2023-12-24 05:26

序列化和反序列化对比分析，序列化和反序列化输出十个学生信息截图

序列化和反序列化是数据处理中的两个相对的概念，通常用于对象的存储和传输。
白帽黑客鹏哥·2023-12-24 04:23

这才是你需要的C/C++Linux服务器开发学习路线！

不过一般来说，C语言和C++主要还是做后台（服务端）开发比较多，包括：通信公司后台开发互联网公司后台开发游戏公司后台开发……当然这个后台开发具体职责又有很多细分，比如：有做数据处理和分析的有做基础协议和通信的有做服务端底层应用优化的甚至还有做后台系统驱动和内核的
诗人和酒·2023-12-24 04:11

数据分析-18-Video Game Sales电子游戏销售分析（包含数据代码）

算法学习、4对1辅导、论文辅导或核心期刊可以通过公众号或➕v：codebiubiu滴滴我1.数据的观察和清理导入数据处理的包importpandasaspdimportnumpyasnpimportmatplotlib
AI研习星球·2023-12-24 03:17

数据分析-14-基于Python的信用评分卡数据分析（包含代码数据）

文章目录0.数据代码下载1.分析思路2.理解数据3.数据清洗3.1选择子集3.2列名重命名3.3缺失数据处理3.4异常值处理4.建立模型4.1借款逾期超过90天的人数，即借款客户的整体质量情况？
AI研习星球·2023-12-24 03:45

光伏储能数据难题很棘手？架构升级很迷茫？来看三大真实案例

近年来，随着光伏储能装置的增加，设备数量和测点数量也在相应增加，数据采集频率也在不断提高，由此产生的时序数据量越来越庞大，对数据处理和实时分析的要求也越来越高。
涛思数据（TDengine）·2023-12-24 01:25

存算分离数据架构

存算分离架构优势存算分离架构（SeparatedStorageandComputeArchitecture）是一种将数据存储和数据处理分离的架构方案。
Oo_Amy_oO·2023-12-24 00:56

流批一体架构

实现流批一体架构常见方法流批一体架构是一种将流式计算和批量计算相结合的数据处理架构。实现流批一体架构可以提高数据处理的实时性和效率。
Oo_Amy_oO·2023-12-24 00:26

R语言专题班（直播：2023.8.4~8.6）

茗创科技专注于脑科学，涵盖（EEG/ERP，fMRI，结构像，DTI，ASL，FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑科学课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师
茗创科技·2023-12-24 00:24

深入了解Pandas的数据类型

大家好，Pandas是一个功能强大的数据处理和分析库，它提供了丰富的数据类型，使得数据操作更加灵活和高效。本文我们将深入了解Pandas的数据类型，包括Series和DataFrame。
python慕遥·2023-12-23 23:01
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他