tf.data

政安晨的机器学习笔记——示例演绎在TensorFlow中使用 CSV数据（基于Colab的Jupyter笔记）（1.5万字长文超详细）

本笔记提供了如何在TensorFlow中使用CSV数据的示例：用tf.data加载CSV数据。其中包括两个主要部分：从磁盘加载数据将数据预处理为适合训练的形式。
政安晨·2024-02-03 11:23

一个关于tf.data的简介

v=uIcqeP7MFH0视频中介绍了tf.data设计的一些原则和一些基本用法。
cheerss·2024-01-28 14:16

tensorflow全新的数据读取方式，DatasetAPI

tf.data最佳实践摘要具体理解参考：https://tensorflow.juejin.im/performance/datasets_performance.html以下是设计输入管道的最佳实践总结
脏脏包盛·2024-01-28 05:09

Keras(十四)tf.data读取csv文件并与tf.keras结合使用

一，准备csv文件importmatplotlibasmplimportmatplotlib.pyplotaspltimportnumpyasnpimportsklearnimportpandasaspdimportosimportsysimporttimeimporttensorflowastffromtensorflowimportkeras#打印使用的python库的版本信息print(tf
TFATS·2024-01-15 17:56

tensorflow综合示例3：对结构化数据进行分类：csv & keras & feature_column

文章目录1、数据集1.1使用Pandas从csv创建一个dataframe1.2将dataframe拆分为训练、验证和测试集1.3用tf.data创建输入流水线Dataset1.4理解输入流水线2、特征列
jediael_lu·2023-12-27 04:21

Pytorch完整的模型训练套路

Pytorch完整的模型训练套路文章目录Pytorch完整的模型训练套路以CIFAR10为例实践数据集加载步骤使用适当的库加载数据集，例如torchvision、TensorFlow的tf.data等。
北山啦·2023-11-21 13:17

tf系列2——数据和数据预处理

数据和数据预处理tf.data：数据集的构建与预处理1获取数据集（两种方法）1.1使用自带数据集1.2自己定义数据集1.2.1读取h5文件1.2.2读取文件夹文件1.2.3语义分割时获取文件夹中图像和预处理
晓码bigdata·2023-11-05 02:32

TensorFlow学习笔记（四）——tf.data API

dataset；（2）对数据进行预处理；（3）遍历整个dataset，进行数据处理1.1SourceDatasets（1）由数组、列表等创建，将其转化为tensor#创建一个datasetdataset=tf.data
七月七叶·2023-10-20 02:53

Python：random.shuffle()最好用的乱序函数！

所有在用tf.data做成输入数据前，我们应该把数据进行打乱！函数使用：直接将原数据的顺序打乱！importrandomx=[2,3,4
胜负55开·2023-08-25 10:22

TFRecords详解

内容目录TFRecords是什么序列化(Serialization)tf.data图像序列化（SerializingImages)tf.Example函数封装小结TFRecords是什么TPU拥有八个核心
Avasla·2023-08-12 07:32

2018-07-22-tensorflow-dataset的使用

参考官方教程.概述  tf.data
社交达人叔本华·2023-08-11 00:12

tebsorflow2.0 卷积神经网络的实现实例

本实例主要介绍利用tf.data读取图片的方法卷积神经网络的构建训练以及测试1.数据集介绍本文的应用场景是对于卫星图片数据的分类，图片总共1400张，分为airplane和lake两类，也就是一个二分类的问题
安静到无声·2023-07-16 14:07

TF 2 输入管道 (1): tf.data

本文是对官方文档的学习笔记。使用tf.dataAPI，可以从简单，可重用的片段中构建复杂的输入管道（InputPipeline）。例如，图像模型的管道可能会聚集来自分布式文件系统中文件的数据，对每个图像应用随机扰动，然后将随机选择的图像合并为一批以进行训练。文本模型的管道可能涉及从原始文本数据中提取符号，将其转换为带有查找表的嵌入标识符，以及将不同长度的序列分批处理。tf.dataAPI使处理大量
数科每日·2023-04-14 15:48

tensorflow Data api初探

tf.Data作用：根据简单的可重用的片段构建复杂的输入管道介绍一下俩个主要的抽象类：1.Dataset：一系列元素，每个元素包含一个或者多个Tensor对象，这些对象称之为组件，每个组件都有一个tf.DType
rwj_pku·2023-04-12 20:18

利用kaggle提供的免费GPU完成卫星图片识别任务

利用kaggle提供的免费GPU完成卫星图片识别任务文章目录利用kaggle提供的免费GPU完成卫星图片识别任务1.数据集的介绍2.将数据集上传到kaggle3.利用tf.data构造输入4.模型的创建与配置
theworld666·2023-04-02 17:22

tf.data模块

tf.data是tensorflow提供的用来构建模型输入流水线的模块，集成了map，reduce，batch，shuffle等功能，使用起来比较方便，最佳的自然去看官网链接,这里只是我的学习记录。
612twilight·2023-03-15 15:02

tf.data相关的操作

最近学习tf.data这一部分内容，赶紧查漏补缺了不会的知识点，现记录一下，以备不时之需。
loveEconomics·2023-02-03 01:29

机器学习实践：TensorFlow2 多GPU负载不均衡问题

问题运行时两个GPU负载不均，没有跑满，效率较低解决方法检查数据输入，保证瓶颈部分在GPU，而不是GPU在等待tf.data使用dataset.prefetch()，保证数据流及时进入模型map时使用num_parallel_calls
YueTann·2023-01-19 12:03

TensorFlow中读取图像数据的三种方式

Updateon2019.06.18从tesorflow1.11之后，（大概是这个版本号），谷歌推出了tf.data模块来读取数据，甚至在tensorflow2.0中，取消了数据队列管道，所以我建议大家学习
咆哮的阿杰·2023-01-10 15:44

4-8 tf.data读取tfrecord文件并与tf.keras结合使用

代码承接上一篇pprint.pprint(train_tfrecord_filenames)pprint.pprint(valid_tfrecord_filenames)pprint.pprint(test_tfrecord_fielnames)首先打印一下我们所生成文件的文件名，下面是其中一个文件名。‘generate_tfrecords_zip/test_00007-of-00020’正如在基
zrt will six·2023-01-06 13:08

TensorFlow2.0主要特性

一.TensorFlow2.0–简化的模型开发流程1.使用tf.data加载数据2.使用tf.keras构建模型,也可以使用premadeestimator来验证模型1).使用TensorFlowhub
Cocktail_py·2023-01-06 12:11

【再学Tensorflow2】TensorFlow2的模型训练组件（1）

数据管道构建数据通道应用数据转换提升管道性能特征列特征列用法简介特征列使用示例激活函数常用激活函数激活函数使用示例Tensorflow模型中的层内置的层自定义模型中的层参考资料Tensorflow中与模型训练相关的组件主要包括：数据管道（tf.data
镰刀韭菜·2022-12-30 08:48

TensorFlow 数据读取方法总结

作者：黑暗星球原文地址：https://blog.csdn.net/u014061630/article/details/80712635====================下一篇：tf.data官方教程
Eartha1995·2022-12-29 23:50

tensorflow2快速入门 最干教程

Tf.keras和keras区别：Tf.keras支持基于tf.data的模型训练Tf.keras支持TPU训练Tf.keras支持tf.distribution的分布式策略Tf.keras可以与tf的额
weixin_45955767·2022-12-29 13:55

TensorFlow2——Keras概述

文章目录1、导入tf.keras2、建立一个简单的模型SequentialmodelConfigurethelayers3、训练和评估设置训练使用NumPy数据训练使用tf.data数据集训练评估和预测
Jacob Jiang·2022-12-29 13:55

TensorFlow 2.x

主要包括数据管道tf.data，特征列tf.feature_column，激活函数tf.nn，模型层tf.keras.layers，损失函数tf.keras.losses，评估函数tf.k
eight_Jessen·2022-12-29 13:17

tf.data处理数据全过程——代码详解

tf.data加载图片并进行数据增强目录tf.data加载图片并进行数据增强1.数据集文件存储形式2.获取数据集路径和类别名称2.1获取类别名称2.2获得存放训练集和验证集的数据和标签的列表3.加载训练集和验证集
Yuuu_le·2022-12-29 00:33

对tensorflow.data API的温和介绍

目录概述使用NumPy数组和生成器函数训练Keras模型使用tf.data创建数据集从生成器函数创建数据集具有预取功能的数据集延伸阅读总结构建和训练Keras深度学习模型时，可以通过多种不同的方式提供训练数据
寒冰屋·2022-12-22 21:43

TensorFlow下数据加载——tf.data的使用

1.概述在Pytorch中数据加载是通过torch.utils.data.dataset与torch.utils.data.dataloader完成的，而在TensorFlow中现在主推的是使用tf.data
m_buddy·2022-12-19 17:37

计算机视觉基础

tensorflow系统：tf.data加载数据；tf.deras构建模型；gpu训练模型；tensorflowhub预训练；tensorflowserving部署模型。张量：多维数组。
Wukongggg·2022-12-16 04:08

keras核心已转储_转储Keras-ImageDataGenerator。 开始使用TensorFlow-tf.data（第2部分）

在这里，我将使用mobilenet模型比较tf.data和Keras.ImageDataGen
weixin_26726011·2022-12-11 00:42

#从源码分析# TensorFlow fit 方法中的 steps_per_epoch 参数

对官方文档的总结如下：steps_per_epoch用于指定每个epoch所使用的迭代次数当fit方法的输入数据是张量类型时，steps_per_epoch默认为数据集中的样本数量除以批次大小当fit方法的输入数据是tf.data
energy_百分百·2022-12-08 22:48

TensorFlow：Keras 常见功能模块

对于使用TensorFlow的开发者来说，tf.keras可以理解为一个普通的子模块，与其他子模块，如tf.math，tf.data等并没有什么差别。
南淮北安·2022-12-07 20:45

TensorFlow tf.data 导入数据（tf.data官方教程）

原文：https://blog.csdn.net/u014061630/article/details/80728694导入数据（Readingdata）TensorFlow读取数据的四种方法：tf.data
loveliuzz·2022-12-01 19:07

学习TensrFlow 2 的随笔（三）tf.data.Dataset

使用Tensorflow的tf.data.Dataset总结1、在使用tf.data建立Dataset时有两种方式：使用本地电脑内存上的数据：tf.data.Dataset.from_tensors()
dlut0427·2022-11-30 18:55

TensorFlow相关教程：使用tf.data加载图片

#使用tf.data加载图片#使用的数据集分布在图片文件夹中，一个文件夹含有一类图片importtensorflowastfAUTOTUNE=tf.data.experimental.AUTOTUNE#
Caoyy686868·2022-11-30 18:14

Tensorflow2.x学习——1.数据的加载

1.数据加载1.1通过tf.data加载CSV数据通过tf.data.experimental.make_csv_dataset将CSV文件读入dataset对象。
Summer142857·2022-11-28 21:48

tensorflow dataset读取数据

参考文章：TensorFlow数据读取方法总结https://blog.csdn.net/u014061630/article/details/80712635TensorFlowtf.data导入数据（tf.data
xys430381_1·2022-11-19 09:58

tensorflow2数据读取P2: tf.data.Dataset.from_generator通过自定义的python生成器构造Dataset

分别是numpyarray,tensor,字典（值为numpyarray或tensor),tf.data创建的Dataset,生成器类型。其中tensor,字典与numpyarray区别不是很大。
象象家的小蜜桃·2022-11-19 03:17

tf.data与tf.feature_column

1tf.data1.1概述tf.dataAPI可以轻松处理大量数据、不同的数据格式以及复杂的转换。tf.dataAPI在TensorFlow中引入了两个新的抽象类：tf.data.Dataset表示一系列元素，其中每个元素包含一个或多个Tensor对象。：创建来源（例如Dataset.from_tensor_slices()），以通过一个或多个tf.Tensor对象构建数据集。应用转换（例如Dat
独影月下酌酒·2022-08-20 12:13

tf.data(二) —— 并行化 tf.data.Dataset 生成器

在处理大规模数据时，数据无法全部载入内存，我们通常用两个选项使用tfrecords使用tf.data.Dataset.from_generator()tfrecords的并行化使用前文已经有过介绍，这里不再赘述。如果我们不想生成tfrecord中间文件，那么生成器就是你所需要的。本文主要记
鱼与鱼·2022-06-11 12:00

Tensorflow 2.x(keras)源码详解之第九章：模型训练和预测的三种方法(fit&tf.GradientTape&train_step&tf.data)

模型训练和预测步骤2.使用内置方法fit进行训练和评估2.1简单案例解析2.2compile编译2.3处理非标准化的损失和评估指标：add_loss&add_metric2.4自动切分验证集2.5使用tf.data
爱编程的喵喵·2022-05-17 07:48

【Tensorflow教程笔记】TensorFlow Lite

RNN）深度强化学习（DRL）KerasPipeline自定义层、损失函数和评估指标常用模块tf.train.Checkpoint：变量的保存与恢复常用模块TensorBoard：训练过程可视化常用模块tf.data
_APTX4869·2022-02-17 07:40

【Tensorflow教程笔记】TensorFlow Serving

RNN）深度强化学习（DRL）KerasPipeline自定义层、损失函数和评估指标常用模块tf.train.Checkpoint：变量的保存与恢复常用模块TensorBoard：训练过程可视化常用模块tf.data
_APTX4869·2022-02-17 07:40

【Tensorflow教程笔记】TensorFlow 模型导出

RNN）深度强化学习（DRL）KerasPipeline自定义层、损失函数和评估指标常用模块tf.train.Checkpoint：变量的保存与恢复常用模块TensorBoard：训练过程可视化常用模块tf.data
_APTX4869·2022-02-17 07:10

【Tensorflow教程笔记】Tensorflow模型建立与训练

RNN）深度强化学习（DRL）KerasPipeline自定义层、损失函数和评估指标常用模块tf.train.Checkpoint：变量的保存与恢复常用模块TensorBoard：训练过程可视化常用模块tf.data
_APTX4869·2022-02-17 07:10

Tensorflow【branch-官网代码实践-Eager/tf.data/Keras/Graph】_8.19

Tensorflow有low-level和high-level两种APIs，low-level如：tensors的编辑、variables的编辑、graphsandsessions的管理，model的saveandrestore。high-level如：tflearn、Keras、EagerExecution、Estimators框架。简言之，high-level是对底层low-level的直接封
moonfansLTH·2022-02-08 10:45

tensorflow读取tfrecord数据集

isdeprecatedandwillberemovedinafutureversion.Instructionsforupdating:Toconstructinputpipelines,usethe`tf.data
Daniel开峰·2021-06-12 23:05

[0.2] Tensorflow踩坑记之头疼的tf.data

今天尝试总结一下tf.data这个API的一些用法吧。
澜夕·2021-05-01 01:00

tf.data模块

目标：tf.data模块构建输入内容：tf.data模块用于构建输入，且可以处理大量数据、不同的数据格式，以及复杂的数据转换。tf.data.Dateset表示一组数据。
深海漫步鹅·2021-04-28 10:58
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他