tf.data

2020年Tensorflow2-GPU 完整安装过程总结

tensorflow2.1增加了对TPU的支持，同时tf.keras和tf.data这两个常用的API也得到了很多新的更新。
AIHUBEI·2020-07-01 07:43

以 tf.data 优化训练数据输入管道 丨 Google 开发者大会 2018

以tf.data优化训练数据输入管道丨Google开发者大会2018Google开发者大会(GoogleDeveloperDays，简称GDD)是展示Google最新开发者产品和平台的全球盛会，旨在帮助你快速开发优质应用
learn deep learning·2020-06-30 18:21

TensorFlow 2.0 常用模块3：tf.data 流水线加速

在上一篇文章中，我们介绍了高效的数据流水线模块tf.data的基本使用方式。本篇文章我们将介绍如何通过prefetch和map的并行化参数，让tf.data的性能得到明显提升。
狙击 妳吢·2020-06-30 18:31

.* 加载和预处理数据之用 tf.data 加载磁盘图片数据(4)

*加载和预处理数据之用tf.data加载CSV数据Tensorf
深沉的背影·2020-06-29 13:33

.* 加载和预处理数据之用 tf.data 加载文本数据（5）

*加载和预处理数据之用tf.data加载CSV数据Tensorf
深沉的背影·2020-06-29 13:33

.* 加载和预处理数据之用 tf.data 加载 CSV 数据(1)

本文章通过一个示例展示了怎样将CSV格式的数据加载进tf.data.Dataset。使用的数据是Titanicpassenger的数据。模型会根据passenger的age、gender、ticketclass和whetherthepersonwastravelingalone等特征来预测乘客生还的可能性。导入所需库文件from__future__importabsolute_import,div
深沉的背影·2020-06-29 13:33

TensorFlow 高性能数据输入管道设计指南

tf.data官方教程详见前面的博客<<<<<<<<<<tf.data官方教程文章目录1.数据输入管道的结构2.数据输入管道的性能优化2.1数据准备(ET)和消耗过程(L)的解耦------prefetch
黑暗星球·2020-06-27 08:30

TensorFlow 数据读取方法总结

读取数据（Readingdata）下一篇：tf.data官方教程推荐：如何构建高性能的输入pipelineTensorFlow输入数据的方法有四种：tf.dataAPI：可以很容易的构建一个复杂的输入通道
黑暗星球·2020-06-27 08:29

【Tensorflow2.0】7、全流程model.fit模型训练方法

文章目录第一种方法直接用keras的fit方法，以fashionmnist为例配置超参数选择指定显卡及自动调用显存准备数据使用tf.data来准备训练集和测试集准备模型定义开始定义模型,用functional
牛andmore牛·2020-06-27 00:26

tensorflow数据篇（三）——使用tf.data建立数据通道

使用tf.data建立数据通道动机在机器学习项目中构建输入管道总是漫长而痛苦的，并且比构建实际模型需要更多的时间。
tianzhiya121·2020-06-26 19:37

Tensorflow踩过的坑——Tf.data加载数据篇

Tensorflow踩过的坑——Tf.data数据加载篇简要问题一：问题描述：问题解决：问题二：问题描述：问题解决：简要本系列主要记录在用Tensorflow框架训练深度学习模型时遇到过的一些问题。
ssmixi·2020-06-26 14:55

TensorFlow2.0构架

2.1read&preprocessdata首先，在读取数据方面，可以使用tf.data加载数据。使用输入管道读取训练数据，输入管道使用tf.data创建。利用tf.feature_co
Terry_dong·2020-06-26 12:30

使用tensorflow训练自己的数据集（一）——制作数据集

在tensorflow中使用TFRecord格式喂给神经网络但是现在官方推荐使用tf.data但这
AlexTransformer·2020-06-26 12:29

Google 机器学习术语表 Part 2 of 4

文章目录1.背景5.D5.1.数据分析(dataanalysis)5.2.DataFrame5.3.数据集(dataset)5.4.DatasetAPI(tf.data)5.5.决策边界(decisionboundary
Curren.wong·2020-06-25 21:06

Tensorflow2.0之图像说明文字生成

6.1删除重复的图片6.2切片、分批6.3将图片输入网络以获取特征7、文本→\rightarrow→数字向量7.1构建分词器7.2构建数字向量7.3将数字向量填充到同一长度8、划分训练集和验证集9、建立tf.data
cofisher·2020-06-25 11:33

Tensorflow2.0之词嵌入的原理及实现

文章目录处理文本的方法1、独热编码2、用唯一的数字对每个字进行编码3、词嵌入代码实现1、导入需要的库2、处理数据2.1下载数据集2.2创建一个tf.data数据集2.3查看词汇表3、创建模型4、训练处理文本的方法深度学习的模型以向量
cofisher·2020-06-25 11:33

Tensorflow2.0之卷积变分自编码器（CVAE）

文章目录变分自编码器原理第一阶段第二阶段第三阶段第四阶段（重参数技巧）VAE的本质代码实现1、导入需要的库2、导入数据集3、图像处理增加维度标准化二值化使用tf.data来将数据分批和打乱4、建立CVAE
cofisher·2020-06-25 11:32

简单粗暴的Tensoflow框架从入门到精通（五）：Tensoflow的API使用2.0建议

建议学习目标2.5.2TF2.0最新架构图2.5.3API2.5TFAPI使用2.0建议学习目标目标无应用无2.5.2TF2.0最新架构图饱受诟病TF1.0的API混乱删除queuerunner以支持tf.data
汪雯琦·2020-06-25 09:58

Tensorflow图像分类数据集读取处理和分批次的代码通用框架(tf.data APIs)

数据集有很多,但我希望能有一个通用的框架来一劳永逸不知道tf自己有没有,我似乎是没找到花了半天来写了一个看起来比较通用的框架,顺便加了点进度条和提示用语要求数据集的结构是一个文件夹内有train和test两个文件,内部每个类别一个文件夹,文件夹内是图片数据应该大部分都是这么结构把其他的遇到再说自动分配标签,classes就是每个标签对应的含义train_batch和test_batch输出是one
Shijunfeng00·2020-06-25 00:41

Tensorflow2.0入门教程10：tf.data.Dataset使用介绍

为此，TensorFlow提供了tf.data这一模块，包括了一套灵活的数据集构建A
itluojie·2020-06-23 20:15

深度学习（tensorflow）笔记2：函数式api

tf.data模块tf.dataAPI最重要的概念：tf.data.Dataset表示一系列元素，比如说一系列的图片，文本。其中每个元素包含一个或多个tensor对象。
Kasumi_syuu·2020-06-22 13:02

[Tensorflow2.X][转载]tf.data读取tf.record文件并与tf.keras结合使用

importmatplotlibasmplimportmatplotlib.pyplotaspltimportnumpyasnpimportsklearnimportpandasaspdimportosimportsysimporttimeimporttensorflowastffromtensorflowimportkerassource_dir="./generate_csv"print(os
FL1623863129·2020-06-21 20:10

keras训练和评估

loss`和`metrics`内建的`optimizer`、`loss`和`metrics`自定义`loss`和`metrics`为特殊的模型指定`loss`和`metrics`自动拆分出验证集使用`tf.data
__依韵__·2020-06-21 14:55

Tensorflow2.0之基于注意力的神经机器翻译

下载文件1.3处理西班牙语中的重音1.4处理ascii文本1.5返回单词对1.6生成文档词典1.7加载数据集1.8计算目标张量的最大长度1.9划分训练集和测试集1.10将数字向量转化为文本1.11创建一个tf.data
cofisher·2020-06-21 05:51

TensorFlow2 Data API CSV读取与解析

from_tensor_slices()函数介绍，函数参数可以为普通列表，也可以为numpy数组，还可以为字典此函数作用为将给定的数据做成TensorFlow的Dataset数据格式为方便例子展示，引入所需的包#tf.data
曦宸妤·2020-06-19 16:00

TensorFlow2学习——tf.data模块

tf.dataAPI的使用tf.data.Dataset：表示一系列元素，其中每个元素包含一个或多个Tensor对象。例如，在图片管道中，一个元素可能是单个训练样本，具有一对表示图片数据和标签的张量。可以通过两种不同的方式来创建数据集。直接从Tensor创建Dataset（例如Dataset.from_tensor_slices()）；当然Numpy也是可以的，TensorFlow会自动将其转换为
逆风飞扬fei·2020-05-08 21:49

用 tf.data 加载图片

用tf.data加载图片本教程提供一个如何使用tf.data加载图片的简单例子。本例中使用的数据集分布在图片文件夹中，一个文件夹含有一类图片。
跟着大数据和AI去旅行·2020-04-23 21:45

从零基础入门Tensorflow2.0 ----四、15.tf.data读取csv文件并与tf.keras结合使用

everyblogeverymotto:Loveiscarefullydesignedlie.0.前言数据->csv文件->tf.data读取csv文件实战tf.data的使用1.代码部分1.导入模块importmatplotlibasmplimportmatplotlib.pyplotasplt
胡侃有料·2020-04-13 09:58

TensorFlow入门14 -- 数据集和输入函数

要让模型很好的使用数据，还需要编写输入函数，编写输入函数，通常会用到TensorFlow数据集（tf.data）中的类，如下图所示：输入函数、特征列和模型本文
LabVIEW_Python·2020-04-05 08:30

4_datasets_quickstart

tf.data模块包含一系列类，用于加载数据、操作数据并通过管道将数据传送给模型。本文主要介绍之前提到的iris_data.py中的train_input_fn函数。
happy_19·2020-03-22 13:56

tensorflow2.0第4章 Tensorflow dataset使用

tf.data在tensorflow中是用于处理数据的,主要用来读取数据,并在一些数据中做一些预处理,然后把数据塞给训练程序去进行训练.实战内容:Dataset基础API使用.Dataset读取
UVQQQQ·2020-01-09 20:00

tf.data模块

tf.data模块importtensorflowastftf.__version__‘2.0.0’tf.data模块用于构建输入，且可以处理大量数据、不同的数据格式，以及数据转换。
lcwzzz·2019-12-09 11:56

TensorFlow 2.0 常用模块3：tf.data

在上一篇文章中，我们介绍了TensorBoard的使用方式，本篇文章将介绍tf.data，一套灵活的数据集构建API，能够帮助我们快速、高效地构建数据输入的流水线。
狙击 妳吢·2019-11-04 21:02

tensorflow-- Dataset创建数据集对象

tf.data模块包含：experimental模块Dataset类FixedLengthRecordDataset类TFRecordDataset类TextLineDataset类1#authorbyFH
feihu_h·2019-10-15 14:00

tensorflow2.0新特性

一、使用tf.data加载数据使用tf.data创建的输入管道读取训练数据；支持从内存（Numpy）方便地输入数据；二、使用tf.keras构建，训练和验证模型，或使用Premade来验证模型可以直接标准的打包模型
jimchen1218·2019-10-10 14:00

Tensorflow keras入门教程

创建一个简单的模型3.2.1、顺序模型（Sequentialmodel）3.2.2、设置keras层（layer）3.3、训练和评估3.3.1、配置训练3.3.2、使用NumPy数据作为训练数据3.3.3、使用tf.data
原我归来是少年·2019-09-26 18:09

一个关于tf.data的简介

v=uIcqeP7MFH0视频中介绍了tf.data设计的一些原则和一些基本用法。
zaf赵·2019-09-16 18:25

BERT的源码介绍

tf.contrib.data.parallel_interleavePipeline技术的优点tf.gfile学习tf.data.Dataset.from_tensor_slices()BERT计算句向量BERT大量使用tf.data
勿在浮沙筑高台LS·2019-08-06 14:52

tf.data学习指南（超实用、超详细）

tf.data是一个极其好用的数据读取管道搭建的API，甚至在tensorflow2.0中完全代替了诸如队列等其他方法。
咆哮的阿杰·2019-07-22 15:42

tensorflow随笔-读写数据tf.data

模块:tf.data定义在tensorflow/_api/v1/data/init.py输入管道的tf.data.DatasetAPI模块实验模块:构建输入管道的实验API。
AI_LX·2019-04-25 11:27

[tensorflow]tf.data.Dataset数据输入管道

目录一、tf.data简介二、读取数据1、从内存中读取数据-numpy数组2、从文件中读取数据三、变换Dataset中的元素1、使用Dataset.map()预处理数据2、使用Dataset.batch
辰星M·2019-04-19 17:02

Tensorflow Dataset API

TensorflowDatasetAPI在Tensorflow中，feed-dict方式对Model传输数据速率慢，使用管道输入(pipeline)传输速率比较快，而Tensorflow内置了一个API(tf.data
jessyuan24·2019-03-11 21:31

tf.data获取数据

承接上文，将数据存储为tfrecords文件之后，在从tfrecords文件中读取数据训练模型，这里尝试使用tf.data数据读取方式。利用tf.data读取数据能加快数据读取过程。
Kevin__ding·2019-02-27 18:59

TensorFlow可以“预装”数据集了，新功能Datasets出炉

今天，TensorFlow推出了一个新的功能，叫做TensorFlowDatasets，可以以tf.data和NumPy的格式将公共数据集装载到TensorFlow里。目前已经有29个数据集可以通过T
量子位·2019-02-27 13:29

预热TensorFlow2.0(1)——IRIS数据集实战

删除了queuerunner以支持tf.data，帮助大家更快，更方便的构建数据流。当然还有很多其他的更新，这里笔者不做介
王同学死磕技术·2019-01-20 23:44

[tf]nlp任务中使用 tf.data

引用读取数据比较好的方法是从tf.data.Dataset.from_generator中读取数据，因为这样允许从任意一个迭代器中读取数据，可以更灵活的对数据进行预处理等等。defgenerator_fn():fordigitinrange(2):line='Iamdigit{}'.format(digit)words=line.split()yield[w.encode()forwinwords
VanJordan·2019-01-16 15:33

[tf]Dataset的使用 + 制作词汇表和训练数据

从1.4版本起数据集框架从tf.contrib.data迁移到了tf.data，成为了TensorFlow的核心组成部件。
VanJordan·2018-12-22 00:41

TensorFlow高阶 API: keras教程-使用tf.keras搭建mnist手写数字识别网络

tf.keras搭建mnist手写数字识别网络1、Keras2、导入tf.keras3、构建简单的模型3.1、序列模型3.2、配置层4、训练和评估4.1、设置训练流程4.2、输入NumPy数据4.3、输入tf.data
pan_jinquan·2018-12-10 19:44

Tensorflow keras入门教程

创建一个简单的模型3.2.1、顺序模型（Sequentialmodel）3.2.2、设置keras层（layer）3.3、训练和评估3.3.1、配置训练3.3.2、使用NumPy数据作为训练数据3.3.3、使用tf.data
原我归来是少年·2018-11-04 21:31

TensorFlow tf.data 导入数据

TensorFlow版本：1.10.0>Guide>ImportingData导入数据（Readingdata）上一篇介绍了TensorFlow读取数据的四种方法：tf.data、Feeding、QueueRunner
Z609834342·2018-10-29 22:17
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他