深沉的背影

Tensorflow2.* 加载和预处理数据之用 tf.data 加载磁盘图片数据(4)

Tensorflow2.* 机器学习基础知识篇：

对服装图像进行分类

使用Tensorflow Hub对未处理的电影评论数据集IMDB进行分类

Keras 机器学习基础知识之对预处理的电影评论文本分类

Tensorflow2.*教程之使用Auto MPG数据集构建回归模型预测燃油率

Tensorflow2.* 加载和预处理数据篇:

Tensorflow2.* 加载和预处理数据之用 tf.data 加载 CSV 数据

Tensorflow2.* 加载和预处理数据之用 tf.data 加载 Numpy数据

Tensorflow2.* 加载和预处理数据之用 tf.data 加载pandas dataframes类型数据

Tensorflow2.* 加载和预处理数据之用 tf.data 加载磁盘图片数据

今天，我们主要分享的是如何使用tensorflow2.0API加载磁盘图像数据，并转换为tf.data.Dataset对象送入模型进行训练和评估。本次实验使用的数据集是花卉数据集，里面有5中类别的花，每种花类包含600多张图片。

使用库文件

import tensorflow as tf
import pathlib
import random
import os
import IPython.display as display
import matplotlib.pyplot as plt
from PIL import Image
import numpy as np

数据集下载

DATA_URL = "https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz"
path = tf.keras.utils.get_file(fname='flower_photos',origin=DATA_URL,untar=True)
# 创建Path对象
data_root = pathlib.Path(path)

for item in data_root.iterdir():
	print(item)

下载后文件目录:

---------------flower_photos/

----------------------------------daisy/

----------------------------------dandelion/

----------------------------------roses/

----------------------------------sunflowers/

----------------------------------tulips/

获取每个类别文件下的图片路径

import random
all_image_paths = list(data_root.glob('*/*'))
all_image_paths = [str(path) for path in all_image_paths]
random.shuffle(all_image_paths)

image_count = len(all_image_paths)

获取图像描述

attributions = (data_root/"LICENSE.txt").open(encoding="utf-8").readlines()[4:]
attributions = [line.split('CC-BY') for line in attributions]
attributions = dict(attributions)
print(attributions)

def caption_image(image_path):
	image_rel = pathlib.Path(image_path).relative_to(data_root)
	image_rel = str(image_rel).replace("\\","/")
	image_rel = image_rel + " "
	return "Image (CC BY 2.0) "+ " - ".join(attributions[image_rel].split(" - ")[:-1])

随机显示四张图片及描述，具体描述从文件LICENSE.txt中获取

plt.figure(figsize=(10,10))
for n in range(1,5):
    image_path = random.choice(all_image_paths)
    img_data = np.asarray(Image.open(image_path))
    # display.display(display.Image(image_path))
    plt.subplot(2,2,n)
    plt.grid(False)
    plt.xticks([])
    plt.yticks([])
    plt.xlabel(caption_image(image_path))
    plt.imshow(img_data)
plt.show()

获取具体类别，并将其数值化处理

label_names = sorted(item.name for item in data_root.glob("*/") if item.is_dir())

label_to_index = dict((name,index) for index, name in enumerate(label_names))
print(label_to_index)

{'daisy': 0, 'dandelion': 1, 'roses': 2, 'sunflowers': 3, 'tulips': 4}

获取所有图片的类别

all_image_labels = [label_to_index[pathlib.Path(impath).parent.name] for impath in all_image_paths]

print("First 10 labels indices: ", all_image_labels[:10])

First 10 labels indices: [3, 2, 3, 4, 0, 4, 4, 3, 4, 3]

解析图像数据，并将其归一化处理

def process_image(image):
	image = tf.image.decode_jpeg(image,channels=3)
	image = tf.image.resize(image,(192,192))
	image /= 255.0
	return image

def load_and_process_image(path):
	image = tf.io.read_file(path)
	return process_image(image)

将图像数据转换为Dataset处理

数据dataset化，可以方便模型训练。方便数据的处理。

ds = tf.data.Dataset.from_tensor_slices((all_image_paths, all_image_labels))

# 元组被解压缩到映射函数的位置参数中
def load_and_preprocess_from_path_label(path, label):
	return load_and_process_image(path), label

image_label_ds = ds.map(load_and_preprocess_from_path_label)
print(image_label_ds)

要使用此数据集训练模型，要对数据进行如下处理：

充分打乱。
分割为 batch。
永远重复。
尽快提供 batch。

这里有一些注意事项

顺序很重要。
- 在 .repeat 之后 .shuffle，会在 epoch 之间打乱数据（当有些数据出现两次的时候，其他数据还没有出现过）。
- 在 .batch 之后 .shuffle，会打乱 batch 的顺序，但是不会在 batch 之间打乱数据。
在完全打乱中使用和数据集大小一样的 buffer_size（缓冲区大小）。较大的缓冲区大小提供更好的随机化，但使用更多的内存，直到超过数据集大小。
在从随机缓冲区中拉取任何元素前，要先填满它。所以当 Dataset（数据集）启动的时候一个大的 buffer_size（缓冲区大小）可能会引起延迟。
在随机缓冲区完全为空之前，被打乱的数据集不会报告数据集的结尾。Dataset（数据集）由 .repeat 重新启动，导致需要再次等待随机缓冲区被填满。

最后一点可以通过使用 tf.data.Dataset.apply 方法和融合过的 tf.data.experimental.shuffle_and_repeat 函数来解决:

# 使用 tf.data.Dataset.cache 在 epoch 之间轻松缓存计算结果。这是非常高效的，特别是当内存能容纳全# 部数据时。

# 在被预处理之后（解码和调整大小），图片在此被缓存了：
ds = image_label_ds.cache()
# 设置一个和数据集大小一致的 shuffle buffer size（随机缓冲区大小）以保证数据
# 被充分打乱
ds = ds.apply(
  tf.data.experimental.shuffle_and_repeat(buffer_size=image_count))

ds = ds.batch(BATCH_SIZE)

# 当模型在训练的时候，`prefetch` 使数据集在后台取得 batch。
ds = ds.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)

模型迁移方式进行模型构建及训练

mobile_net = tf.keras.applications.MobileNetV2(input_shape=(192, 192, 3), include_top=False)
mobile_net.trainable=False
help(tf.keras.applications.mobilenet_v2.preprocess_input)

def change_range(image,label):
	return 2*image-1, label

keras_ds = ds.map(change_range)

image_batch, label_batch = next(iter(keras_ds))
feature_map_batch = mobile_net(image_batch)
print(feature_map_batch.shape)

model = tf.keras.Sequential([
  mobile_net,
  tf.keras.layers.GlobalAveragePooling2D(),
  tf.keras.layers.Dense(len(label_names), activation = 'softmax')])

logit_batch = model(image_batch).numpy()

print("min logit:", logit_batch.min())
print("max logit:", logit_batch.max())
print()

print("Shape:", logit_batch.shape)

model.compile(optimizer=tf.keras.optimizers.Adam(),
              loss='sparse_categorical_crossentropy',
              metrics=["accuracy"])

steps_per_epoch = int(tf.math.ceil(len(all_image_paths)/BATCH_SIZE).numpy())
model.fit(ds, epochs=3,steps_per_epoch=steps_per_epoch)

Train for 115 steps
Epoch 1/3

1/115 [..............................] - ETA: 26:49 - loss: 2.0788 - accuracy: 0.1250
2/115 [..............................] - ETA: 13:57 - loss: 1.7999 - accuracy: 0.2656
3/115 [..............................] - ETA: 9:41 - loss: 1.7991 - accuracy: 0.2604
4/115 [>.............................] - ETA: 7:31 - loss: 1.7441 - accuracy: 0.2969
5/115 [>.............................] - ETA: 6:13 - loss: 1.6859 - accuracy: 0.3187
6/115 [>.............................] - ETA: 5:21 - loss: 1.6070 - accuracy: 0.3594
7/115 [>.............................] - ETA: 4:44 - loss: 1.6025 - accuracy: 0.3705
8/115 [=>............................] - ETA: 4:15 - loss: 1.5744 - accuracy: 0.3828
9/115 [=>............................] - ETA: 3:53 - loss: 1.5504 - accuracy: 0.3785
10/115 [=>............................] - ETA: 3:35 - loss: 1.5142 - accuracy: 0.4062
11/115 [=>............................] - ETA: 3:20 - loss: 1.5098 - accuracy: 0.4006
12/115 [==>...........................] - ETA: 3:08 - loss: 1.4877 - accuracy: 0.4010
13/115 [==>...........................] - ETA: 2:57 - loss: 1.4707 - accuracy: 0.4062
14/115 [==>...........................] - ETA: 2:48 - loss: 1.4458 - accuracy: 0.4129
15/115 [==>...........................] - ETA: 2:40 - loss: 1.4298 - accuracy: 0.4229
16/115 [===>..........................] - ETA: 2:33 - loss: 1.3922 - accuracy: 0.4492
17/115 [===>..........................] - ETA: 2:27 - loss: 1.3677 - accuracy: 0.4632
18/115 [===>..........................] - ETA: 2:21 - loss: 1.3575 - accuracy: 0.4688
19/115 [===>..........................] - ETA: 2:16 - loss: 1.3508 - accuracy: 0.4753
20/115 [====>.........................] - ETA: 2:12 - loss: 1.3325 - accuracy: 0.4812
21/115 [====>.........................] - ETA: 2:07 - loss: 1.3177 - accuracy: 0.4881
22/115 [====>.........................] - ETA: 2:03 - loss: 1.2966 - accuracy: 0.4986
23/115 [=====>........................] - ETA: 1:59 - loss: 1.2768 - accuracy: 0.5068
24/115 [=====>........................] - ETA: 1:56 - loss: 1.2643 - accuracy: 0.5130
25/115 [=====>........................] - ETA: 1:52 - loss: 1.2485 - accuracy: 0.5188
26/115 [=====>........................] - ETA: 1:49 - loss: 1.2370 - accuracy: 0.5252
27/115 [======>.......................] - ETA: 1:46 - loss: 1.2190 - accuracy: 0.5359
28/115 [======>.......................] - ETA: 1:43 - loss: 1.2038 - accuracy: 0.5424
29/115 [======>.......................] - ETA: 1:40 - loss: 1.1938 - accuracy: 0.5453
30/115 [======>.......................] - ETA: 1:38 - loss: 1.1853 - accuracy: 0.5479
31/115 [=======>......................] - ETA: 1:35 - loss: 1.1780 - accuracy: 0.5524
32/115 [=======>......................] - ETA: 1:33 - loss: 1.1622 - accuracy: 0.5596
33/115 [=======>......................] - ETA: 1:31 - loss: 1.1502 - accuracy: 0.5653
34/115 [=======>......................] - ETA: 1:29 - loss: 1.1373 - accuracy: 0.5708
35/115 [========>.....................] - ETA: 1:27 - loss: 1.1217 - accuracy: 0.5786
36/115 [========>.....................] - ETA: 1:25 - loss: 1.1144 - accuracy: 0.5816
37/115 [========>.....................] - ETA: 1:23 - loss: 1.0987 - accuracy: 0.5904
38/115 [========>.....................] - ETA: 1:21 - loss: 1.0879 - accuracy: 0.5946
39/115 [=========>....................] - ETA: 1:19 - loss: 1.0798 - accuracy: 0.5986
40/115 [=========>....................] - ETA: 1:18 - loss: 1.0688 - accuracy: 0.6039
41/115 [=========>....................] - ETA: 1:16 - loss: 1.0553 - accuracy: 0.6090
42/115 [=========>....................] - ETA: 1:14 - loss: 1.0514 - accuracy: 0.6101
43/115 [==========>...................] - ETA: 1:13 - loss: 1.0385 - accuracy: 0.6156
44/115 [==========>...................] - ETA: 1:11 - loss: 1.0260 - accuracy: 0.6200
45/115 [==========>...................] - ETA: 1:10 - loss: 1.0162 - accuracy: 0.6243
46/115 [===========>..................] - ETA: 1:08 - loss: 1.0080 - accuracy: 0.6284
47/115 [===========>..................] - ETA: 1:07 - loss: 1.0080 - accuracy: 0.6283
48/115 [===========>..................] - ETA: 1:05 - loss: 1.0011 - accuracy: 0.6296
49/115 [===========>..................] - ETA: 1:04 - loss: 0.9953 - accuracy: 0.6307
50/115 [============>.................] - ETA: 1:03 - loss: 0.9883 - accuracy: 0.6350
51/115 [============>.................] - ETA: 1:02 - loss: 0.9856 - accuracy: 0.6366
52/115 [============>.................] - ETA: 1:00 - loss: 0.9771 - accuracy: 0.6412
53/115 [============>.................] - ETA: 59s - loss: 0.9714 - accuracy: 0.6445
54/115 [=============>................] - ETA: 58s - loss: 0.9644 - accuracy: 0.6481
55/115 [=============>................] - ETA: 57s - loss: 0.9570 - accuracy: 0.6506
56/115 [=============>................] - ETA: 55s - loss: 0.9523 - accuracy: 0.6512
57/115 [=============>................] - ETA: 54s - loss: 0.9501 - accuracy: 0.6524
58/115 [==============>...............] - ETA: 53s - loss: 0.9454 - accuracy: 0.6546
59/115 [==============>...............] - ETA: 52s - loss: 0.9390 - accuracy: 0.6568
60/115 [==============>...............] - ETA: 51s - loss: 0.9345 - accuracy: 0.6578
61/115 [==============>...............] - ETA: 50s - loss: 0.9284 - accuracy: 0.6598
62/115 [===============>..............] - ETA: 48s - loss: 0.9245 - accuracy: 0.6623
63/115 [===============>..............] - ETA: 47s - loss: 0.9213 - accuracy: 0.6637
64/115 [===============>..............] - ETA: 46s - loss: 0.9198 - accuracy: 0.6646
65/115 [===============>..............] - ETA: 45s - loss: 0.9170 - accuracy: 0.6644
66/115 [================>.............] - ETA: 44s - loss: 0.9111 - accuracy: 0.6667
67/115 [================>.............] - ETA: 43s - loss: 0.9061 - accuracy: 0.6684
68/115 [================>.............] - ETA: 42s - loss: 0.9048 - accuracy: 0.6677
69/115 [=================>............] - ETA: 41s - loss: 0.8975 - accuracy: 0.6712
70/115 [=================>............] - ETA: 40s - loss: 0.8947 - accuracy: 0.6714
71/115 [=================>............] - ETA: 39s - loss: 0.8889 - accuracy: 0.6743
72/115 [=================>............] - ETA: 38s - loss: 0.8858 - accuracy: 0.6753
73/115 [==================>...........] - ETA: 37s - loss: 0.8840 - accuracy: 0.6751
74/115 [==================>...........] - ETA: 36s - loss: 0.8783 - accuracy: 0.6778
75/115 [==================>...........] - ETA: 35s - loss: 0.8721 - accuracy: 0.6808
76/115 [==================>...........] - ETA: 34s - loss: 0.8677 - accuracy: 0.6822
77/115 [===================>..........] - ETA: 33s - loss: 0.8674 - accuracy: 0.6822
78/115 [===================>..........] - ETA: 32s - loss: 0.8632 - accuracy: 0.6835
79/115 [===================>..........] - ETA: 31s - loss: 0.8609 - accuracy: 0.6843
80/115 [===================>..........] - ETA: 30s - loss: 0.8600 - accuracy: 0.6840
81/115 [====================>.........] - ETA: 29s - loss: 0.8584 - accuracy: 0.6848
82/115 [====================>.........] - ETA: 28s - loss: 0.8548 - accuracy: 0.6867
83/115 [====================>.........] - ETA: 27s - loss: 0.8491 - accuracy: 0.6898
84/115 [====================>.........] - ETA: 26s - loss: 0.8450 - accuracy: 0.6916
85/115 [=====================>........] - ETA: 25s - loss: 0.8409 - accuracy: 0.6926
86/115 [=====================>........] - ETA: 24s - loss: 0.8379 - accuracy: 0.6933
87/115 [=====================>........] - ETA: 23s - loss: 0.8355 - accuracy: 0.6940
88/115 [=====================>........] - ETA: 22s - loss: 0.8325 - accuracy: 0.6957
89/115 [======================>.......] - ETA: 22s - loss: 0.8283 - accuracy: 0.6973
90/115 [======================>.......] - ETA: 21s - loss: 0.8277 - accuracy: 0.6972
91/115 [======================>.......] - ETA: 20s - loss: 0.8222 - accuracy: 0.6995
92/115 [=======================>......] - ETA: 19s - loss: 0.8191 - accuracy: 0.7007
93/115 [=======================>......] - ETA: 18s - loss: 0.8186 - accuracy: 0.7013
94/115 [=======================>......] - ETA: 17s - loss: 0.8147 - accuracy: 0.7028
95/115 [=======================>......] - ETA: 16s - loss: 0.8112 - accuracy: 0.7036
96/115 [========================>.....] - ETA: 15s - loss: 0.8093 - accuracy: 0.7038
97/115 [========================>.....] - ETA: 15s - loss: 0.8071 - accuracy: 0.7046
98/115 [========================>.....] - ETA: 14s - loss: 0.8030 - accuracy: 0.7070
99/115 [========================>.....] - ETA: 13s - loss: 0.8042 - accuracy: 0.7071
100/115 [=========================>....] - ETA: 12s - loss: 0.8012 - accuracy: 0.7081
101/115 [=========================>....] - ETA: 11s - loss: 0.7971 - accuracy: 0.7095
102/115 [=========================>....] - ETA: 10s - loss: 0.7949 - accuracy: 0.7102
103/115 [=========================>....] - ETA: 9s - loss: 0.7930 - accuracy: 0.7112
104/115 [==========================>...] - ETA: 9s - loss: 0.7907 - accuracy: 0.7118
105/115 [==========================>...] - ETA: 8s - loss: 0.7909 - accuracy: 0.7122
106/115 [==========================>...] - ETA: 7s - loss: 0.7890 - accuracy: 0.7129
107/115 [==========================>...] - ETA: 6s - loss: 0.7854 - accuracy: 0.7141
108/115 [===========================>..] - ETA: 5s - loss: 0.7824 - accuracy: 0.7153
109/115 [===========================>..] - ETA: 4s - loss: 0.7793 - accuracy: 0.7162
110/115 [===========================>..] - ETA: 4s - loss: 0.7770 - accuracy: 0.7165
111/115 [===========================>..] - ETA: 3s - loss: 0.7741 - accuracy: 0.7176
112/115 [============================>.] - ETA: 2s - loss: 0.7706 - accuracy: 0.7190
113/115 [============================>.] - ETA: 1s - loss: 0.7699 - accuracy: 0.7188
114/115 [============================>.] - ETA: 0s - loss: 0.7665 - accuracy: 0.7201
115/115 [==============================] - 93s 812ms/step - loss: 0.7631 - accuracy: 0.7217
Epoch 2/3

1/115 [..............................] - ETA: 1:14 - loss: 0.7156 - accuracy: 0.7188
2/115 [..............................] - ETA: 1:13 - loss: 0.6408 - accuracy: 0.7344
3/115 [..............................] - ETA: 1:13 - loss: 0.5986 - accuracy: 0.7708
4/115 [>.............................] - ETA: 1:13 - loss: 0.5587 - accuracy: 0.7969
5/115 [>.............................] - ETA: 1:12 - loss: 0.5195 - accuracy: 0.8188
6/115 [>.............................] - ETA: 1:11 - loss: 0.5092 - accuracy: 0.8281
7/115 [>.............................] - ETA: 1:10 - loss: 0.4859 - accuracy: 0.8438
8/115 [=>............................] - ETA: 1:10 - loss: 0.4875 - accuracy: 0.8477
9/115 [=>............................] - ETA: 1:09 - loss: 0.4721 - accuracy: 0.8472
10/115 [=>............................] - ETA: 1:08 - loss: 0.4958 - accuracy: 0.8281
11/115 [=>............................] - ETA: 1:08 - loss: 0.4966 - accuracy: 0.8295
12/115 [==>...........................] - ETA: 1:07 - loss: 0.4940 - accuracy: 0.8281
13/115 [==>...........................] - ETA: 1:06 - loss: 0.4768 - accuracy: 0.8365
14/115 [==>...........................] - ETA: 1:05 - loss: 0.4617 - accuracy: 0.8393
15/115 [==>...........................] - ETA: 1:05 - loss: 0.4642 - accuracy: 0.8396
16/115 [===>..........................] - ETA: 1:04 - loss: 0.4633 - accuracy: 0.8379
17/115 [===>..........................] - ETA: 1:04 - loss: 0.4598 - accuracy: 0.8419
18/115 [===>..........................] - ETA: 1:03 - loss: 0.4794 - accuracy: 0.8316
19/115 [===>..........................] - ETA: 1:03 - loss: 0.4863 - accuracy: 0.8273
20/115 [====>.........................] - ETA: 1:03 - loss: 0.4778 - accuracy: 0.8328
21/115 [====>.........................] - ETA: 1:02 - loss: 0.4758 - accuracy: 0.8333
22/115 [====>.........................] - ETA: 1:02 - loss: 0.4760 - accuracy: 0.8324
23/115 [=====>........................] - ETA: 1:01 - loss: 0.4797 - accuracy: 0.8329
24/115 [=====>........................] - ETA: 1:01 - loss: 0.4790 - accuracy: 0.8346
25/115 [=====>........................] - ETA: 1:00 - loss: 0.4819 - accuracy: 0.8338
26/115 [=====>........................] - ETA: 1:00 - loss: 0.4735 - accuracy: 0.8377
27/115 [======>.......................] - ETA: 1:00 - loss: 0.4719 - accuracy: 0.8380
28/115 [======>.......................] - ETA: 59s - loss: 0.4742 - accuracy: 0.8371
29/115 [======>.......................] - ETA: 59s - loss: 0.4777 - accuracy: 0.8341
30/115 [======>.......................] - ETA: 58s - loss: 0.4774 - accuracy: 0.8333
31/115 [=======>......................] - ETA: 58s - loss: 0.4735 - accuracy: 0.8367
32/115 [=======>......................] - ETA: 57s - loss: 0.4732 - accuracy: 0.8369
33/115 [=======>......................] - ETA: 57s - loss: 0.4798 - accuracy: 0.8324
34/115 [=======>......................] - ETA: 56s - loss: 0.4816 - accuracy: 0.8327
35/115 [========>.....................] - ETA: 56s - loss: 0.4792 - accuracy: 0.8339
36/115 [========>.....................] - ETA: 55s - loss: 0.4795 - accuracy: 0.8333
37/115 [========>.....................] - ETA: 54s - loss: 0.4780 - accuracy: 0.8345
38/115 [========>.....................] - ETA: 54s - loss: 0.4719 - accuracy: 0.8363
39/115 [=========>....................] - ETA: 53s - loss: 0.4698 - accuracy: 0.8365
40/115 [=========>....................] - ETA: 52s - loss: 0.4708 - accuracy: 0.8367
41/115 [=========>....................] - ETA: 52s - loss: 0.4673 - accuracy: 0.8384
42/115 [=========>....................] - ETA: 51s - loss: 0.4674 - accuracy: 0.8378
43/115 [==========>...................] - ETA: 51s - loss: 0.4698 - accuracy: 0.8372
44/115 [==========>...................] - ETA: 50s - loss: 0.4717 - accuracy: 0.8359
45/115 [==========>...................] - ETA: 49s - loss: 0.4667 - accuracy: 0.8375
46/115 [===========>..................] - ETA: 49s - loss: 0.4665 - accuracy: 0.8383
47/115 [===========>..................] - ETA: 48s - loss: 0.4656 - accuracy: 0.8378
48/115 [===========>..................] - ETA: 48s - loss: 0.4620 - accuracy: 0.8379
49/115 [===========>..................] - ETA: 47s - loss: 0.4607 - accuracy: 0.8374
50/115 [============>.................] - ETA: 46s - loss: 0.4622 - accuracy: 0.8369
51/115 [============>.................] - ETA: 46s - loss: 0.4630 - accuracy: 0.8364
52/115 [============>.................] - ETA: 45s - loss: 0.4586 - accuracy: 0.8383
53/115 [============>.................] - ETA: 44s - loss: 0.4621 - accuracy: 0.8373
54/115 [=============>................] - ETA: 44s - loss: 0.4607 - accuracy: 0.8380
55/115 [=============>................] - ETA: 43s - loss: 0.4583 - accuracy: 0.8386
56/115 [=============>................] - ETA: 42s - loss: 0.4567 - accuracy: 0.8404
57/115 [=============>................] - ETA: 42s - loss: 0.4580 - accuracy: 0.8394
58/115 [==============>...............] - ETA: 41s - loss: 0.4576 - accuracy: 0.8389
59/115 [==============>...............] - ETA: 40s - loss: 0.4607 - accuracy: 0.8374
60/115 [==============>...............] - ETA: 39s - loss: 0.4627 - accuracy: 0.8365
61/115 [==============>...............] - ETA: 39s - loss: 0.4591 - accuracy: 0.8386
62/115 [===============>..............] - ETA: 38s - loss: 0.4573 - accuracy: 0.8397
63/115 [===============>..............] - ETA: 37s - loss: 0.4568 - accuracy: 0.8393
64/115 [===============>..............] - ETA: 37s - loss: 0.4566 - accuracy: 0.8403
65/115 [===============>..............] - ETA: 36s - loss: 0.4557 - accuracy: 0.8409
66/115 [================>.............] - ETA: 35s - loss: 0.4598 - accuracy: 0.8390
67/115 [================>.............] - ETA: 34s - loss: 0.4577 - accuracy: 0.8400
68/115 [================>.............] - ETA: 34s - loss: 0.4555 - accuracy: 0.8410
69/115 [=================>............] - ETA: 33s - loss: 0.4556 - accuracy: 0.8410
70/115 [=================>............] - ETA: 32s - loss: 0.4546 - accuracy: 0.8415
71/115 [=================>............] - ETA: 32s - loss: 0.4548 - accuracy: 0.8420
72/115 [=================>............] - ETA: 31s - loss: 0.4553 - accuracy: 0.8416
73/115 [==================>...........] - ETA: 30s - loss: 0.4534 - accuracy: 0.8420
74/115 [==================>...........] - ETA: 30s - loss: 0.4549 - accuracy: 0.8408
75/115 [==================>...........] - ETA: 29s - loss: 0.4561 - accuracy: 0.8404
76/115 [==================>...........] - ETA: 28s - loss: 0.4553 - accuracy: 0.8409
77/115 [===================>..........] - ETA: 27s - loss: 0.4561 - accuracy: 0.8409
78/115 [===================>..........] - ETA: 27s - loss: 0.4530 - accuracy: 0.8425
79/115 [===================>..........] - ETA: 26s - loss: 0.4520 - accuracy: 0.8430
80/115 [===================>..........] - ETA: 25s - loss: 0.4517 - accuracy: 0.8438
81/115 [====================>.........] - ETA: 25s - loss: 0.4515 - accuracy: 0.8441
82/115 [====================>.........] - ETA: 24s - loss: 0.4483 - accuracy: 0.8453
83/115 [====================>.........] - ETA: 23s - loss: 0.4484 - accuracy: 0.8456
84/115 [====================>.........] - ETA: 23s - loss: 0.4479 - accuracy: 0.8452
85/115 [=====================>........] - ETA: 22s - loss: 0.4458 - accuracy: 0.8460
86/115 [=====================>........] - ETA: 21s - loss: 0.4466 - accuracy: 0.8452
87/115 [=====================>........] - ETA: 20s - loss: 0.4478 - accuracy: 0.8445
88/115 [=====================>........] - ETA: 20s - loss: 0.4475 - accuracy: 0.8448
89/115 [======================>.......] - ETA: 19s - loss: 0.4477 - accuracy: 0.8452
90/115 [======================>.......] - ETA: 18s - loss: 0.4477 - accuracy: 0.8451
91/115 [======================>.......] - ETA: 17s - loss: 0.4466 - accuracy: 0.8455
92/115 [=======================>......] - ETA: 17s - loss: 0.4470 - accuracy: 0.8448
93/115 [=======================>......] - ETA: 16s - loss: 0.4486 - accuracy: 0.8438
94/115 [=======================>......] - ETA: 15s - loss: 0.4496 - accuracy: 0.8434
95/115 [=======================>......] - ETA: 14s - loss: 0.4489 - accuracy: 0.8434
96/115 [========================>.....] - ETA: 14s - loss: 0.4489 - accuracy: 0.8434
97/115 [========================>.....] - ETA: 13s - loss: 0.4487 - accuracy: 0.8438
98/115 [========================>.....] - ETA: 12s - loss: 0.4469 - accuracy: 0.8444
99/115 [========================>.....] - ETA: 11s - loss: 0.4475 - accuracy: 0.8434
100/115 [=========================>....] - ETA: 11s - loss: 0.4497 - accuracy: 0.8428
101/115 [=========================>....] - ETA: 10s - loss: 0.4493 - accuracy: 0.8434
102/115 [=========================>....] - ETA: 9s - loss: 0.4485 - accuracy: 0.8434
103/115 [=========================>....] - ETA: 8s - loss: 0.4477 - accuracy: 0.8441
104/115 [==========================>...] - ETA: 8s - loss: 0.4486 - accuracy: 0.8438
105/115 [==========================>...] - ETA: 7s - loss: 0.4486 - accuracy: 0.8432
106/115 [==========================>...] - ETA: 6s - loss: 0.4500 - accuracy: 0.8429
107/115 [==========================>...] - ETA: 6s - loss: 0.4481 - accuracy: 0.8440
108/115 [===========================>..] - ETA: 5s - loss: 0.4479 - accuracy: 0.8440
109/115 [===========================>..] - ETA: 4s - loss: 0.4487 - accuracy: 0.8438
110/115 [===========================>..] - ETA: 3s - loss: 0.4477 - accuracy: 0.8443
111/115 [===========================>..] - ETA: 3s - loss: 0.4473 - accuracy: 0.8446
112/115 [============================>.] - ETA: 2s - loss: 0.4484 - accuracy: 0.8443
113/115 [============================>.] - ETA: 1s - loss: 0.4492 - accuracy: 0.8438
114/115 [============================>.] - ETA: 0s - loss: 0.4483 - accuracy: 0.8443
115/115 [==============================] - 87s 752ms/step - loss: 0.4473 - accuracy: 0.8440
Epoch 3/3

1/115 [..............................] - ETA: 1:49 - loss: 0.3273 - accuracy: 0.8438
2/115 [..............................] - ETA: 1:36 - loss: 0.4477 - accuracy: 0.8438
3/115 [..............................] - ETA: 1:31 - loss: 0.5078 - accuracy: 0.7812
4/115 [>.............................] - ETA: 1:27 - loss: 0.4972 - accuracy: 0.8125
5/115 [>.............................] - ETA: 1:26 - loss: 0.4543 - accuracy: 0.8313
6/115 [>.............................] - ETA: 1:24 - loss: 0.4668 - accuracy: 0.8281
7/115 [>.............................] - ETA: 1:23 - loss: 0.4491 - accuracy: 0.8348
8/115 [=>............................] - ETA: 1:22 - loss: 0.4434 - accuracy: 0.8359
9/115 [=>............................] - ETA: 1:21 - loss: 0.4547 - accuracy: 0.8333
10/115 [=>............................] - ETA: 1:20 - loss: 0.4455 - accuracy: 0.8375
11/115 [=>............................] - ETA: 1:19 - loss: 0.4258 - accuracy: 0.8494
12/115 [==>...........................] - ETA: 1:18 - loss: 0.4083 - accuracy: 0.8594
13/115 [==>...........................] - ETA: 1:17 - loss: 0.3880 - accuracy: 0.8678
14/115 [==>...........................] - ETA: 1:16 - loss: 0.3824 - accuracy: 0.8728
15/115 [==>...........................] - ETA: 1:16 - loss: 0.3725 - accuracy: 0.8771
16/115 [===>..........................] - ETA: 1:15 - loss: 0.3688 - accuracy: 0.8789
17/115 [===>..........................] - ETA: 1:14 - loss: 0.3619 - accuracy: 0.8824
18/115 [===>..........................] - ETA: 1:13 - loss: 0.3553 - accuracy: 0.8872
19/115 [===>..........................] - ETA: 1:13 - loss: 0.3503 - accuracy: 0.8898
20/115 [====>.........................] - ETA: 1:13 - loss: 0.3574 - accuracy: 0.8859
21/115 [====>.........................] - ETA: 1:12 - loss: 0.3720 - accuracy: 0.8780
22/115 [====>.........................] - ETA: 1:11 - loss: 0.3709 - accuracy: 0.8778
23/115 [=====>........................] - ETA: 1:10 - loss: 0.3648 - accuracy: 0.8818
24/115 [=====>........................] - ETA: 1:09 - loss: 0.3620 - accuracy: 0.8841
25/115 [=====>........................] - ETA: 1:09 - loss: 0.3650 - accuracy: 0.8813
26/115 [=====>........................] - ETA: 1:08 - loss: 0.3629 - accuracy: 0.8810
27/115 [======>.......................] - ETA: 1:07 - loss: 0.3610 - accuracy: 0.8819
28/115 [======>.......................] - ETA: 1:06 - loss: 0.3581 - accuracy: 0.8817
29/115 [======>.......................] - ETA: 1:05 - loss: 0.3580 - accuracy: 0.8804
30/115 [======>.......................] - ETA: 1:04 - loss: 0.3559 - accuracy: 0.8802
31/115 [=======>......................] - ETA: 1:03 - loss: 0.3508 - accuracy: 0.8831
32/115 [=======>......................] - ETA: 1:03 - loss: 0.3473 - accuracy: 0.8848
33/115 [=======>......................] - ETA: 1:02 - loss: 0.3482 - accuracy: 0.8826
34/115 [=======>......................] - ETA: 1:01 - loss: 0.3441 - accuracy: 0.8842
35/115 [========>.....................] - ETA: 1:00 - loss: 0.3412 - accuracy: 0.8857
36/115 [========>.....................] - ETA: 59s - loss: 0.3442 - accuracy: 0.8837
37/115 [========>.....................] - ETA: 59s - loss: 0.3422 - accuracy: 0.8834
38/115 [========>.....................] - ETA: 58s - loss: 0.3430 - accuracy: 0.8824
39/115 [=========>....................] - ETA: 57s - loss: 0.3459 - accuracy: 0.8814
40/115 [=========>....................] - ETA: 57s - loss: 0.3464 - accuracy: 0.8797
41/115 [=========>....................] - ETA: 56s - loss: 0.3507 - accuracy: 0.8765
42/115 [=========>....................] - ETA: 55s - loss: 0.3474 - accuracy: 0.8780
43/115 [==========>...................] - ETA: 55s - loss: 0.3473 - accuracy: 0.8772
44/115 [==========>...................] - ETA: 54s - loss: 0.3490 - accuracy: 0.8764
45/115 [==========>...................] - ETA: 53s - loss: 0.3499 - accuracy: 0.8757
46/115 [===========>..................] - ETA: 52s - loss: 0.3534 - accuracy: 0.8743
47/115 [===========>..................] - ETA: 51s - loss: 0.3542 - accuracy: 0.8757
48/115 [===========>..................] - ETA: 50s - loss: 0.3550 - accuracy: 0.8737
49/115 [===========>..................] - ETA: 49s - loss: 0.3573 - accuracy: 0.8744
50/115 [============>.................] - ETA: 48s - loss: 0.3562 - accuracy: 0.8744
51/115 [============>.................] - ETA: 47s - loss: 0.3516 - accuracy: 0.8768
52/115 [============>.................] - ETA: 47s - loss: 0.3491 - accuracy: 0.8780
53/115 [============>.................] - ETA: 46s - loss: 0.3497 - accuracy: 0.8774
54/115 [=============>................] - ETA: 45s - loss: 0.3488 - accuracy: 0.8779
55/115 [=============>................] - ETA: 44s - loss: 0.3494 - accuracy: 0.8784
56/115 [=============>................] - ETA: 43s - loss: 0.3480 - accuracy: 0.8795
57/115 [=============>................] - ETA: 43s - loss: 0.3465 - accuracy: 0.8794
58/115 [==============>...............] - ETA: 42s - loss: 0.3477 - accuracy: 0.8788
59/115 [==============>...............] - ETA: 41s - loss: 0.3487 - accuracy: 0.8787
60/115 [==============>...............] - ETA: 40s - loss: 0.3475 - accuracy: 0.8786
61/115 [==============>...............] - ETA: 39s - loss: 0.3480 - accuracy: 0.8786
62/115 [===============>..............] - ETA: 39s - loss: 0.3498 - accuracy: 0.8775
63/115 [===============>..............] - ETA: 38s - loss: 0.3513 - accuracy: 0.8770
64/115 [===============>..............] - ETA: 37s - loss: 0.3487 - accuracy: 0.8779
65/115 [===============>..............] - ETA: 36s - loss: 0.3477 - accuracy: 0.8784
66/115 [================>.............] - ETA: 36s - loss: 0.3490 - accuracy: 0.8778
67/115 [================>.............] - ETA: 35s - loss: 0.3483 - accuracy: 0.8773
68/115 [================>.............] - ETA: 34s - loss: 0.3495 - accuracy: 0.8773
69/115 [=================>............] - ETA: 33s - loss: 0.3494 - accuracy: 0.8764
70/115 [=================>............] - ETA: 32s - loss: 0.3536 - accuracy: 0.8732
71/115 [=================>............] - ETA: 32s - loss: 0.3559 - accuracy: 0.8728
72/115 [=================>............] - ETA: 31s - loss: 0.3579 - accuracy: 0.8728
73/115 [==================>...........] - ETA: 30s - loss: 0.3566 - accuracy: 0.8729
74/115 [==================>...........] - ETA: 29s - loss: 0.3551 - accuracy: 0.8737
75/115 [==================>...........] - ETA: 29s - loss: 0.3552 - accuracy: 0.8742
76/115 [==================>...........] - ETA: 28s - loss: 0.3535 - accuracy: 0.8750
77/115 [===================>..........] - ETA: 27s - loss: 0.3523 - accuracy: 0.8762
78/115 [===================>..........] - ETA: 26s - loss: 0.3545 - accuracy: 0.8754
79/115 [===================>..........] - ETA: 26s - loss: 0.3554 - accuracy: 0.8754
80/115 [===================>..........] - ETA: 25s - loss: 0.3542 - accuracy: 0.8766
81/115 [====================>.........] - ETA: 24s - loss: 0.3547 - accuracy: 0.8762
82/115 [====================>.........] - ETA: 23s - loss: 0.3538 - accuracy: 0.8769
83/115 [====================>.........] - ETA: 23s - loss: 0.3541 - accuracy: 0.8765
84/115 [====================>.........] - ETA: 22s - loss: 0.3532 - accuracy: 0.8769
85/115 [=====================>........] - ETA: 21s - loss: 0.3541 - accuracy: 0.8765
86/115 [=====================>........] - ETA: 21s - loss: 0.3562 - accuracy: 0.8750
87/115 [=====================>........] - ETA: 20s - loss: 0.3579 - accuracy: 0.8746
88/115 [=====================>........] - ETA: 19s - loss: 0.3566 - accuracy: 0.8754
89/115 [======================>.......] - ETA: 18s - loss: 0.3557 - accuracy: 0.8757
90/115 [======================>.......] - ETA: 18s - loss: 0.3585 - accuracy: 0.8743
91/115 [======================>.......] - ETA: 17s - loss: 0.3615 - accuracy: 0.8740
92/115 [=======================>......] - ETA: 16s - loss: 0.3610 - accuracy: 0.8740
93/115 [=======================>......] - ETA: 15s - loss: 0.3609 - accuracy: 0.8740
94/115 [=======================>......] - ETA: 15s - loss: 0.3609 - accuracy: 0.8737
95/115 [=======================>......] - ETA: 14s - loss: 0.3626 - accuracy: 0.8730
96/115 [========================>.....] - ETA: 13s - loss: 0.3618 - accuracy: 0.8734
97/115 [========================>.....] - ETA: 13s - loss: 0.3611 - accuracy: 0.8734
98/115 [========================>.....] - ETA: 12s - loss: 0.3612 - accuracy: 0.8728
99/115 [========================>.....] - ETA: 11s - loss: 0.3605 - accuracy: 0.8731
100/115 [=========================>....] - ETA: 10s - loss: 0.3599 - accuracy: 0.8734
101/115 [=========================>....] - ETA: 10s - loss: 0.3613 - accuracy: 0.8728
102/115 [=========================>....] - ETA: 9s - loss: 0.3619 - accuracy: 0.8722
103/115 [=========================>....] - ETA: 8s - loss: 0.3616 - accuracy: 0.8723
104/115 [==========================>...] - ETA: 7s - loss: 0.3620 - accuracy: 0.8726
105/115 [==========================>...] - ETA: 7s - loss: 0.3608 - accuracy: 0.8729
106/115 [==========================>...] - ETA: 6s - loss: 0.3639 - accuracy: 0.8718
107/115 [==========================>...] - ETA: 5s - loss: 0.3634 - accuracy: 0.8724
108/115 [===========================>..] - ETA: 5s - loss: 0.3638 - accuracy: 0.8721
109/115 [===========================>..] - ETA: 4s - loss: 0.3639 - accuracy: 0.8721
110/115 [===========================>..] - ETA: 3s - loss: 0.3641 - accuracy: 0.8716
111/115 [===========================>..] - ETA: 2s - loss: 0.3638 - accuracy: 0.8713
112/115 [============================>.] - ETA: 2s - loss: 0.3654 - accuracy: 0.8705
113/115 [============================>.] - ETA: 1s - loss: 0.3653 - accuracy: 0.8706
114/115 [============================>.] - ETA: 0s - loss: 0.3664 - accuracy: 0.8703
115/115 [==============================] - 82s 713ms/step - loss: 0.3656 - accuracy: 0.8709

至此，我们完成了从磁盘读取图片数据,并将其和对应的label通过元组的方式转换为dataset对象，来完成送入模型，模型训练及评估。下面，我们介绍另一种读取图片文件的格式TFRecord。

TFRecord 文件

1. TFRecord 文件是一种用来存储一串二进制 blob 的简单格式。通过将多个示例打包进同一个文件内，TensorFlow 能够一次性读取多个示例。可以加快图片的读取效率，从而提高网络训练速度。

首先，从原始图片数据中构建出一个 TFRecord 文件：

image_ds = tf.data.Dataset.from_tensor_slices(all_image_paths).map(tf.io.read_file)
tfrec = tf.data.experimental.TFRecordWriter('images.tfrec')
tfrec.write(image_ds)

接着，构建一个从 TFRecord 文件读取的数据集，并使用你之前定义的 preprocess_image 函数对图像进行解码/重新格式化：

image_ds = tf.data.TFRecordDataset('images.tfrec').map(preprocess_image)

压缩该数据集和之前定义的标签数据集以得到期望的 (图片,标签) 对:

ds = tf.data.Dataset.zip((image_ds, label_ds))
ds = ds.apply(
  tf.data.experimental.shuffle_and_repeat(buffer_size=image_count))
ds=ds.batch(BATCH_SIZE).prefetch(AUTOTUNE)
ds

2. 为了进一步加快图片处理速度，我们可以为 TFRecord 文件省去一些预处理过程，首先像之前一样制作一个处理过的图片数据集：

paths_ds = tf.data.Dataset.from_tensor_slices(all_image_paths)
image_ds = paths_ds.map(load_and_preprocess_image)
image_ds

将此序列化至一个 TFRecord 文件你首先将该 tensor（张量）数据集转化为一个字符串数据集

ds = image_ds.map(tf.io.serialize_tensor)
tfrec = tf.data.experimental.TFRecordWriter('images.tfrec')
tfrec.write(ds)

有了被缓存的预处理，就能从 TFrecord 文件高效地加载数据——只需记得在使用它之前反序列化：

ds = tf.data.TFRecordDataset('images.tfrec')

def parse(x):
  result = tf.io.parse_tensor(x, out_type=tf.float32)
  result = tf.reshape(result, [192, 192, 3])
  return result

ds = ds.map(parse, num_parallel_calls=AUTOTUNE)

这就是TFRecord文件使用。

你可能感兴趣的:(加载和预处理数据,Tensorflow2.0)

情绪觉察日记第37天露露_e800
今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
芦花鞋一四许叶晗
又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
关于沟通这件事，项目经理不需要每次都面对面进行流程大师兄
很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
【iOS】MVC设计模式 Magnetic_h ios mvc 设计模式 objective-c 学习 ui
MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
一百九十四章. 自相矛盾巨木擎天
唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
UI学习——cell的复用和自定义cell Magnetic_h ui 学习
目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
element实现动态路由+面包屑软件技术NINI vue案例 vue.js 前端
el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
C语言宏函数南林yan C语言 c语言
一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
地推话术，如何应对地推过程中家长的拒绝校师学
相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
谢谢你们，爱你们！鹿游儿
昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
C语言如何定义宏函数？小九格物 c语言
在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务 java 架构
在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
2021年12月19日，春蕾教育集团团建活动感受——黄晓丹黄错错加油
感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断尐尐呅
结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
c++ 的iostream 和 c++的stdio的区别和联系黄卷青灯77 c++算法开发语言 iostream stdio
在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
《投行人生》读书笔记小蘑菇的树洞
《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
Long类型前后端数据不一致 igotyback 前端
响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类 qt 开发语言 sdl2 linux
需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
绘本讲师训练营【24期】8/21阅读原创《独生小孩》 1784e22615e0
24016-孟娟《独生小孩》图片发自App今天我想分享一个蛮特别的绘本，讲的是一个特殊的群体，我也是属于这个群体，80后的独生小孩。这是一本中国绘本，作者郭婧，也是一个80厚。全书一百多页，均为铅笔绘制，虽然为黑白色调，但并不显得沉闷。全书没有文字，犹如“默片”，但并不影响读者对该作品的理解，反而显得神秘，梦幻，給读者留下想象的空间。作者在前蝴蝶页这样写到：“我更希望父母和孩子一起分享这本书，使他
店群合一模式下的社区团购新发展——结合链动 2+1 模式、AI 智能名片与 S2B2C 商城小程序源码说私域人工智能小程序
摘要：本文探讨了店群合一的社区团购平台在当今商业环境中的重要性和优势。通过分析店群合一模式如何将互联网社群与线下终端紧密结合，阐述了链动2+1模式、AI智能名片和S2B2C商城小程序源码在这一模式中的应用价值。这些创新元素的结合为社区团购带来了新的机遇，提升了用户信任感、拓展了营销渠道，并实现了线上线下的完美融合。一、引言随着互联网技术的不断发展，社区团购作为一种新兴的商业模式，在满足消费者日常需
消息中间件有哪些常见类型 xmh-sxh-1314 java
消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值）研学随笔 arcgis 经验分享
我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
水平垂直居中的几种方法（总结） LJ小番茄 CSS_玄学语言 html javascript 前端 css css3
1.使用flexbox的justify-content和align-items.parent{display:flex;justify-content:center;/*水平居中*/align-items:center;/*垂直居中*/height:100vh;/*需要指定高度*/}2.使用grid的place-items:center.parent{display:grid;place-item
本周第二次约练 2cfbdfe28a51
中原焦点团队中24初26刘霞2021.12.3约练161次，分享第368天当事人虽然是带着问题来的，但是咨询过程中发现，她是经过自己不断地调整和努力才走到现在的，看到当事人的不容易，找到例外，发现资源，力量感也就随之而来。增强画面感，或者说重温，会给当事人带来更深刻的感受。
放下是一段成长的修行小莳玥
人来到这个世界上，只有两件事：生和死。一件事已经做完了，另一件你还急什么呢?是人，都有七情六欲。是心，都有喜怒哀乐，这些再正常不过了。别总抱怨自己活得累，过得辛苦。永远记住：舒坦是留给死人的。苦，才是生活；累，才是工作；变，才是命运；忍，才是历练；容，才是智慧；静，才是修养；舍，才会得到；做，才会拥有。人生，活得太清楚，才是最大的不明白。有些事，看得很清，却说不清；有些人，了解很深，却猜不透；有些
回溯 Leetcode 332 重新安排行程 mmaerd Leetcode刷题学习记录 leetcode 算法职场和发展
重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
每日一题——第八十四题互联网打工人no1 C语言程序设计每日一练 c语言
题目：编写函数1、输入10个职工的姓名和职工号2、按照职工由大到小顺序排列，姓名顺序也随之调整3、要求输入一个职工号，用折半查找法找出该职工的姓名#define_CRT_SECURE_NO_WARNINGS#include#include#defineMAX_EMPLOYEES10typedefstruct{intid;charname[50];}Empolyee;voidinputEmploye
解线性方程组 qiuwanchi
package gaodai.matrix; import java.util.ArrayList; import java.util.List; import java.util.Scanner; public class Test { public static void main(String[] args) { Scanner scanner = new Sc
在mysql内部存储代码 annan211 性能 mysql 存储过程触发器
在mysql内部存储代码在mysql内部存储代码，既有优点也有缺点，而且有人倡导有人反对。先看优点： 1 她在服务器内部执行，离数据最近，另外在服务器上执行还可以节省带宽和网络延迟。 2 这是一种代码重用。可以方便的统一业务规则，保证某些行为的一致性，所以也可以提供一定的安全性。 3 可以简化代码的维护和版本更新。 4 可以帮助提升安全，比如提供更细
Android使用Asynchronous Http Client完成登录保存cookie的问题 hotsunshine android
Asynchronous Http Client是android中非常好的异步请求工具除了异步之外还有很多封装比如json的处理，cookie的处理引用 Persistent Cookie Storage with PersistentCookieStore This library also includes a PersistentCookieStore whi
java面试题 Array_06 java 面试
java面试题第一，谈谈final, finally, finalize的区别。 final-修饰符（关键字）如果一个类被声明为final，意味着它不能再派生出新的子类，不能作为父类被继承。因此一个类不能既被声明为 abstract的，又被声明为final的。将变量或方法声明为final，可以保证它们在使用中不被改变。被声明为final的变量必须在声明时给定初值，而在以后的引用中只能
网站加速 oloz 网站加速
前序:本人菜鸟，此文研究总结来源于互联网上的资料，大牛请勿喷！本人虚心学习，多指教. 1、减小网页体积的大小，尽量采用div+css模式，尽量避免复杂的页面结构，能简约就简约。 2、采用Gzip对网页进行压缩； GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNⅨ系统的文件压缩。我们在Linux中经常会用到后缀为.gz
正确书写单例模式随意而生 java 设计模式单例
　　单例模式算是设计模式中最容易理解，也是最容易手写代码的模式了吧。但是其中的坑却不少，所以也常作为面试题来考。本文主要对几种单例写法的整理，并分析其优缺点。很多都是一些老生常谈的问题，但如果你不知道如何创建一个线程安全的单例，不知道什么是双检锁，那这篇文章可能会帮助到你。　　懒汉式，线程不安全　　当被问到要实现一个单例模式时，很多人的第一反应是写出如下的代码，包括教科书上也是这样
单例模式香水浓 java
懒汉调用getInstance方法时实例化 public class Singleton { private static Singleton instance; private Singleton() {} public static synchronized Singleton getInstance() { if(null == ins
安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" AdyZhang apache http server
安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" 每次到这一步都很小心防它的端口冲突问题，结果，特意留出来的80端口就是不能用，烦。解决方法确保几处： 1、停止IIS启动 2、把端口80改成其它（譬如90，800，，，什么数字都好） 3、防火墙(关掉试试) 在运行处输入 cmd 回车，转到apa
如何在android 文件选择器中选择多个图片或者视频？ aijuans android
我的android app有这样的需求，在进行照片和视频上传的时候，需要一次性的从照片/视频库选择多条进行上传但是android原生态的sdk中，只能一个一个的进行选择和上传。我想知道是否有其他的android上传库可以解决这个问题，提供一个多选的功能，可以使checkbox之类的，一次选择多个处理方法官方的图片选择器(但是不支持所有版本的androi，只支持API Level
mysql中查询生日提醒的日期相关的sql baalwolf mysql
SELECT sysid,user_name,birthday,listid,userhead_50,CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')),CURDATE(), dayofyear( CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')))-dayofyear(
MongoDB索引文件破坏后导致查询错误的问题 BigBird2012 mongodb
问题描述： MongoDB在非正常情况下关闭时，可能会导致索引文件破坏，造成数据在更新时没有反映到索引上。解决方案：使用脚本，重建MongoDB所有表的索引。 var names = db.getCollectionNames(); for( var i in names ){ var name = names[i]; print(name);
Javascript Promise bijian1013 JavaScript Promise
Parse JavaScript SDK现在提供了支持大多数异步方法的兼容jquery的Promises模式，那么这意味着什么呢，读完下文你就了解了。一.认识Promises “Promises”代表着在javascript程序里下一个伟大的范式，但是理解他们为什么如此伟大不是件简
[Zookeeper学习笔记九]Zookeeper源代码分析之Zookeeper构造过程 bit1129 zookeeper
Zookeeper重载了几个构造函数，其中构造者可以提供参数最多，可定制性最多的构造函数是 public ZooKeeper(String connectString, int sessionTimeout, Watcher watcher, long sessionId, byte[] sessionPasswd, boolea
【Java命令三】jstack bit1129 jstack
jstack是用于获得当前运行的Java程序所有的线程的运行情况(thread dump），不同于jmap用于获得memory dump [hadoop@hadoop sbin]$ jstack Usage: jstack [-l] <pid> (to connect to running process) jstack -F
jboss 5.1启停脚本　动静分离部署 ronin47
以前启动jboss，往各种xml配置文件，现只要运行一句脚本即可。start nohup sh /**/run.sh -c servicename -b ip -g clustername -u broatcast jboss.messaging.ServerPeerID=int -Djboss.service.binding.set=p
UI之如何打磨设计能力? brotherlamp UI ui教程 ui自学 ui资料 ui视频
在越来越拥挤的初创企业世界里，视觉设计的重要性往往可以与杀手级用户体验比肩。在许多情况下，尤其对于 Web 初创企业而言，这两者都是不可或缺的。前不久我们在《右脑革命：别学编程了，学艺术吧》中也曾发出过重视设计的呼吁。如何才能提高初创企业的设计能力呢?以下是 9 位创始人的体会。 1.找到自己的方式如果你是设计师，要想提高技能可以去设计博客和展示好设计的网站如D-lists或
三色旗算法 bylijinnan java 算法
import java.util.Arrays; /** 问题：假设有一条绳子，上面有红、白、蓝三种颜色的旗子，起初绳子上的旗子颜色并没有顺序，您希望将之分类，并排列为蓝、白、红的顺序，要如何移动次数才会最少，注意您只能在绳子上进行这个动作，而且一次只能调换两个旗子。网上的解法大多类似：在一条绳子上移动，在程式中也就意味只能使用一个阵列，而不使用其它的阵列来
警告:No configuration found for the specified action: \'s chiangfai configuration
1.index.jsp页面form标签未指定namespace属性。  <%@taglib prefix="s" uri="/struts-tags"%> ... <s:form action="submit" method="post"&g
redis -- hash_max_zipmap_entries设置过大有问题 chenchao051 redis hash
使用redis时为了使用hash追求更高的内存使用率，我们一般都用hash结构，并且有时候会把hash_max_zipmap_entries这个值设置的很大，很多资料也推荐设置到1000，默认设置为了512，但是这里有个坑 #define ZIPMAP_BIGLEN 254 #define ZIPMAP_END 255 /* Return th
select into outfile access deny问题 daizj mysql txt 导出数据到文件
本文转自：http://hatemysql.com/2010/06/29/select-into-outfile-access-deny%E9%97%AE%E9%A2%98/ 为应用建立了rnd的帐号，专门为他们查询线上数据库用的，当然，只有他们上了生产网络以后才能连上数据库，安全方面我们还是很注意的，呵呵。授权的语句如下： grant select on armory.* to rn
phpexcel导出excel表简单入门示例 dcj3sjt126com PHP Excel phpexcel
<?php error_reporting(E_ALL); ini_set('display_errors', TRUE); ini_set('display_startup_errors', TRUE); if (PHP_SAPI == 'cli') die('This example should only be run from a Web Brows
美国电影超短200句 dcj3sjt126com 电影
1. I see．我明白了。2. I quit! 我不干了!3. Let go! 放手!4. Me too．我也是。5. My god! 天哪!6. No way! 不行!7. Come on．来吧(赶快)8. Hold on．等一等。9. I agree。我同意。10. Not bad．还不错。11. Not yet．还没。12. See you．再见。13. Shut up!
Java访问远程服务 dyy_gusi httpclient webservice get post
随着webService的崛起，我们开始中会越来越多的使用到访问远程webService服务。当然对于不同的webService框架一般都有自己的client包供使用，但是如果使用webService框架自己的client包，那么必然需要在自己的代码中引入它的包，如果同时调运了多个不同框架的webService，那么就需要同时引入多个不同的clien
Maven的settings.xml配置 geeksun settings.xml
settings.xml是Maven的配置文件，下面解释一下其中的配置含义： settings.xml存在于两个地方： 1.安装的地方：$M2_HOME/conf/settings.xml 2.用户的目录：${user.home}/.m2/settings.xml 前者又被叫做全局配置，后者被称为用户配置。如果两者都存在，它们的内容将被合并，并且用户范围的settings.xml优先。
ubuntu的init与系统服务设置 hongtoushizi ubuntu
转载自： http://iysm.net/?p=178 init Init是位于/sbin/init的一个程序，它是在linux下，在系统启动过程中，初始化所有的设备驱动程序和数据结构等之后，由内核启动的一个用户级程序，并由此init程序进而完成系统的启动过程。 ubuntu与传统的linux略有不同，使用upstart完成系统的启动，但表面上仍维持init程序的形式。运行
跟我学Nginx+Lua开发目录贴 jinnianshilongnian nginx lua
使用Nginx+Lua开发近一年的时间，学习和实践了一些Nginx+Lua开发的架构，为了让更多人使用Nginx+Lua架构开发，利用春节期间总结了一份基本的学习教程，希望对大家有用。也欢迎谈探讨学习一些经验。目录第一章安装Nginx+Lua开发环境第二章 Nginx+Lua开发入门第三章 Redis/SSDB+Twemproxy安装与使用第四章 L
php位运算符注意事项 home198979 位运算 PHP &
$a = $b = $c = 0; $a & $b = 1; $b | $c = 1 问a,b,c最终为多少? 当看到这题时，我犯了一个低级错误，误以为位运算符会改变变量的值。所以得出结果是1 1 0 但是位运算符是不会改变变量的值的，例如： $a=1;$b=2; $a&$b; 这样a,b的值不会有任何改变
Linux shell数组建立和使用技巧 pda158 linux
1.数组定义　　[chengmo@centos5 ~]$ a=(1 2 3 4 5) 　　[chengmo@centos5 ~]$ echo $a 　　1 　　一对括号表示是数组，数组元素用“空格”符号分割开。　　 2.数组读取与赋值　　得到长度：　　[chengmo@centos5 ~]$ echo ${#a[@]} 　　5 　　用${#数组名[@或
hotspot源码(JDK7) ol_beta java HotSpot jvm
源码结构图，方便理解： ├─agent Serviceab
Oracle基本事务和ForAll执行批量DML练习 vipbooks oracle sql
基本事务的使用：从账户一的余额中转100到账户二的余额中去，如果账户二不存在或账户一中的余额不足100则整笔交易回滚 select * from account; -- 创建一张账户表 create table account( -- 账户ID id number(3) not null, -- 账户名称 nam