alphaTao

ImageAI (四) 使用Python快速简单实现自定义预测模型的训练 Custom Model Training

已经讲解了ImageAI实现图片预测，功能物体检测以及视频中物体检测。

同样，仅需几行主体代码就能完成自定义模型的预测。（这里主要介绍过程）
ImageAI github地址
准备工作以及ImageAI的安装见图片预测 ImageAI (一)
物体检测 ImageAI (二)
视频中物体检测 ImageAI (三)

Custom Model Training

与之前类似，ImageAI提供了4种算法（ SqueezeNet，ResNet，InceptionV3 和 DenseNet）可用于自定义预测模型的训练。
这里会使用ResNet

自定义预测模型需要准备训练数据（这里使用了IMAGEAI提供的IdenProf数据集包含了十种不同专业的工作人员）
数据结构如下

==IdenProf
	==test
		==chef
			->chef-1...
		==doctor
			->doctor-1...
		...
	==train
		==chef
			->chef-1...
		==doctor
			->doctor-1...

代码中提供的地址已经无法下载到数据新地址为：https://github.com/OlafenwaMoses/IdenProf/releases
下载后可自行解压并使用其中的数据
下述代码中只挑选了三类数据由于机子性能不足仅做示范

代码如下

from io import open
import requests
import shutil
from zipfile import ZipFile
import os
from imageai.Prediction.Custom import ModelTraining
#导入ModelTraining类

##############################################################################
#############################以下为数据加载处理################################
execution_path = os.getcwd()

TRAIN_ZIP_ONE = os.path.join(execution_path, "idenprof-train1.zip")
TRAIN_ZIP_TWO = os.path.join(execution_path, "idenprof-train2.zip")
TEST_ZIP = os.path.join(execution_path, "idenprof-test.zip")


DATASET_DIR = os.path.join(execution_path, "idenprof")
DATASET_TRAIN_DIR = os.path.join(DATASET_DIR, "train")
DATASET_TEST_DIR = os.path.join(DATASET_DIR, "test")


if(os.path.exists(DATASET_DIR) == False):
    os.mkdir(DATASET_DIR)
if(os.path.exists(DATASET_TRAIN_DIR) == False):
    os.mkdir(DATASET_TRAIN_DIR)
if(os.path.exists(DATASET_TEST_DIR) == False):
    os.mkdir(DATASET_TEST_DIR)


if(len(os.listdir(DATASET_TRAIN_DIR)) < 3):
    if(os.path.exists(TRAIN_ZIP_ONE) == False):
        print("Downloading idenprof-train1.zip")
        data = requests.get("https://github.com/OlafenwaMoses/IdenProf/releases/download/v1.0/idenprof-train1.zip", stream = True)
        with open(TRAIN_ZIP_ONE, "wb") as file:
            shutil.copyfileobj(data.raw, file)
            del data
    if (os.path.exists(TRAIN_ZIP_TWO) == False):
        print("Downloading idenprof-train2.zip")
        data = requests.get("https://github.com/OlafenwaMoses/IdenProf/releases/download/v1.0/idenprof-train2.zip", stream=True)
        with open(TRAIN_ZIP_TWO, "wb") as file:
            shutil.copyfileobj(data.raw, file)
            del data
    print("Extracting idenprof-train1.zip")
    extract1 = ZipFile(TRAIN_ZIP_ONE)
    extract1.extractall(DATASET_TRAIN_DIR)
    extract1.close()
    print("Extracting idenprof-train2.zip")
    extract2 = ZipFile(TRAIN_ZIP_TWO)
    extract2.extractall(DATASET_TRAIN_DIR)
    extract2.close()


if(len(os.listdir(DATASET_TEST_DIR)) < 3):
    if (os.path.exists(TEST_ZIP) == False):
        print("Downloading idenprof-test.zip")
        data = requests.get("https://github.com/OlafenwaMoses/IdenProf/releases/download/v1.0/idenprof-test.zip", stream=True)
        with open(TEST_ZIP, "wb") as file:
            shutil.copyfileobj(data.raw, file)
            del data
    print("Extracting idenprof-test.zip")
    extract = ZipFile(TEST_ZIP)
    extract.extractall(DATASET_TEST_DIR)
    extract.close()

####################上面为训练及测试数据的处理##################################
##############################################################################


model_trainer = ModelTraining()
#创建ModelTraining类实例

model_trainer.setModelTypeAsResNet()
#将模型类型设置为ResNet  也可以使用其他模型
#setModelTypeAsSqueezeNet()
#setModelTypeAsInceptionV3()
#setModelTypeAsDenseNet()

model_trainer.setDataDirectory(DATASET_DIR)
#设置训练数据集路径

model_trainer.trainModel(num_objects=3, num_experiments=10, enhance_data=True, batch_size=32, show_network_summary=True)
#训练模型 并设置参数 详见说明

参数设置说明

num_objects 指定图像数据集中对象的数量及图像的种类（简单起见这里只用了三类）
num_experiments 图像训练的次数 epochs
enhance_data（可选）指定是否生成训练图像副本从而得到更好的性能
batch_size 批次处理每批数量
show_network_summary 是否在控制台中显示训练的过程

运行结果

首先展示了模型的结构然后是训练的结果

__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_2 (InputLayer)            (None, 224, 224, 3)  0                                            
__________________________________________________________________________________________________
conv2d_54 (Conv2D)              (None, 112, 112, 64) 9472        input_2[0][0]                    
__________________________________________________________________________________________________
batch_normalization_54 (BatchNo (None, 112, 112, 64) 256         conv2d_54[0][0]                  
__________________________________________________________________________________________________
activation_51 (Activation)      (None, 112, 112, 64) 0           batch_normalization_54[0][0]     
__________________________________________________________________________________________________
max_pooling2d_2 (MaxPooling2D)  (None, 55, 55, 64)   0           activation_51[0][0]              
__________________________________________________________________________________________________
conv2d_56 (Conv2D)              (None, 55, 55, 64)   4160        max_pooling2d_2[0][0]            
__________________________________________________________________________________________________
batch_normalization_56 (BatchNo (None, 55, 55, 64)   256         conv2d_56[0][0]                  
__________________________________________________________________________________________________
activation_52 (Activation)      (None, 55, 55, 64)   0           batch_normalization_56[0][0]     
__________________________________________________________________________________________________
conv2d_57 (Conv2D)              (None, 55, 55, 64)   36928       activation_52[0][0]              
__________________________________________________________________________________________________
batch_normalization_57 (BatchNo (None, 55, 55, 64)   256         conv2d_57[0][0]                  
__________________________________________________________________________________________________
activation_53 (Activation)      (None, 55, 55, 64)   0           batch_normalization_57[0][0]     
__________________________________________________________________________________________________
conv2d_58 (Conv2D)              (None, 55, 55, 256)  16640       activation_53[0][0]              
__________________________________________________________________________________________________
conv2d_55 (Conv2D)              (None, 55, 55, 256)  16640       max_pooling2d_2[0][0]            
__________________________________________________________________________________________________
batch_normalization_58 (BatchNo (None, 55, 55, 256)  1024        conv2d_58[0][0]                  
__________________________________________________________________________________________________
batch_normalization_55 (BatchNo (None, 55, 55, 256)  1024        conv2d_55[0][0]                  
__________________________________________________________________________________________________
add_17 (Add)                    (None, 55, 55, 256)  0           batch_normalization_58[0][0]     
                                                                 batch_normalization_55[0][0]     
__________________________________________________________________________________________________
activation_54 (Activation)      (None, 55, 55, 256)  0           add_17[0][0]                     
__________________________________________________________________________________________________
conv2d_59 (Conv2D)              (None, 55, 55, 64)   16448       activation_54[0][0]              
__________________________________________________________________________________________________
batch_normalization_59 (BatchNo (None, 55, 55, 64)   256         conv2d_59[0][0]                  
__________________________________________________________________________________________________
activation_55 (Activation)      (None, 55, 55, 64)   0           batch_normalization_59[0][0]     
__________________________________________________________________________________________________
conv2d_60 (Conv2D)              (None, 55, 55, 64)   36928       activation_55[0][0]              
__________________________________________________________________________________________________
batch_normalization_60 (BatchNo (None, 55, 55, 64)   256         conv2d_60[0][0]                  
__________________________________________________________________________________________________
activation_56 (Activation)      (None, 55, 55, 64)   0           batch_normalization_60[0][0]     
__________________________________________________________________________________________________
conv2d_61 (Conv2D)              (None, 55, 55, 256)  16640       activation_56[0][0]              
__________________________________________________________________________________________________
batch_normalization_61 (BatchNo (None, 55, 55, 256)  1024        conv2d_61[0][0]                  
__________________________________________________________________________________________________
add_18 (Add)                    (None, 55, 55, 256)  0           batch_normalization_61[0][0]     
                                                                 activation_54[0][0]              
__________________________________________________________________________________________________
activation_57 (Activation)      (None, 55, 55, 256)  0           add_18[0][0]                     
__________________________________________________________________________________________________
conv2d_62 (Conv2D)              (None, 55, 55, 64)   16448       activation_57[0][0]              
__________________________________________________________________________________________________
batch_normalization_62 (BatchNo (None, 55, 55, 64)   256         conv2d_62[0][0]                  
__________________________________________________________________________________________________
activation_58 (Activation)      (None, 55, 55, 64)   0           batch_normalization_62[0][0]     
__________________________________________________________________________________________________
conv2d_63 (Conv2D)              (None, 55, 55, 64)   36928       activation_58[0][0]              
__________________________________________________________________________________________________
batch_normalization_63 (BatchNo (None, 55, 55, 64)   256         conv2d_63[0][0]                  
__________________________________________________________________________________________________
activation_59 (Activation)      (None, 55, 55, 64)   0           batch_normalization_63[0][0]     
__________________________________________________________________________________________________
conv2d_64 (Conv2D)              (None, 55, 55, 256)  16640       activation_59[0][0]              
__________________________________________________________________________________________________
batch_normalization_64 (BatchNo (None, 55, 55, 256)  1024        conv2d_64[0][0]                  
__________________________________________________________________________________________________
add_19 (Add)                    (None, 55, 55, 256)  0           batch_normalization_64[0][0]     
                                                                 activation_57[0][0]              
__________________________________________________________________________________________________
activation_60 (Activation)      (None, 55, 55, 256)  0           add_19[0][0]                     
__________________________________________________________________________________________________
conv2d_66 (Conv2D)              (None, 28, 28, 128)  32896       activation_60[0][0]              
__________________________________________________________________________________________________
batch_normalization_66 (BatchNo (None, 28, 28, 128)  512         conv2d_66[0][0]                  
__________________________________________________________________________________________________
activation_61 (Activation)      (None, 28, 28, 128)  0           batch_normalization_66[0][0]     
__________________________________________________________________________________________________
conv2d_67 (Conv2D)              (None, 28, 28, 128)  147584      activation_61[0][0]              
__________________________________________________________________________________________________
batch_normalization_67 (BatchNo (None, 28, 28, 128)  512         conv2d_67[0][0]                  
__________________________________________________________________________________________________
activation_62 (Activation)      (None, 28, 28, 128)  0           batch_normalization_67[0][0]     
__________________________________________________________________________________________________
conv2d_68 (Conv2D)              (None, 28, 28, 512)  66048       activation_62[0][0]              
__________________________________________________________________________________________________
conv2d_65 (Conv2D)              (None, 28, 28, 512)  131584      activation_60[0][0]              
__________________________________________________________________________________________________
batch_normalization_68 (BatchNo (None, 28, 28, 512)  2048        conv2d_68[0][0]                  
__________________________________________________________________________________________________
batch_normalization_65 (BatchNo (None, 28, 28, 512)  2048        conv2d_65[0][0]                  
__________________________________________________________________________________________________
add_20 (Add)                    (None, 28, 28, 512)  0           batch_normalization_68[0][0]     
                                                                 batch_normalization_65[0][0]     
__________________________________________________________________________________________________
activation_63 (Activation)      (None, 28, 28, 512)  0           add_20[0][0]                     
__________________________________________________________________________________________________
conv2d_69 (Conv2D)              (None, 28, 28, 128)  65664       activation_63[0][0]              
__________________________________________________________________________________________________
batch_normalization_69 (BatchNo (None, 28, 28, 128)  512         conv2d_69[0][0]                  
__________________________________________________________________________________________________
activation_64 (Activation)      (None, 28, 28, 128)  0           batch_normalization_69[0][0]     
__________________________________________________________________________________________________
conv2d_70 (Conv2D)              (None, 28, 28, 128)  147584      activation_64[0][0]              
__________________________________________________________________________________________________
batch_normalization_70 (BatchNo (None, 28, 28, 128)  512         conv2d_70[0][0]                  
__________________________________________________________________________________________________
activation_65 (Activation)      (None, 28, 28, 128)  0           batch_normalization_70[0][0]     
__________________________________________________________________________________________________
conv2d_71 (Conv2D)              (None, 28, 28, 512)  66048       activation_65[0][0]              
__________________________________________________________________________________________________
batch_normalization_71 (BatchNo (None, 28, 28, 512)  2048        conv2d_71[0][0]                  
__________________________________________________________________________________________________
add_21 (Add)                    (None, 28, 28, 512)  0           batch_normalization_71[0][0]     
                                                                 activation_63[0][0]              
__________________________________________________________________________________________________
activation_66 (Activation)      (None, 28, 28, 512)  0           add_21[0][0]                     
__________________________________________________________________________________________________
conv2d_72 (Conv2D)              (None, 28, 28, 128)  65664       activation_66[0][0]              
__________________________________________________________________________________________________
batch_normalization_72 (BatchNo (None, 28, 28, 128)  512         conv2d_72[0][0]                  
__________________________________________________________________________________________________
activation_67 (Activation)      (None, 28, 28, 128)  0           batch_normalization_72[0][0]     
__________________________________________________________________________________________________
conv2d_73 (Conv2D)              (None, 28, 28, 128)  147584      activation_67[0][0]              
__________________________________________________________________________________________________
batch_normalization_73 (BatchNo (None, 28, 28, 128)  512         conv2d_73[0][0]                  
__________________________________________________________________________________________________
activation_68 (Activation)      (None, 28, 28, 128)  0           batch_normalization_73[0][0]     
__________________________________________________________________________________________________
conv2d_74 (Conv2D)              (None, 28, 28, 512)  66048       activation_68[0][0]              
__________________________________________________________________________________________________
batch_normalization_74 (BatchNo (None, 28, 28, 512)  2048        conv2d_74[0][0]                  
__________________________________________________________________________________________________
add_22 (Add)                    (None, 28, 28, 512)  0           batch_normalization_74[0][0]     
                                                                 activation_66[0][0]              
__________________________________________________________________________________________________
activation_69 (Activation)      (None, 28, 28, 512)  0           add_22[0][0]                     
__________________________________________________________________________________________________
conv2d_75 (Conv2D)              (None, 28, 28, 128)  65664       activation_69[0][0]              
__________________________________________________________________________________________________
batch_normalization_75 (BatchNo (None, 28, 28, 128)  512         conv2d_75[0][0]                  
__________________________________________________________________________________________________
activation_70 (Activation)      (None, 28, 28, 128)  0           batch_normalization_75[0][0]     
__________________________________________________________________________________________________
conv2d_76 (Conv2D)              (None, 28, 28, 128)  147584      activation_70[0][0]              
__________________________________________________________________________________________________
batch_normalization_76 (BatchNo (None, 28, 28, 128)  512         conv2d_76[0][0]                  
__________________________________________________________________________________________________
activation_71 (Activation)      (None, 28, 28, 128)  0           batch_normalization_76[0][0]     
__________________________________________________________________________________________________
conv2d_77 (Conv2D)              (None, 28, 28, 512)  66048       activation_71[0][0]              
__________________________________________________________________________________________________
batch_normalization_77 (BatchNo (None, 28, 28, 512)  2048        conv2d_77[0][0]                  
__________________________________________________________________________________________________
add_23 (Add)                    (None, 28, 28, 512)  0           batch_normalization_77[0][0]     
                                                                 activation_69[0][0]              
__________________________________________________________________________________________________
activation_72 (Activation)      (None, 28, 28, 512)  0           add_23[0][0]                     
__________________________________________________________________________________________________
conv2d_79 (Conv2D)              (None, 14, 14, 256)  131328      activation_72[0][0]              
__________________________________________________________________________________________________
batch_normalization_79 (BatchNo (None, 14, 14, 256)  1024        conv2d_79[0][0]                  
__________________________________________________________________________________________________
activation_73 (Activation)      (None, 14, 14, 256)  0           batch_normalization_79[0][0]     
__________________________________________________________________________________________________
conv2d_80 (Conv2D)              (None, 14, 14, 256)  590080      activation_73[0][0]              
__________________________________________________________________________________________________
batch_normalization_80 (BatchNo (None, 14, 14, 256)  1024        conv2d_80[0][0]                  
__________________________________________________________________________________________________
activation_74 (Activation)      (None, 14, 14, 256)  0           batch_normalization_80[0][0]     
__________________________________________________________________________________________________
conv2d_81 (Conv2D)              (None, 14, 14, 1024) 263168      activation_74[0][0]              
__________________________________________________________________________________________________
conv2d_78 (Conv2D)              (None, 14, 14, 1024) 525312      activation_72[0][0]              
__________________________________________________________________________________________________
batch_normalization_81 (BatchNo (None, 14, 14, 1024) 4096        conv2d_81[0][0]                  
__________________________________________________________________________________________________
batch_normalization_78 (BatchNo (None, 14, 14, 1024) 4096        conv2d_78[0][0]                  
__________________________________________________________________________________________________
add_24 (Add)                    (None, 14, 14, 1024) 0           batch_normalization_81[0][0]     
                                                                 batch_normalization_78[0][0]     
__________________________________________________________________________________________________
activation_75 (Activation)      (None, 14, 14, 1024) 0           add_24[0][0]                     
__________________________________________________________________________________________________
conv2d_82 (Conv2D)              (None, 14, 14, 256)  262400      activation_75[0][0]              
__________________________________________________________________________________________________
batch_normalization_82 (BatchNo (None, 14, 14, 256)  1024        conv2d_82[0][0]                  
__________________________________________________________________________________________________
activation_76 (Activation)      (None, 14, 14, 256)  0           batch_normalization_82[0][0]     
__________________________________________________________________________________________________
conv2d_83 (Conv2D)              (None, 14, 14, 256)  590080      activation_76[0][0]              
__________________________________________________________________________________________________
batch_normalization_83 (BatchNo (None, 14, 14, 256)  1024        conv2d_83[0][0]                  
__________________________________________________________________________________________________
activation_77 (Activation)      (None, 14, 14, 256)  0           batch_normalization_83[0][0]     
__________________________________________________________________________________________________
conv2d_84 (Conv2D)              (None, 14, 14, 1024) 263168      activation_77[0][0]              
__________________________________________________________________________________________________
batch_normalization_84 (BatchNo (None, 14, 14, 1024) 4096        conv2d_84[0][0]                  
__________________________________________________________________________________________________
add_25 (Add)                    (None, 14, 14, 1024) 0           batch_normalization_84[0][0]     
                                                                 activation_75[0][0]              
__________________________________________________________________________________________________
activation_78 (Activation)      (None, 14, 14, 1024) 0           add_25[0][0]                     
__________________________________________________________________________________________________
conv2d_85 (Conv2D)              (None, 14, 14, 256)  262400      activation_78[0][0]              
__________________________________________________________________________________________________
batch_normalization_85 (BatchNo (None, 14, 14, 256)  1024        conv2d_85[0][0]                  
__________________________________________________________________________________________________
activation_79 (Activation)      (None, 14, 14, 256)  0           batch_normalization_85[0][0]     
__________________________________________________________________________________________________
conv2d_86 (Conv2D)              (None, 14, 14, 256)  590080      activation_79[0][0]              
__________________________________________________________________________________________________
batch_normalization_86 (BatchNo (None, 14, 14, 256)  1024        conv2d_86[0][0]                  
__________________________________________________________________________________________________
activation_80 (Activation)      (None, 14, 14, 256)  0           batch_normalization_86[0][0]     
__________________________________________________________________________________________________
conv2d_87 (Conv2D)              (None, 14, 14, 1024) 263168      activation_80[0][0]              
__________________________________________________________________________________________________
batch_normalization_87 (BatchNo (None, 14, 14, 1024) 4096        conv2d_87[0][0]                  
__________________________________________________________________________________________________
add_26 (Add)                    (None, 14, 14, 1024) 0           batch_normalization_87[0][0]     
                                                                 activation_78[0][0]              
__________________________________________________________________________________________________
activation_81 (Activation)      (None, 14, 14, 1024) 0           add_26[0][0]                     
__________________________________________________________________________________________________
conv2d_88 (Conv2D)              (None, 14, 14, 256)  262400      activation_81[0][0]              
__________________________________________________________________________________________________
batch_normalization_88 (BatchNo (None, 14, 14, 256)  1024        conv2d_88[0][0]                  
__________________________________________________________________________________________________
activation_82 (Activation)      (None, 14, 14, 256)  0           batch_normalization_88[0][0]     
__________________________________________________________________________________________________
conv2d_89 (Conv2D)              (None, 14, 14, 256)  590080      activation_82[0][0]              
__________________________________________________________________________________________________
batch_normalization_89 (BatchNo (None, 14, 14, 256)  1024        conv2d_89[0][0]                  
__________________________________________________________________________________________________
activation_83 (Activation)      (None, 14, 14, 256)  0           batch_normalization_89[0][0]     
__________________________________________________________________________________________________
conv2d_90 (Conv2D)              (None, 14, 14, 1024) 263168      activation_83[0][0]              
__________________________________________________________________________________________________
batch_normalization_90 (BatchNo (None, 14, 14, 1024) 4096        conv2d_90[0][0]                  
__________________________________________________________________________________________________
add_27 (Add)                    (None, 14, 14, 1024) 0           batch_normalization_90[0][0]     
                                                                 activation_81[0][0]              
__________________________________________________________________________________________________
activation_84 (Activation)      (None, 14, 14, 1024) 0           add_27[0][0]                     
__________________________________________________________________________________________________
conv2d_91 (Conv2D)              (None, 14, 14, 256)  262400      activation_84[0][0]              
__________________________________________________________________________________________________
batch_normalization_91 (BatchNo (None, 14, 14, 256)  1024        conv2d_91[0][0]                  
__________________________________________________________________________________________________
activation_85 (Activation)      (None, 14, 14, 256)  0           batch_normalization_91[0][0]     
__________________________________________________________________________________________________
conv2d_92 (Conv2D)              (None, 14, 14, 256)  590080      activation_85[0][0]              
__________________________________________________________________________________________________
batch_normalization_92 (BatchNo (None, 14, 14, 256)  1024        conv2d_92[0][0]                  
__________________________________________________________________________________________________
activation_86 (Activation)      (None, 14, 14, 256)  0           batch_normalization_92[0][0]     
__________________________________________________________________________________________________
conv2d_93 (Conv2D)              (None, 14, 14, 1024) 263168      activation_86[0][0]              
__________________________________________________________________________________________________
batch_normalization_93 (BatchNo (None, 14, 14, 1024) 4096        conv2d_93[0][0]                  
__________________________________________________________________________________________________
add_28 (Add)                    (None, 14, 14, 1024) 0           batch_normalization_93[0][0]     
                                                                 activation_84[0][0]              
__________________________________________________________________________________________________
activation_87 (Activation)      (None, 14, 14, 1024) 0           add_28[0][0]                     
__________________________________________________________________________________________________
conv2d_94 (Conv2D)              (None, 14, 14, 256)  262400      activation_87[0][0]              
__________________________________________________________________________________________________
batch_normalization_94 (BatchNo (None, 14, 14, 256)  1024        conv2d_94[0][0]                  
__________________________________________________________________________________________________
activation_88 (Activation)      (None, 14, 14, 256)  0           batch_normalization_94[0][0]     
__________________________________________________________________________________________________
conv2d_95 (Conv2D)              (None, 14, 14, 256)  590080      activation_88[0][0]              
__________________________________________________________________________________________________
batch_normalization_95 (BatchNo (None, 14, 14, 256)  1024        conv2d_95[0][0]                  
__________________________________________________________________________________________________
activation_89 (Activation)      (None, 14, 14, 256)  0           batch_normalization_95[0][0]     
__________________________________________________________________________________________________
conv2d_96 (Conv2D)              (None, 14, 14, 1024) 263168      activation_89[0][0]              
__________________________________________________________________________________________________
batch_normalization_96 (BatchNo (None, 14, 14, 1024) 4096        conv2d_96[0][0]                  
__________________________________________________________________________________________________
add_29 (Add)                    (None, 14, 14, 1024) 0           batch_normalization_96[0][0]     
                                                                 activation_87[0][0]              
__________________________________________________________________________________________________
activation_90 (Activation)      (None, 14, 14, 1024) 0           add_29[0][0]                     
__________________________________________________________________________________________________
conv2d_98 (Conv2D)              (None, 7, 7, 512)    524800      activation_90[0][0]              
__________________________________________________________________________________________________
batch_normalization_98 (BatchNo (None, 7, 7, 512)    2048        conv2d_98[0][0]                  
__________________________________________________________________________________________________
activation_91 (Activation)      (None, 7, 7, 512)    0           batch_normalization_98[0][0]     
__________________________________________________________________________________________________
conv2d_99 (Conv2D)              (None, 7, 7, 512)    2359808     activation_91[0][0]              
__________________________________________________________________________________________________
batch_normalization_99 (BatchNo (None, 7, 7, 512)    2048        conv2d_99[0][0]                  
__________________________________________________________________________________________________
activation_92 (Activation)      (None, 7, 7, 512)    0           batch_normalization_99[0][0]     
__________________________________________________________________________________________________
conv2d_100 (Conv2D)             (None, 7, 7, 2048)   1050624     activation_92[0][0]              
__________________________________________________________________________________________________
conv2d_97 (Conv2D)              (None, 7, 7, 2048)   2099200     activation_90[0][0]              
__________________________________________________________________________________________________
batch_normalization_100 (BatchN (None, 7, 7, 2048)   8192        conv2d_100[0][0]                 
__________________________________________________________________________________________________
batch_normalization_97 (BatchNo (None, 7, 7, 2048)   8192        conv2d_97[0][0]                  
__________________________________________________________________________________________________
add_30 (Add)                    (None, 7, 7, 2048)   0           batch_normalization_100[0][0]    
                                                                 batch_normalization_97[0][0]     
__________________________________________________________________________________________________
activation_93 (Activation)      (None, 7, 7, 2048)   0           add_30[0][0]                     
__________________________________________________________________________________________________
conv2d_101 (Conv2D)             (None, 7, 7, 512)    1049088     activation_93[0][0]              
__________________________________________________________________________________________________
batch_normalization_101 (BatchN (None, 7, 7, 512)    2048        conv2d_101[0][0]                 
__________________________________________________________________________________________________
activation_94 (Activation)      (None, 7, 7, 512)    0           batch_normalization_101[0][0]    
__________________________________________________________________________________________________
conv2d_102 (Conv2D)             (None, 7, 7, 512)    2359808     activation_94[0][0]              
__________________________________________________________________________________________________
batch_normalization_102 (BatchN (None, 7, 7, 512)    2048        conv2d_102[0][0]                 
__________________________________________________________________________________________________
activation_95 (Activation)      (None, 7, 7, 512)    0           batch_normalization_102[0][0]    
__________________________________________________________________________________________________
conv2d_103 (Conv2D)             (None, 7, 7, 2048)   1050624     activation_95[0][0]              
__________________________________________________________________________________________________
batch_normalization_103 (BatchN (None, 7, 7, 2048)   8192        conv2d_103[0][0]                 
__________________________________________________________________________________________________
add_31 (Add)                    (None, 7, 7, 2048)   0           batch_normalization_103[0][0]    
                                                                 activation_93[0][0]              
__________________________________________________________________________________________________
activation_96 (Activation)      (None, 7, 7, 2048)   0           add_31[0][0]                     
__________________________________________________________________________________________________
conv2d_104 (Conv2D)             (None, 7, 7, 512)    1049088     activation_96[0][0]              
__________________________________________________________________________________________________
batch_normalization_104 (BatchN (None, 7, 7, 512)    2048        conv2d_104[0][0]                 
__________________________________________________________________________________________________
activation_97 (Activation)      (None, 7, 7, 512)    0           batch_normalization_104[0][0]    
__________________________________________________________________________________________________
conv2d_105 (Conv2D)             (None, 7, 7, 512)    2359808     activation_97[0][0]              
__________________________________________________________________________________________________
batch_normalization_105 (BatchN (None, 7, 7, 512)    2048        conv2d_105[0][0]                 
__________________________________________________________________________________________________
activation_98 (Activation)      (None, 7, 7, 512)    0           batch_normalization_105[0][0]    
__________________________________________________________________________________________________
conv2d_106 (Conv2D)             (None, 7, 7, 2048)   1050624     activation_98[0][0]              
__________________________________________________________________________________________________
batch_normalization_106 (BatchN (None, 7, 7, 2048)   8192        conv2d_106[0][0]                 
__________________________________________________________________________________________________
add_32 (Add)                    (None, 7, 7, 2048)   0           batch_normalization_106[0][0]    
                                                                 activation_96[0][0]              
__________________________________________________________________________________________________
activation_99 (Activation)      (None, 7, 7, 2048)   0           add_32[0][0]                     
__________________________________________________________________________________________________
global_avg_pooling (GlobalAvera (None, 2048)         0           activation_99[0][0]              
__________________________________________________________________________________________________
dense_2 (Dense)                 (None, 3)            6147        global_avg_pooling[0][0]         
__________________________________________________________________________________________________
activation_100 (Activation)     (None, 3)            0           dense_2[0][0]                    
==================================================================================================
Total params: 23,593,859
Trainable params: 23,540,739
Non-trainable params: 53,120
__________________________________________________________________________________________________
Using Enhanced Data Generation
Found 300 images belonging to 3 classes.
Found 120 images belonging to 3 classes.
JSON Mapping for the model classes saved to  F:\nn\OlafenwaMoses\customModelTraining\idenprof\json\model_class.json
Number of experiments (Epochs) :  10
Epoch 1/10
8/9 [=========================>....] - ETA: 52s - loss: 1.9142 - acc: 0.3464 
Epoch 00001: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-001_acc-0.354167.h5
9/9 [==============================] - 533s 59s/step - loss: 1.8041 - acc: 0.3671 - val_loss: 9.9489 - val_acc: 0.3542
Epoch 2/10
8/9 [=========================>....] - ETA: 56s - loss: 1.2488 - acc: 0.5117 
Epoch 00002: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-002_acc-0.322917.h5
9/9 [==============================] - 549s 61s/step - loss: 1.2566 - acc: 0.5019 - val_loss: 1.1253 - val_acc: 0.3229
Epoch 3/10
8/9 [=========================>....] - ETA: 52s - loss: 1.3101 - acc: 0.4570 
Epoch 00003: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-003_acc-0.322917.h5
9/9 [==============================] - 517s 57s/step - loss: 1.3536 - acc: 0.4545 - val_loss: 1.2735 - val_acc: 0.3229
Epoch 4/10
8/9 [=========================>....] - ETA: 56s - loss: 1.1787 - acc: 0.4531 
Epoch 00004: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-004_acc-0.302083.h5
9/9 [==============================] - 550s 61s/step - loss: 1.1517 - acc: 0.4792 - val_loss: 1.4054 - val_acc: 0.3021
Epoch 5/10
8/9 [=========================>....] - ETA: 47s - loss: 1.0439 - acc: 0.5065 
Epoch 00005: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-005_acc-0.302083.h5
9/9 [==============================] - 468s 52s/step - loss: 1.0489 - acc: 0.5072 - val_loss: 1.6589 - val_acc: 0.3021
Epoch 6/10
8/9 [=========================>....] - ETA: 55s - loss: 1.0135 - acc: 0.5586 
Epoch 00006: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-006_acc-0.302083.h5
9/9 [==============================] - 546s 61s/step - loss: 1.0391 - acc: 0.5625 - val_loss: 1.5787 - val_acc: 0.3021
Epoch 7/10
8/9 [=========================>....] - ETA: 50s - loss: 1.1323 - acc: 0.4935 
Epoch 00007: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-007_acc-0.302083.h5
9/9 [==============================] - 498s 55s/step - loss: 1.1025 - acc: 0.4967 - val_loss: 1.5267 - val_acc: 0.3021
Epoch 8/10
8/9 [=========================>....] - ETA: 51s - loss: 1.1020 - acc: 0.5195 
Epoch 00008: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-008_acc-0.302083.h5
9/9 [==============================] - 508s 56s/step - loss: 1.0763 - acc: 0.5315 - val_loss: 1.4837 - val_acc: 0.3021
Epoch 9/10
8/9 [=========================>....] - ETA: 52s - loss: 0.9851 - acc: 0.4648 
Epoch 00009: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-009_acc-0.302083.h5
9/9 [==============================] - 513s 57s/step - loss: 0.9761 - acc: 0.4879 - val_loss: 1.4427 - val_acc: 0.3021
Epoch 10/10
8/9 [=========================>....] - ETA: 51s - loss: 1.0747 - acc: 0.4961 
Epoch 00010: saving model to F:\nn\OlafenwaMoses\customModelTraining\idenprof\models\model_ex-010_acc-0.302083.h5
9/9 [==============================] - 507s 56s/step - loss: 1.0479 - acc: 0.5035 - val_loss: 1.4121 - val_acc: 0.3021

以上结果由于训练数量少次数少所以结果很差仅做参考

Idenprof图像数据集以及示例代码：链接: https://pan.baidu.com/s/1vHXNDaSugbGjMaWWratQqA 提取码: x8m7

有任何问题欢迎留言讨论。

你可能感兴趣的:(MachineLearning)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
联邦学习 Federated learning Google I/O‘19 笔记努力搬砖的星期五笔记联邦学习机器学习机器学习 tensorflow
FederatedLearning:MachineLearningonDecentralizeddatahttps://www.youtube.com/watch?v=89BGjQYA0uE文章目录FederatedLearning:MachineLearningonDecentralizeddata1.DecentralizeddataEdgedevicesGboard:mobilekeyboa
【ShuQiHere】探索人工智能核心：机器学习的奥秘 ShuQiHere 人工智能机器学习
【ShuQiHere】什么是机器学习？机器学习（MachineLearning,ML）是人工智能（ArtificialIntelligence,AI）中最关键的组成部分之一。它使得计算机不仅能够处理数据，还能从数据中学习，从而做出预测和决策。无论是语音识别、自动驾驶还是推荐系统，背后都依赖于机器学习模型。机器学习与传统的编程不同，它不再依赖于人类编写的固定规则，而是通过数据自我改进模型，从而更灵活
机器学习 VS 表示学习 VS 深度学习 Efred.D 人工智能机器学习深度学习人工智能
文章目录前言一、机器学习是什么?二、表示学习三、深度学习总结前言本文主要阐述机器学习,表示学习和深度学习的原理和区别.一、机器学习是什么?机器学习(machinelearning),是从有限的数据集中学习到一定的规律,再把学到的规律应用到一些相似的样本集中做预测.机器学习的历史可以追溯到20世纪40年代McCulloch提出的人工神经元网络,目前学界大致把机器学习分为传统机器学习和机器学习两个类别
【python】【Ray的概述】资源存储库 python 开发语言
Overview概述Rayisanopen-sourceunifiedframeworkforscalingAIandPythonapplicationslikemachinelearning.Itprovidesthecomputelayerforparallelprocessingsothatyoudon’tneedtobeadistributedsystemsexpert.Rayminimi
2021-03-31 每日打卡来多喜
昨日完成情况：1.6k散步，❌帕梅拉（我好懒）2.思维导图，statistical和machinelearning,先快速看一遍中文版，然后细看英文版.太多了，感觉在面试前看不完。决定集中精力讲清楚简历的内容。3.工作kki+myhabeats+handover。kki可以制作dataflow了，有了ga和publihser数据。myhabeatsremarketingaudience遇到困难。感
面向可信和节能的雾计算医疗决策支持系统的优化微型机器学习与可解释人工智能神一样的老师论文阅读分享人工智能
这篇论文的标题为《OptimizedTinyMachineLearningandExplainableAIforTrustableandEnergy-EfficientFog-EnabledHealthcareDecisionSupportSystem》，发表在《InternationalJournalofComputationalIntelligenceSystems》2024年第17卷，由R.
【论文阅读】AugSteal: Advancing Model Steal With Data Augmentation in Active Learning Frameworks（2024） Bosenya12 科研学习模型窃取论文阅读模型窃取模型提取数据增强主动学习
摘要Withtheproliferationof（随着）machinelearningmodels（机器学习模型）indiverseapplications,theissueofmodelsecurity（模型的安全问题）hasincreasinglybecomeafocalpoint（日益成为人们关注的焦点）.Modelstealattacks（模型窃取攻击）cancausesignifican
机器学习入门：机器学习的基本概念 Louis0687
姓名：高亦凡学号：19020100056学院：电子工程学院转载自：原文链接【嵌牛导读】机器学习（MachineLearning）是一门涉及统计学、系统辨识、逼近理论、神经网络、优化理论、计算机科学、脑科学等诸多领域的交叉学科，研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，是人工智能技术的核心。【嵌牛鼻子】机器学习【嵌牛提问】什么是机器学
L1正则和L2正则 wangke
等高线与路径HOML(Hands-OnMachineLearning)上对L1_norm和L2_norm的解释:左上图是L1_norm.背景是损失函数的等高线(圆形),前景是L1_penalty的等高线(菱形),这两个组成了最终的目标函数.在梯度下降的过程中,对于损失函数的梯度为白色点轨迹,对于L1_penalty函数的梯度为黄色点轨迹.可以看出,黄色的点更容易取值为0.因此在考虑两个损失的权衡时
机器学习概述与应用：深度学习、人工智能与经典学习方法刷刷刷粉刷匠人工智能机器学习深度学习
引言机器学习（MachineLearning）是人工智能（AI）领域中最为核心的分支之一，其主要目的是通过数据学习和构建模型，帮助计算机系统自动完成特定任务。随着深度学习（DeepLearning）的崛起，机器学习技术在各行各业中的应用变得越来越广泛。在本文中，我们将详细介绍机器学习的基础概念，包括无监督学习、有监督学习、增量学习，以及常见的回归和分类问题，并结合实际代码示例来加深理解。1.机器学
Datawhale X 李宏毅苹果书 AI夏令营｜机器学习基础之案例学习 Monyan 人工智能机器学习学习李宏毅深度学习
机器学习（MachineLearning,ML）：机器具有学习的能力，即让机器具备找一个函数的能力函数不同，机器学习的类别不同：回归（regression）：找到的函数的输出是一个数值或标量（scalar）。例如：机器学习预测某一个时间段内的PM2.5，机器要找到一个函数f，输入是跟PM2.5有关的的指数，输出是明天中午的PM2.5的值。分类（classification）：让机器做选择题，先准备
R语言机器学习 KNN 2个例子 waterHBO r语言机器学习开发语言
代码的写法，参考来源是这本书:MachineLearningwithR,2ndEdition.pdf相关的资源我已经上传了，包括代码，数据，以及这行本书。下载链接–免积分下载。https://download.csdn.net/download/waterHBO/896756871.第一个例子，代码和过程，全部来自书上#我根据书中第三章KNN的内容来做的。#第3章，KNN,K-NearestNei
【论文阅读】Model Stealing Attacks Against Inductive Graph Neural Networks（2021） Bosenya12 科研学习模型窃取论文阅读图神经网络模型窃取
摘要Manyreal-worlddata（真实世界的数据）comeintheformofgraphs（以图片的形式）.Graphneuralnetworks(GNNs图神经网络),anewfamilyofmachinelearning(ML)models,havebeenproposedtofullyleveragegraphdata（充分利用图数据）tobuildpowerfulapplicat
机器学习在旅游业的革新之旅 jun778895 机器学习人工智能
机器学习在旅游业的革新之旅随着科技的飞速发展，尤其是人工智能（AI）技术的广泛应用，各个行业都迎来了前所未有的变革。其中，旅游业作为全球经济的重要支柱之一，更是受益匪浅。机器学习（MachineLearning,ML）作为AI的核心技术之一，正在逐步重塑旅游业的各个方面，从需求分析、行程规划、服务体验到营销策略，无一不展现出其巨大的潜力和价值。本文将深入探讨机器学习在旅游业的革新之旅，揭示其如何推
Python机器学习笔记：CART算法实战战争热诚
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote前言在python机器学习笔记：深入学习决策树算法原理一文中我们提到了决策树里的ID3算法，C4.5算法，并且大概的了
机器学习、深度学习、神经网络之间的关系你好，工程师 AI 机器学习
机器学习（MachineLearning）、深度学习（DeepLearning）和神经网络（NeuralNetworks）之间存在密切的关系，它们可以被看作是一种逐层递进的关系。下面简要介绍它们之间的关系：机器学习（MachineLearning）：机器学习是一种人工智能的分支，关注如何通过数据让计算机系统从经验中学习，提高性能。机器学习算法可以分为监督学习、无监督学习、半监督学习和强化学习等不同
认识小波-DWT CWT Scattering 闪闪发亮的小星星数字信号处理与分析计算机视觉人工智能信号处理
这里写自定义目录标题小波变换的种类连续小波变换（CWT）DWTANexampleapplicationofDWTANexampleofCWT5.MachineLearningandDeepLearningwithWaveletScattering小波散射网络大家好。在本次介绍性课程中，我将介绍一些基本的小波概念。我将主要使用一维示例，但相同的概念也可以应用于图像。首先，我们回顾一下什么是小波。现实
你说什么是机器学习呢 guguguyuan 人工智能
机器学习这个词是让人疑惑的，首先它是英文名称MachineLearning(简称ML)的直译，在计算界Machine一般指计算机。这个名字使用了拟人的手法，说明了这门技术是让机器“学习”的技术。但是计算机是死的，怎么可能像人类一样“学习”呢？传统上如果我们想让计算机工作，我们给它一串指令，然后它遵照这个指令一步步执行下去。有因有果，非常明确。但这样的方式在机器学习中行不通。机器学习根本不接受你输入
线性回归（1） zidea
MachineLearninginMarketing感谢李宏毅《回归-案例研究》部分内容为听取李宏毅老师讲座的笔记，也融入了自己对机器学习理解，个人推荐李宏毅老师的机器学习系列课程，尤其对于初学者强烈推荐。课程设计相对其他课程要容易理解。在机器学习中算法通常分为回归和分类两种，今天我们探讨什么线性回归。以及如何设计一个线性回归模型。什么回归简单理解通过数据最终预测出来一个值。回归问题的实例就是找到
【了解机器学习的定义与发展历程】 AK@ 人工智能人工智能机器学习
曾梦想执剑走天涯，我是程序猿【AK】目录简述概要知识图谱简述概要了解机器学习的定义与发展历程知识图谱机器学习（MachineLearning，ML）是一门跨学科的学科，它使用计算机模拟或实现人类学习行为，通过不断地获取新的知识和技能，重新组织已有的知识结构，从而提高自身的性能。简单来说，机器学习就是让计算机从数据中学习规律，并根据这些规律对未来数据进行预测。机器学习的发展历程可以追溯到上世纪50年
【机器学习】是什么? dami_king 机器学习
机器学习（MachineLearning,ML）是一门多领域交叉学科，属于人工智能（ArtificialIntelligence,AI）的一个分支，致力于研究和构建算法及统计模型，让计算机系统能够在没有明确编程指令的情况下，通过分析和学习数据集中的规律与模式，从而获得新知识、发现内在联系、做出预测或者决策的能力。简单来说，机器学习就是使计算机程序能够从经验中学习和改进。以下是机器学习的一些核心概念
【IEEE出版、EI稳定检索】2024年机器学习与神经网络国际学术会议(MLNN 2024) AEIC学术交流中心—李老师机器学习神经网络人工智能
2024年机器学习与神经网络国际学术会议(MLNN2024)2024InternationalConferenceonMachinelearningandNeuralNetworks2024年4月19-21日中国-珠海重要信息大会官网：www.icmlnn.org(点击投稿/参会/了解会议详情）大会时间：2024年4月19-21日大会地点：中国-珠海接受/拒稿通知：投稿后1周左右截稿时间：2024
ChatGPT魔法1：背后的原理王丰博 GPT chatgpt
1.AI的三个阶段1）上世纪50~60年代，计算机刚刚产生2）Machinelearning3）Deeplearning，有神经网络，最有代表性的是ChatGPT,GPT(GenerativePre-TrainedTransformer)2.深度神经网络llyaSutskever:做图像识别，使用了GPT去并行计算及训练。Alexnet数据库已经label好的（李飞飞）GPU算力3.GPT3.1T
论文阅读-面向机器学习的云工作负载预测模型的性能分析向来痴_ 论文阅读
论文名称：PerformanceAnalysisofMachineLearningCenteredWorkloadPredictionModelsforCloud摘要由于异构服务类型和动态工作负载的高变异性和维度，资源使用的精确估计是一个复杂而具有挑战性的问题。在过去几年中，资源使用和流量的预测已受到研究界的广泛关注。许多基于机器学习的工作负载预测模型通过利用其计算能力和学习能力得以发展。本文提出
深度学习环境下一些有用的链接星海之眸
UsefulLinksAboutsystem初始安装系统的一些主要链接Ubuntu16.04系统美化输入法的安装wechat安装matlab安装ubuntu下matlab启动报错java.lang.runtime.Exception**********************,则执行这个命令:sudochmod-Ra+rw~/.matlabAboutMachineLearningtensorflo
Week10 kidling_G
第10周十七、大规模机器学习(LargeScaleMachineLearning)17.1大型数据集的学习参考视频:17-1-LearningWithLargeDatasets(6min).mkv如果我们有一个低方差的模型，增加数据集的规模可以帮助你获得更好的结果。我们应该怎样应对一个有100万条记录的训练集？以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，如果我们的学
机器学习入门之基础概念及线性回归 StarCoder_Yue 算法机器学习学习笔记机器学习线性回归正则化人工智能算法数学
任务目录什么是Machinelearning学习中心极限定理，学习正态分布，学习最大似然估计推导回归Lossfunction学习损失函数与凸函数之间的关系了解全局最优和局部最优学习导数，泰勒展开推导梯度下降公式写出梯度下降的代码学习L2-Norm，L1-Norm，L0-Norm推导正则化公式说明为什么用L1-Norm代替L0-Norm学习为什么只对w/Θ做限制，不对b做限制Question1：Wh
Kaggle Intro Model Validation and Underfitting and Overfitting 卢延吉 New Developer 数据 (Data)ML &ME &GPT 机器学习
ModelValidationModelvalidationisthecornerstoneofensuringarobustandreliablemachinelearningmodel.It'stherigorousassessmentofhowwellyourmodelperformsonunseendata,mimickingreal-worldscenarios.Doneright,it
java封装继承多态等麦田的设计者 java eclipse jvm c encapsulatopn
最近一段时间看了很多的视频却忘记总结了，现在只能想到什么写什么了，希望能起到一个回忆巩固的作用。 1、final关键字译为：最终的 &
F5与集群的区别 bijian1013 weblogic 集群 F5
http请求配置不是通过集群，而是F5；集群是weblogic容器的，如果是ejb接口是通过集群。 F5同集群的差别，主要还是会话复制的问题，F5一把是分发http请求用的，因为http都是无状态的服务，无需关注会话问题，类似
LeetCode[Math] - #7 Reverse Integer Cwind java 题解 Math LeetCode Algorithm
原题链接：#7 Reverse Integer 要求：按位反转输入的数字例1：输入 x = 123, 返回 321 例2：输入 x = -123, 返回 -321 难度：简单分析：对于一般情况，首先保存输入数字的符号，然后每次取输入的末位（x%10）作为输出的高位（result = result*10 + x%10）即可。但
BufferedOutputStream 周凡杨
首先说一下这个大批量，是指有上千万的数据量。例子：有一张短信历史表，其数据有上千万条数据，要进行数据备份到文本文件，就是执行如下SQL然后将结果集写入到文件中！ select t.msisd
linux下模拟按键输入和鼠标被触发 linux
查看/dev/input/eventX是什么类型的事件， cat /proc/bus/input/devices 设备有着自己特殊的按键键码，我需要将一些标准的按键，比如0－9，X－Z等模拟成标准按键，比如KEY_0,KEY-Z等，所以需要用到按键模拟，具体方法就是操作/dev/input/event1文件，向它写入个input_event结构体就可以模拟按键的输入了。 linux/in
ContentProvider初体验肆无忌惮_ ContentProvider
ContentProvider在安卓开发中非常重要。与Activity，Service，BroadcastReceiver并称安卓组件四大天王。在android中的作用是用来对外共享数据。因为安卓程序的数据库文件存放在data/data/packagename里面，这里面的文件默认都是私有的，别的程序无法访问。如果QQ游戏想访问手机QQ的帐号信息一键登录，那么就需要使用内容提供者COnte
关于Spring MVC项目（maven）中通过fileupload上传文件 843977358 mybatis spring mvc 修改头像上传文件 upload
Spring MVC 中通过fileupload上传文件，其中项目使用maven管理。 1.上传文件首先需要的是导入相关支持jar包：commons-fileupload.jar,commons-io.jar 因为我是用的maven管理项目，所以要在pom文件中配置（每个人的jar包位置根据实际情况定） <!-- 文件上传 start by zhangyd-c --&g
使用svnkit api，纯java操作svn，实现svn提交，更新等操作 aigo svnkit
原文：http://blog.csdn.net/hardwin/article/details/7963318 import java.io.File; import org.apache.log4j.Logger; import org.tmatesoft.svn.core.SVNCommitInfo; import org.tmateso
对比浏览器，casperjs，httpclient的Header信息 alleni123 爬虫 crawler header
@Override protected void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException { String type=req.getParameter("type"); Enumeration es=re
java.io操作 DataInputStream和DataOutputStream基本数据流百合不是茶 java 流
1，java中如果不保存整个对象，只保存类中的属性，那么我们可以使用本篇文章中的方法，如果要保存整个对象先将类实例化后面的文章将详细写到 2，DataInputStream 是java.io包中一个数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。
车辆保险理赔案例 bijian1013 车险
理赔案例：一货运车，运输公司为车辆购买了机动车商业险和交强险，也买了安全生产责任险，运输一车烟花爆竹，在行驶途中发生爆炸，出现车毁、货损、司机亡、炸死一路人、炸毁一间民宅等惨剧，针对这几种情况，该如何赔付。赔付建议和方案：客户所买交强险在这里不起作用，因为交强险的赔付前提是：“机动车发生道路交通意外事故”；如果是交通意外事故引发的爆炸，则优先适用交强险条款进行赔付，不足的部分由商业
学习Spring必学的Java基础知识(5)—注解 bijian1013 java spring
文章来源：http://www.iteye.com/topic/1123823，整理在我的博客有两个目的：一个是原文确实很不错，通俗易懂，督促自已将博主的这一系列关于Spring文章都学完；另一个原因是为免原文被博主删除，在此记录，方便以后查找阅读。有必要对
【Struts2一】Struts2 Hello World bit1129 Hello world
Struts2 Hello World应用的基本步骤创建Struts2的Hello World应用，包括如下几步： 1.配置web.xml 2.创建Action 3.创建struts.xml，配置Action 4.启动web server，通过浏览器访问配置web.xml <?xml version="1.0" encoding="
【Avro二】Avro RPC框架 bit1129 rpc
1. Avro RPC简介 1.1. RPC RPC逻辑上分为二层，一是传输层，负责网络通信；二是协议层，将数据按照一定协议格式打包和解包从序列化方式来看，Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架，都能跨语言，性能优秀，数据精简，但是Avro的动态模式（不用生成代码，而且性能很好）这个特点让人非常喜欢，比较适合R
lua　set get cookie ronin47 lua cookie
lua: local access_token = ngx.var.cookie_SGAccessToken if access_token then ngx.header["Set-Cookie"] = "SGAccessToken="..access_token.."; path=/;Max-Age=3000" end
java-打印不大于N的质数 bylijinnan java
public class PrimeNumber { /** * 寻找不大于N的质数 */ public static void main(String[] args) { int n=100; PrimeNumber pn=new PrimeNumber(); pn.printPrimeNumber(n); System.out.print
Spring源码学习-PropertyPlaceholderHelper bylijinnan java spring
今天在看Spring 3.0.0.RELEASE的源码，发现PropertyPlaceholderHelper的一个bug 当时觉得奇怪，上网一搜，果然是个bug，不过早就有人发现了，且已经修复：详见： http://forum.spring.io/forum/spring-projects/container/88107-propertyplaceholderhelper-bug
[逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么? comsci 拓扑
如果我们已经在一个工作流的节点中嵌入了可以进行逻辑推理的代码,那么成百上千个这样的节点如果组成一个拓扑网络,而这个网络是可以自动遍历的,非线性的拓扑计算模型和节点内部的布尔逻辑处理的结合,会产生什么样的结果呢? 是否可以形成一种新的模糊语言识别和处理模型呢? 大家有兴趣可以试试,用软件搞这些有个好处,就是花钱比较少,就算不成
ITEYE 都换百度推广了 cuisuqiang Google AdSense 百度推广广告外快
以前ITEYE的广告都是谷歌的Google AdSense，现在都换成百度推广了。为什么个人博客设置里面还是Google AdSense呢？都知道Google AdSense不好申请，这在ITEYE上也不是讨论了一两天了，强烈建议ITEYE换掉Google AdSense。至少，用一个好申请的吧。什么时候能从ITEYE上来点外快，哪怕少点
新浪微博技术架构分析 dalan_123 新浪微博架构
新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第
玩转ARP攻击 dcj3sjt126com r
我写这片文章只是想让你明白深刻理解某一协议的好处。高手免看。如果有人利用这片文章所做的一切事情，盖不负责。网上关于ARP的资料已经很多了，就不用我都说了。用某一位高手的话来说，“我们能做的事情很多，唯一受限制的是我们的创造力和想象力”。 ARP也是如此。以下讨论的机子有一个要攻击的机子：10.5.4.178 硬件地址：52:54:4C:98
PHP编码规范 dcj3sjt126com 编码规范
一、文件格式 1. 对于只含有 php 代码的文件，我们将在文件结尾处忽略掉 "?>" 。这是为了防止多余的空格或者其它字符影响到代码。例如：<?php$foo = 'foo';2. 缩进应该能够反映出代码的逻辑结果，尽量使用四个空格，禁止使用制表符TAB，因为这样能够保证有跨客户端编程器软件的灵活性。例
linux 脱机管理（nohup） eksliang linux nohup nohup
脱机管理 nohup 转载请出自出处：http://eksliang.iteye.com/blog/2166699 nohup可以让你在脱机或者注销系统后，还能够让工作继续进行。他的语法如下 nohup [命令与参数] --在终端机前台工作 nohup [命令与参数] & --在终端机后台工作但是这个命令需要注意的是，nohup并不支持bash的内置命令，所
BusinessObjects Enterprise Java SDK greemranqq java BO SAP Crystal Reports
最近项目用到oracle_ADF 从SAP/BO 上调用水晶报表，资料比较少，我做一个简单的分享，给和我一样的新手提供更多的便利。首先，我是尝试用JAVA JSP 去访问的。官方API：http://devlibrary.businessobjects.com/BusinessObjectsxi/en/en/BOE_SDK/boesdk_ja
系统负载剧变下的管控策略 iamzhongyong 高并发
假如目前的系统有100台机器，能够支撑每天1亿的点击量（这个就简单比喻一下），然后系统流量剧变了要，我如何应对，系统有那些策略可以处理，这里总结了一下之前的一些做法。 1、水平扩展这个最容易理解，加机器，这样的话对于系统刚刚开始的伸缩性设计要求比较高，能够非常灵活的添加机器，来应对流量的变化。 2、系统分组假如系统服务的业务不同，有优先级高的，有优先级低的，那就让不同的业务调用提前分组
BitTorrent DHT 协议中文翻译 justjavac bit
前言做了一个磁力链接和BT种子的搜索引擎 {Magnet & Torrent}，因此把 DHT 协议重新看了一遍。 BEP: 5Title: DHT ProtocolVersion: 3dec52cb3ae103ce22358e3894b31cad47a6f22bLast-Modified: Tue Apr 2 16:51:45 2013 -070
Ubuntu下Java环境的搭建 macroli java 工作 ubuntu
配置命令：　　$sudo apt-get install ubuntu-restricted-extras 　　再运行如下命令：　　$sudo apt-get install sun-java6-jdk 　　待安装完毕后选择默认Java. 　　$sudo update- alternatives --config java 　　安装过程提示选择，输入“2”即可，然后按回车键确定。
js字符串转日期（兼容IE所有版本） qiaolevip TO Date String IE
/** * 字符串转时间（yyyy-MM-dd HH:mm:ss） * result （分钟） */ stringToDate : function(fDate){ var fullDate = fDate.split(" ")[0].split("-"); var fullTime = fDate.split("
【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析 superlxw1234 sql 数据挖掘关联规则
关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%] 支持度3%：意味3%顾客同时购买牛奶和面包。置信度40%：意味购买牛奶的顾客40%也购买面包。规则的支持度和置信度是两个规则兴
Spring 5.0 的系统需求，期待你的反馈 wiselyman spring
Spring 5.0将在2016年发布。Spring5.0将支持JDK 9。 Spring 5.0的特性计划还在工作中，请保持关注，所以作者希望从使用者得到关于Spring 5.0系统需求方面的反馈。