马鹏森

Accurate prediction of molecular targets using a self-supervised image rep...（代码理解）

GitHub - HongxinXiang/ImageMol: ImageMol is a molecular image-based pre-training deep learning framework for computational drug discovery.

我在windows上下载并测试的

首先是其中每个文件夹中文件的意义：

1. preparing dataset

在第一步“1. preparing dataset”中，由 data.CSV 文件中的smiles列转换成 molecular image（在224文件夹下），并且data.CSV生成 “data_for_pretrain.csv”（只是原来smiles列变成了filename）

也就是说224中的每一张照片对应data.csv / data_for_pretrain.csv的每一行

2. fine-tune

其中计算的逻辑：

我们要使用分类器进行fine-tune，将 224中的图像输入进model，得到维度为“(64,617)”的pred，然后把它与data_for_pretrain.csv中真实的标签 labels(64,617)计算损失，其中64是batch-size，617为每一个图片对应的label的长度（我认为此时fine-tune是一种监督学习，它是利用有标签的数据进行微调，然后预训练模型使通过self-supervise的方式进行“无监督方式”训练模型）【总结来看：是用过把image的信息embedding，然后直接预测label，中间过程并没有生成任何的image...，与使用image进行“OG, OP”不一样，因为“OG, OP”是要生成image的】

# model(image) <==> label 他们之间计算损失
# 化学分子性质预测主要包含对已经预训练好的模型拿来进行finetune，下游任务主要是在模型上添加线性分类器，来预测下游图形标签，然后再以端到端的方式进行微调。（其中label是分子的性质）

Install environment

1. GPU environment

CUDA 10.1

2. create a new conda environment

conda create -n imagemol python=3.7.3

conda activate imagemol

3. download some packages

conda install -c rdkit rdkit

windows:

pip install https://download.pytorch.org/whl/cu101/torch-1.4.0-cp37-cp37m-win_amd64.whl
pip install https://download.pytorch.org/whl/cu101/torchvision-0.5.0-cp37-cp37m-win_amd64.whl

linux:

pip install https://download.pytorch.org/whl/cu101/torch-1.4.0-cp37-cp37m-linux_x86_64.whl
pip install https://download.pytorch.org/whl/cu101/torchvision-0.5.0-cp37-cp37m-linux_x86_64.whl

pip install torch-cluster torch-scatter torch-sparse torch-spline-conv -f https://pytorch-geometric.com/whl/torch-1.4.0%2Bcu101.html

pip install -r requirements.txt

source activate imagemol

注意：这里有一个错误，github上requirements.txt写的 scikit-learn==1.21.2，但是现在最新版本的scikit-learn==1.1.2，并且它还必须python>=3.8
所以这里，我安装的是“ numpy-1.21.6 scikit-learn-1.0.2”

Pretraining

1. preparing dataset

data.CSV文件中的smiles列生成224*224的molecular image（每一行都可以生成一个分子图像）， and data.CSV文件生成“data_for_pretrain.csv”（只是原来的smiles列变成了filename列）

Download pretraining data and put it into ./datasets/pretraining/data/

Preprocess dataset:（这个时间比较长，这里要处理接近一千万份文件，我总共花费了22个小时）

python ./data_process/smiles2img_pretrain.py --dataroot ./datasets/pretraining/ --dataset data

Note: You can find the toy dataset in ./datasets/toy/pretraining/

2. start to pretrain

训练一个预训练模型，从而用于下游任务

Usage:

usage: pretrain.py [-h] [--lr LR] [--wd WD] [--workers WORKERS]
                   [--val_workers VAL_WORKERS] [--epochs EPOCHS]
                   [--start_epoch START_EPOCH] [--batch BATCH]
                   [--momentum MOMENTUM] [--checkpoints CHECKPOINTS]
                   [--seed SEED] [--dataroot DATAROOT] [--dataset DATASET]
                   [--ckpt_dir CKPT_DIR] [--modelname {ResNet18}]
                   [--verbose] [--ngpu NGPU] [--gpu GPU] [--nc NC] [--ndf NDF]
                   [--imageSize IMAGESIZE] [--Jigsaw_lambda JIGSAW_LAMBDA]
                   [--cluster_lambda CLUSTER_LAMBDA]
                   [--constractive_lambda CONSTRACTIVE_LAMBDA]
                   [--matcher_lambda MATCHER_LAMBDA]
                   [--is_recover_training IS_RECOVER_TRAINING]
                   [--cl_mask_type {random_mask,rectangle_mask,mix_mask}]
                   [--cl_mask_shape_h CL_MASK_SHAPE_H]
                   [--cl_mask_shape_w CL_MASK_SHAPE_W]
                   [--cl_mask_ratio CL_MASK_RATIO]

Code to pretrain:

python pretrain.py --ckpt_dir ./ckpts/pretraining/ \
                   --checkpoints 1 \
                   --Jigsaw_lambda 1 \
                   --cluster_lambda 1 \
                   --constractive_lambda 1 \
                   --matcher_lambda 1 \
                   --is_recover_training 1 \
                   --batch 256 \
                   --dataroot ./datasets/pretraining/ \
                   --dataset data \
                   --gpu 0,1,2,3 \
                   --ngpu 4

For testing, you can simply pre-train ImageMol using single GPU on toy dataset:

python pretrain.py --ckpt_dir ./ckpts/pretraining-toy/ \
                   --checkpoints 1 \
                   --Jigsaw_lambda 1 \
                   --cluster_lambda 1 \
                   --constractive_lambda 1 \
                   --matcher_lambda 1 \
                   --is_recover_training 1 \
                   --batch 16 \
                   --dataroot ./datasets/toy/pretraining/ \
                   --dataset data \
                   --gpu 0 \
                   --ngpu 1

运行与结果：

python pretrain.py --ckpt_dir ./ckpts/pretraining-toy/ --checkpoints 1 --Jigsaw_lambda 1 --cluster_lambda 1 --constractive_lambda 1 --matcher_lambda 1 --is_recover_training 1 --batch 16 --dataroot ./datasets/toy/pretraining --dataset data --gpu 0 --ngpu 1

我使用测试训练进行了训练了17个epoch，总共生成了17个预训练模型：


(imagemol) D:\pycharm_workspace\1\ImageMol>python pretrain.py --ckpt_dir ./ckpts/pretraining-toy/ --checkpoints 1 --Jigsaw_lambda 1 --cluster_lambda 1 --constractive_lambda 1 --matcher_lambda 1 --is_recover_training 1 --batch 16 --dataroot ./datasets/toy/pretraining --dataset data --gpu 0 --ngpu 1
ImageMol(
  (embedding_layer): Sequential(
    (0): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
    (1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (2): ReLU(inplace=True)
    (3): MaxPool2d(kernel_size=3, stride=2, padding=1, dilation=1, ceil_mode=False)
    (4): Sequential(
      (0): BasicBlock(
        (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
      (1): BasicBlock(
        (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (5): Sequential(
      (0): BasicBlock(
        (conv1): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (downsample): Sequential(
          (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(2, 2), bias=False)
          (1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        )
      )
      (1): BasicBlock(
        (conv1): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (6): Sequential(
      (0): BasicBlock(
        (conv1): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (downsample): Sequential(
          (0): Conv2d(128, 256, kernel_size=(1, 1), stride=(2, 2), bias=False)
          (1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        )
      )
      (1): BasicBlock(
        (conv1): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (7): Sequential(
      (0): BasicBlock(
        (conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (downsample): Sequential(
          (0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
          (1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        )
      )
      (1): BasicBlock(
        (conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (8): AdaptiveAvgPool2d(output_size=(1, 1))
  )
  (bn): BatchNorm1d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (jigsaw_classifier): Linear(in_features=512, out_features=101, bias=True)
  (class_classifier1): Linear(in_features=512, out_features=100, bias=True)
  (class_classifier2): Linear(in_features=512, out_features=1000, bias=True)
  (class_classifier3): Linear(in_features=512, out_features=10000, bias=True)
)
Matcher(
  (fc): Linear(in_features=512, out_features=2, bias=True)
  (logic): LogSoftmax()
)
generator(
  (projection): Sequential(
    (0): Linear(in_features=512, out_features=128, bias=True)
    (1): BatchNorm1d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (2): LeakyReLU(negative_slope=0.2, inplace=True)
  )
  (netG): Sequential(
    (0): ConvTranspose2d(128, 512, kernel_size=(4, 4), stride=(1, 1), bias=False)
    (1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (2): ReLU(inplace=True)
    (3): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (4): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (5): ReLU(inplace=True)
    (6): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (7): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (8): ReLU(inplace=True)
    (9): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (10): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (11): ReLU(inplace=True)
    (12): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (13): Tanh()
  )
)
netlocalD(
  (main): Sequential(
    (0): Conv2d(3, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (1): LeakyReLU(negative_slope=0.2, inplace=True)
    (2): Conv2d(64, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (4): LeakyReLU(negative_slope=0.2, inplace=True)
    (5): Conv2d(128, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (6): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (7): LeakyReLU(negative_slope=0.2, inplace=True)
    (8): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (9): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (10): LeakyReLU(negative_slope=0.2, inplace=True)
    (11): Conv2d(512, 1, kernel_size=(4, 4), stride=(1, 1), bias=False)
    (12): Sigmoid()
  )
)
100%|█| 60/60 [02:29<00:00,  2.50s/it, C_loss=0.02, ClsLoss_100=4.36, ClsLoss_1000=7.16, ClsLoss_10000=9.29, ClsTotalLo
100%|████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:19<00:00,  4.79s/it]
Epoch: [1][train]       TotalLoss: 23.96166973114014    JigLoss: 1.9193571281929807     ClsLoss_100: 4.92697454293569  ClsLoss_1000: 7.11983088652293   ClsLoss_10000: 9.33748327891032 ClsTotalLoss(fftotal): 21.384288565317785       AvgConstractiveLoss: 0.1648771699983627 AvgReasonabilityLoss: 0.49314683731645315       AvgRecoverLoss: 5.0754999422313025
Epoch: [1][val] JigsawAcc: 0.82 ClusterAcc100: 0.0      ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.0    ConstractiveLoss: 0.004153344817459583  ReasonabilityLoss: 0.013568593263626099 RecoverLoss: 0.2023082345724106
100%|█| 60/60 [01:06<00:00,  1.12s/it, C_loss=0.0138, ClsLoss_100=4.49, ClsLoss_1000=7.29, ClsLoss_10000=8.7, ClsTotalL
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.66s/it]
Epoch: [2][train]       TotalLoss: 21.496857229868567   JigLoss: 1.0841593230764073     ClsLoss_100: 4.781556669871013  ClsLoss_1000: 6.793236716588339ClsLoss_10000: 8.56167837778727  ClsTotalLoss(fftotal): 20.136471748352054       AvgConstractiveLoss: 0.07614539431718487        AvgReasonabilityLoss: 0.20008064570526282       AvgRecoverLoss: 3.5995476151506103
Epoch: [2][val] JigsawAcc: 0.86 ClusterAcc100: 0.04     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.013333333333333334   ConstractiveLoss: 0.0020515684410929683 ReasonabilityLoss: 0.002394016683101654 RecoverLoss: 0.29341010212898255
100%|█| 60/60 [01:06<00:00,  1.11s/it, C_loss=0.0453, ClsLoss_100=4.83, ClsLoss_1000=6.7, ClsLoss_10000=8.39, ClsTotalLoss=19.9, JigLoss=1.68, M_loss=0
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:20<00:00,  5.18s/it]
Epoch: [3][train]       TotalLoss: 20.89204044342041    JigLoss: 1.003493670374155      ClsLoss_100: 4.813545378049215  ClsLoss_1000: 6.738298972447714ClsLoss_10000: 8.154170513153076 ClsTotalLoss(fftotal): 19.706014760335286       AvgConstractiveLoss: 0.04975322242826223        AvgReasonabilityLoss: 0.13277878270794943       AvgRecoverLoss: 3.6251505697766935
Epoch: [3][val] JigsawAcc: 0.86 ClusterAcc100: 0.04     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.013333333333333334   ConstractiveLoss: 0.0015005466900765898 ReasonabilityLoss: 0.01395109474658966  RecoverLoss: 0.20824745893478394
100%|█| 60/60 [01:08<00:00,  1.14s/it, C_loss=0.0533, ClsLoss_100=4.81, ClsLoss_1000=6.56, ClsLoss_10000=8, ClsTotalLoss=19.4, JigLoss=0.897, M_loss=0.
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:19<00:00,  4.94s/it]
Epoch: [4][train]       TotalLoss: 20.512035369873047   JigLoss: 0.9941644340753556     ClsLoss_100: 4.804758842786154  ClsLoss_1000: 6.710355981191003ClsLoss_10000: 7.865747348467508 ClsTotalLoss(fftotal): 19.38086214065552        AvgConstractiveLoss: 0.048341524026667075       AvgReasonabilityLoss: 0.08866713357468446       AvgRecoverLoss: 4.077671728531518
Epoch: [4][val] JigsawAcc: 0.76 ClusterAcc100: 0.0      ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.0    ConstractiveLoss: 0.004614624008536339  ReasonabilityLoss: 0.008996209204196932 RecoverLoss: 0.31746475636959076
100%|█| 60/60 [01:07<00:00,  1.12s/it, C_loss=0.07, ClsLoss_100=4.49, ClsLoss_1000=6.72, ClsLoss_10000=7.93, ClsTotalLoss=19.1, JigLoss=3.02, M_loss=1.
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.62s/it]
Epoch: [5][train]       TotalLoss: 20.410388692220042   JigLoss: 1.0800357540448504     ClsLoss_100: 4.7787369966506965 ClsLoss_1000: 6.687890203793843ClsLoss_10000: 7.672290404637656 ClsTotalLoss(fftotal): 19.13891773223877        AvgConstractiveLoss: 0.05595408985391261        AvgReasonabilityLoss: 0.13548127884666128       AvgRecoverLoss: 4.075054861356814
Epoch: [5][val] JigsawAcc: 0.84 ClusterAcc100: 0.0      ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.0    ConstractiveLoss: 0.002793522924184799  ReasonabilityLoss: 0.0062981796264648445        RecoverLoss: 0.18601167559623719
100%|█| 60/60 [01:06<00:00,  1.11s/it, C_loss=0.0246, ClsLoss_100=4.8, ClsLoss_1000=7.11, ClsLoss_10000=7.69, ClsTotalLoss=19.6, JigLoss=3.16, M_loss=1
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:21<00:00,  5.27s/it]
Epoch: [6][train]       TotalLoss: 20.339342339833575   JigLoss: 1.1087447846929228     ClsLoss_100: 4.799536720911663  ClsLoss_1000: 6.672529379526773ClsLoss_10000: 7.573689786593119 ClsTotalLoss(fftotal): 19.04575576782228        AvgConstractiveLoss: 0.053185406218593315       AvgReasonabilityLoss: 0.13165633815030256       AvgRecoverLoss: 4.161377739906311
Epoch: [6][val] JigsawAcc: 0.84 ClusterAcc100: 0.04     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.013333333333333334   ConstractiveLoss: 0.0014511872828006744 ReasonabilityLoss: 0.005211712941527367 RecoverLoss: 0.1715515339374542
100%|█| 60/60 [01:07<00:00,  1.13s/it, C_loss=0.0319, ClsLoss_100=4.63, ClsLoss_1000=6.67, ClsLoss_10000=7.54, ClsTotalLoss=18.8, JigLoss=0.878, M_loss
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:22<00:00,  5.57s/it]
Epoch: [7][train]       TotalLoss: 20.192618624369306   JigLoss: 1.0693875233332315     ClsLoss_100: 4.75707601706187   ClsLoss_1000: 6.66301953792572 ClsLoss_10000: 7.496208945910134 ClsTotalLoss(fftotal): 18.916304334004717       AvgConstractiveLoss: 0.047720210254192354       AvgReasonabilityLoss: 0.15920654994746053       AvgRecoverLoss: 4.174393929044406
Epoch: [7][val] JigsawAcc: 0.78 ClusterAcc100: 0.02     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.006666666666666667   ConstractiveLoss: 0.0035598852671682836 ReasonabilityLoss: 0.0006275869905948638        RecoverLoss: 0.431844232082367
100%|█| 60/60 [01:06<00:00,  1.11s/it, C_loss=0.0174, ClsLoss_100=4.66, ClsLoss_1000=6.93, ClsLoss_10000=7.62, ClsTotalLoss=19.2, JigLoss=1.58, M_loss=
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.55s/it]
Epoch: [8][train]       TotalLoss: 19.8997561454773     JigLoss: 0.9543801690141359     ClsLoss_100: 4.7688616196314495 ClsLoss_1000: 6.649607149759929ClsLoss_10000: 7.420435182253519 ClsTotalLoss(fftotal): 18.83890390396117        AvgConstractiveLoss: 0.04308367188399036        AvgReasonabilityLoss: 0.06338832139347991       AvgRecoverLoss: 4.2416440991063915
Epoch: [8][val] JigsawAcc: 0.74 ClusterAcc100: 0.02     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.006666666666666667   ConstractiveLoss: 0.0024805641174316406 ReasonabilityLoss: 0.0048112948238849635        RecoverLoss: 0.25158809542655947
100%|█| 60/60 [01:06<00:00,  1.11s/it, C_loss=0.0381, ClsLoss_100=4.57, ClsLoss_1000=6.51, ClsLoss_10000=7.65, ClsTotalLoss=18.7, JigLoss=0.78, M_loss=
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.75s/it]
Epoch: [9][train]       TotalLoss: 20.007253615061437   JigLoss: 1.0684301803509397     ClsLoss_100: 4.787256534894307  ClsLoss_1000: 6.628996245066327ClsLoss_10000: 7.368737761179607 ClsTotalLoss(fftotal): 18.78499059677124        AvgConstractiveLoss: 0.045559848969181374       AvgReasonabilityLoss: 0.10827299573769171       AvgRecoverLoss: 4.120056470980247
Epoch: [9][val] JigsawAcc: 0.84 ClusterAcc100: 0.02     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.006666666666666667   ConstractiveLoss: 0.002133065667003393  ReasonabilityLoss: 0.0024875566363334657        RecoverLoss: 0.19161114037036897
100%|█| 60/60 [01:07<00:00,  1.12s/it, C_loss=0.0287, ClsLoss_100=4.74, ClsLoss_1000=5.96, ClsLoss_10000=7.37, ClsTotalLoss=18.1, JigLoss=1.38, M_loss=
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:23<00:00,  5.88s/it]
Epoch: [10][train]      TotalLoss: 19.906644948323567   JigLoss: 1.0861985241373382     ClsLoss_100: 4.752160032590231  ClsLoss_1000: 6.603877162933351ClsLoss_10000: 7.332753666241961 ClsTotalLoss(fftotal): 18.688790893554682       AvgConstractiveLoss: 0.04013523093114296        AvgReasonabilityLoss: 0.09152033478021618       AvgRecoverLoss: 4.039306613306204
Epoch: [10][val]        JigsawAcc: 0.82 ClusterAcc100: 0.02     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.006666666666666667  ConstractiveLoss: 0.0020973937958478927  ReasonabilityLoss: 0.0024364076554775236        RecoverLoss: 0.18724668622016907
100%|█| 60/60 [01:08<00:00,  1.14s/it, C_loss=0.0463, ClsLoss_100=4.77, ClsLoss_1000=6.7, ClsLoss_10000=7.51, ClsTotalLoss=19, JigLoss=1.42, M_loss=0.0
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:29<00:00,  7.25s/it]
Epoch: [11][train]      TotalLoss: 19.741016260782875   JigLoss: 0.960937575995922      ClsLoss_100: 4.751010529200236  ClsLoss_1000: 6.601791771252948ClsLoss_10000: 7.31111691792806  ClsTotalLoss(fftotal): 18.663919194539393       AvgConstractiveLoss: 0.040693634655326605       AvgReasonabilityLoss: 0.07546558417379856       AvgRecoverLoss: 4.537612893184026
Epoch: [11][val]        JigsawAcc: 0.82 ClusterAcc100: 0.06     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.02   ConstractiveLoss: 0.00219877889379859   ReasonabilityLoss: 0.00048301540315151217       RecoverLoss: 0.22352851390838624
100%|█| 60/60 [01:07<00:00,  1.13s/it, C_loss=0.0232, ClsLoss_100=4.68, ClsLoss_1000=6.71, ClsLoss_10000=7.56, ClsTotalLoss=19, JigLoss=0.0433, M_loss=
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:20<00:00,  5.13s/it]
Epoch: [12][train]      TotalLoss: 19.715614541371657   JigLoss: 1.000559947391351      ClsLoss_100: 4.731101123491921  ClsLoss_1000: 6.583861041069033ClsLoss_10000: 7.277890539169311 ClsTotalLoss(fftotal): 18.592852783203124       AvgConstractiveLoss: 0.03278368460790566        AvgReasonabilityLoss: 0.08941795468175164       AvgRecoverLoss: 4.371748948221404
Epoch: [12][val]        JigsawAcc: 0.78 ClusterAcc100: 0.02     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.006666666666666667  ConstractiveLoss: 0.001537955142557621   ReasonabilityLoss: 0.009752252995967867 RecoverLoss: 0.18312466382980347
100%|█| 60/60 [01:07<00:00,  1.12s/it, C_loss=0.0647, ClsLoss_100=4.85, ClsLoss_1000=6.72, ClsLoss_10000=7.55, ClsTotalLoss=19.1, JigLoss=0.0258, M_los
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:23<00:00,  5.96s/it]
Epoch: [13][train]      TotalLoss: 19.82162863413493    JigLoss: 1.0898563351792594     ClsLoss_100: 4.738014833132426  ClsLoss_1000: 6.585498579343159ClsLoss_10000: 7.261646850903826 ClsTotalLoss(fftotal): 18.585160191853845       AvgConstractiveLoss: 0.03763424041680991        AvgReasonabilityLoss: 0.10897765451421342       AvgRecoverLoss: 4.363648629685243
Epoch: [13][val]        JigsawAcc: 0.74 ClusterAcc100: 0.0      ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.0    ConstractiveLoss: 0.0021116061881184577 ReasonabilityLoss: 0.0005279695987701416        RecoverLoss: 0.21621067449450493
100%|█| 60/60 [01:07<00:00,  1.12s/it, C_loss=0.0384, ClsLoss_100=4.52, ClsLoss_1000=6.62, ClsLoss_10000=7.4, ClsTotalLoss=18.5, JigLoss=0.752, M_loss=
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:18<00:00,  4.57s/it]
Epoch: [14][train]      TotalLoss: 19.565531730651863   JigLoss: 0.9612024967869126     ClsLoss_100: 4.7033114989598594 ClsLoss_1000: 6.577907792727153ClsLoss_10000: 7.236068709691365 ClsTotalLoss(fftotal): 18.51728795369466        AvgConstractiveLoss: 0.040761741731936744       AvgReasonabilityLoss: 0.04627952212467788       AvgRecoverLoss: 4.573408140925071
Epoch: [14][val]        JigsawAcc: 0.84 ClusterAcc100: 0.0      ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.0    ConstractiveLoss: 0.0019987770169973373 ReasonabilityLoss: 0.002506262362003326 RecoverLoss: 0.19087217301130294
100%|█| 60/60 [01:07<00:00,  1.13s/it, C_loss=0.00878, ClsLoss_100=4.72, ClsLoss_1000=6.57, ClsLoss_10000=7.43, ClsTotalLoss=18.7, JigLoss=0.0542, M_lo
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:29<00:00,  7.25s/it]
Epoch: [15][train]      TotalLoss: 19.65483560562134    JigLoss: 1.0458930411065623     ClsLoss_100: 4.722701446215311  ClsLoss_1000: 6.552511111895243ClsLoss_10000: 7.212150192260744 ClsTotalLoss(fftotal): 18.48736282984416        AvgConstractiveLoss: 0.045769707330813036       AvgReasonabilityLoss: 0.07581018048028149       AvgRecoverLoss: 4.728145783022047
Epoch: [15][val]        JigsawAcc: 0.82 ClusterAcc100: 0.0      ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.0    ConstractiveLoss: 0.0038376058358699085 ReasonabilityLoss: 0.00415668860077858  RecoverLoss: 0.1998233237862587
100%|█| 60/60 [01:14<00:00,  1.24s/it, C_loss=0.00582, ClsLoss_100=4.77, ClsLoss_1000=6.37, ClsLoss_10000=7.25, ClsTotalLoss=18.4, JigLoss=1.37, M_loss
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:20<00:00,  5.13s/it]
Epoch: [16][train]      TotalLoss: 19.632916323343913   JigLoss: 1.0232878476381304     ClsLoss_100: 4.723408063252767  ClsLoss_1000: 6.555336928367613ClsLoss_10000: 7.190120752652486 ClsTotalLoss(fftotal): 18.468865553538002       AvgConstractiveLoss: 0.049930801638402036       AvgReasonabilityLoss: 0.0908320085921635        AvgRecoverLoss: 4.406435360635318
Epoch: [16][val]        JigsawAcc: 0.8  ClusterAcc100: 0.04     ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.013333333333333334  ConstractiveLoss: 0.002326355976983905   ReasonabilityLoss: 0.00012519627809524537       RecoverLoss: 0.18016339898109435
100%|█| 60/60 [01:07<00:00,  1.13s/it, C_loss=0.0456, ClsLoss_100=5.02, ClsLoss_1000=6.61, ClsLoss_10000=7.08, ClsTotalLoss=18.7, JigLoss=1.66, M_loss=
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:21<00:00,  5.46s/it]
Epoch: [17][train]      TotalLoss: 19.40125710169475    JigLoss: 0.9150347652534644     ClsLoss_100: 4.6697273492813105 ClsLoss_1000: 6.52956008116404 ClsLoss_10000: 7.167783602078757 ClsTotalLoss(fftotal): 18.367071247100828       AvgConstractiveLoss: 0.0530752846505493 AvgReasonabilityLoss: 0.06607597895587485       AvgRecoverLoss: 4.356251256788772
Epoch: [17][val]        JigsawAcc: 0.84 ClusterAcc100: 0.0      ClusterAcc1000: 0.0     ClusterAcc10000: 0.0    ClusterAcc(avg): 0.0    ConstractiveLoss: 0.003248931393027306  ReasonabilityLoss: 0.01237701490521431  RecoverLoss: 0.20707530111074446
 15%|▏| 9/60 [00:13<01:16,  1.50s/it, C_loss=0.0265, ClsLoss_100=4.53, ClsLoss_1000=6.36, ClsLoss_10000=7.01, ClsTotalLoss=17.9, JigLoss=0.91, M_loss=0

Finetuning

将预训练的模型在下游任务中微调，这里的下游任务是分类任务，（我们的模型将会通过计算分类的可能性 $\tilde{\mathcal{Y}}_{n}^{g t}$ and 真实的标签 $\mathcal{Y}_{n}^{g t}$ 的交叉熵损失来 fine-tuned ）。

1. Download pre-trained ImageMol

You can download pre-trained model and push it into the folder ckpts/

2. Finetune with pre-trained ImageMol

a) You can download molecular property prediciton datasets, CYP450 datasets and SARS-CoV-2 datasets and put it into datasets/finetuning/

b) The usage is as follows:

usage: finetune.py [-h] [--dataset DATASET] [--dataroot DATAROOT] [--gpu GPU]
                   [--workers WORKERS] [--lr LR] [--weight_decay WEIGHT_DECAY]
                   [--momentum MOMENTUM] [--seed SEED] [--runseed RUNSEED]
                   [--split {random,stratified,scaffold,random_scaffold,scaffold_balanced}]
                   [--epochs EPOCHS] [--start_epoch START_EPOCH]
                   [--batch BATCH] [--resume PATH] [--imageSize IMAGESIZE]
                   [--image_model IMAGE_MODEL] [--image_aug]
                   [--task_type {classification,regression}]
                   [--save_finetune_ckpt {0,1}] [--log_dir LOG_DIR]

c) You can run ImageMol by simply using the following code:

python finetune.py --gpu ${gpu_no} \
                   --save_finetune_ckpt ${save_finetune_ckpt} \
                   --log_dir ${log_dir} \
                   --dataroot ${dataroot} \
                   --dataset ${dataset} \
                   --task_type ${task_type} \
                   --resume ${resume} \
                   --image_aug \
                   --lr ${lr} \
                   --batch ${batch} \
                   --epochs ${epoch}

For example:

python finetune.py --gpu 0 \
                   --save_finetune_ckpt 1 \
                   --log_dir ./logs/toxcast \
                   --dataroot ./datasets/finetuning/benchmarks \
                   --dataset toxcast \
                   --task_type classification \
                   --resume ./ckpts/ImageMol.pth.tar \
                   --image_aug \
                   --lr 0.5 \
                   --batch 64 \
                   --epochs 20

Note: You can tune more hyper-parameters during fine-tuning (see b) Usage).

运行与结果：

文档结构为：

这里我运行的命令为：

python finetune.py --gpu 0 --save_finetune_ckpt 1 --log_dir ./logs/toxcast --dataroot ./datasets/finetuning/MPP/classification/ --dataset toxcast --task_type classification --resume ./ckpts/ImageMol.pth.tar --image_aug --lr 0.5 --batch 64 --epochs 20

(imagemol) D:\pycharm_workspace\1\ImageMol>python finetune.py --gpu 0 --save_finetune_ckpt 1 --log_dir ./logs/toxcast --dataroot ./datasets/finetuning/MPP/classification/ --dataset toxcast --task_type classification --resume ./ckpts/ImageMol.pth.tar --image_aug --lr 0.5 --batch 64 --epochs 20
Architecture: ResNet18
eval_metric: rocauc
=> loading checkpoint './ckpts/ImageMol.pth.tar'
resume model info: arch: ResNet18
ResNet(
  (conv1): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
  (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (relu): ReLU(inplace=True)
  (maxpool): MaxPool2d(kernel_size=3, stride=2, padding=1, dilation=1, ceil_mode=False)
  (layer1): Sequential(
    (0): BasicBlock(
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (relu): ReLU(inplace=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    )
    (1): BasicBlock(
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (relu): ReLU(inplace=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    )
  )
  (layer2): Sequential(
    (0): BasicBlock(
      (conv1): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (relu): ReLU(inplace=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (downsample): Sequential(
        (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(2, 2), bias=False)
        (1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (1): BasicBlock(
      (conv1): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (relu): ReLU(inplace=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    )
  )
  (layer3): Sequential(
    (0): BasicBlock(
      (conv1): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (relu): ReLU(inplace=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (downsample): Sequential(
        (0): Conv2d(128, 256, kernel_size=(1, 1), stride=(2, 2), bias=False)
        (1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (1): BasicBlock(
      (conv1): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (relu): ReLU(inplace=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    )
  )
  (layer4): Sequential(
    (0): BasicBlock(
      (conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
      (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (relu): ReLU(inplace=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (downsample): Sequential(
        (0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
        (1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (1): BasicBlock(
      (conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (relu): ReLU(inplace=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    )
  )
  (avgpool): AdaptiveAvgPool2d(output_size=(1, 1))
  (fc): Linear(in_features=512, out_features=617, bias=True)
)
params: {'total_params': 11493033, 'total_trainable_params': 11493033}
[train epoch 0] loss: 0.243: 100%|███████████████████████████████████████████████████| 108/108 [03:11<00:00,  1.78s/it]
[valid epoch 0] loss: 0.210: 100%|███████████████████████████████████████████████████| 108/108 [00:35<00:00,  3.01it/s]
[valid epoch 0] loss: 0.215: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.10it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 0] loss: 0.242: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.10it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 0, 'patience': 0, 'Loss': 0.21016514742815937, 'Train': 0.692967624681878, 'Validation': 0.6699200988533057, 'Test': 0.6675434573214044}
[train epoch 1] loss: 0.208: 100%|███████████████████████████████████████████████████| 108/108 [01:50<00:00,  1.02s/it]
[valid epoch 1] loss: 0.199: 100%|███████████████████████████████████████████████████| 108/108 [00:36<00:00,  2.96it/s]
[valid epoch 1] loss: 0.207: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.14it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 1] loss: 0.230: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.05it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 1, 'patience': 0, 'Loss': 0.19889598422580296, 'Train': 0.736537038469584, 'Validation': 0.6994855864691358, 'Test': 0.7106267564003038}
[train epoch 2] loss: 0.205: 100%|███████████████████████████████████████████████████| 108/108 [01:49<00:00,  1.02s/it]
[valid epoch 2] loss: 0.191: 100%|███████████████████████████████████████████████████| 108/108 [00:37<00:00,  2.89it/s]
[valid epoch 2] loss: 0.204: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.03it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 2] loss: 0.225: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.09it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 2, 'patience': 0, 'Loss': 0.19094857463130244, 'Train': 0.7681750106520694, 'Validation': 0.713344336728154, 'Test': 0.7183564591204591}
[train epoch 3] loss: 0.197: 100%|███████████████████████████████████████████████████| 108/108 [01:51<00:00,  1.03s/it]
[valid epoch 3] loss: 0.188: 100%|███████████████████████████████████████████████████| 108/108 [00:36<00:00,  3.00it/s]
[valid epoch 3] loss: 0.204: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.13it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 3] loss: 0.225: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.12it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 3, 'patience': 0, 'Loss': 0.18818754620022243, 'Train': 0.7921560594726607, 'Validation': 0.7106094323867567, 'Test': 0.7319484429668179}
[train epoch 4] loss: 0.190: 100%|███████████████████████████████████████████████████| 108/108 [01:48<00:00,  1.00s/it]
[valid epoch 4] loss: 0.186: 100%|███████████████████████████████████████████████████| 108/108 [00:36<00:00,  2.96it/s]
[valid epoch 4] loss: 0.207: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.13it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 4] loss: 0.237: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.15it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 4, 'patience': 1, 'Loss': 0.18566039756492334, 'Train': 0.8042472190567201, 'Validation': 0.6931130950238147, 'Test': 0.7199134337688832}
[train epoch 5] loss: 0.188: 100%|███████████████████████████████████████████████████| 108/108 [01:52<00:00,  1.04s/it]
[valid epoch 5] loss: 0.430: 100%|███████████████████████████████████████████████████| 108/108 [00:36<00:00,  2.98it/s]
[valid epoch 5] loss: 0.447: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.09it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 5] loss: 0.464: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.12it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 5, 'patience': 2, 'Loss': 0.4297037831059209, 'Train': 0.6456776040426601, 'Validation': 0.5981636500016693, 'Test': 0.6110698962504955}
[train epoch 6] loss: 0.183: 100%|███████████████████████████████████████████████████| 108/108 [01:49<00:00,  1.02s/it]
[valid epoch 6] loss: 0.177: 100%|███████████████████████████████████████████████████| 108/108 [00:37<00:00,  2.89it/s]
[valid epoch 6] loss: 0.202: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.07it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 6] loss: 0.229: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.08it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 6, 'patience': 3, 'Loss': 0.17700029302526404, 'Train': 0.8396707209323335, 'Validation': 0.7284599584377031, 'Test': 0.7407342942104}
[train epoch 7] loss: 0.178: 100%|███████████████████████████████████████████████████| 108/108 [01:52<00:00,  1.04s/it]
[valid epoch 7] loss: 0.167: 100%|███████████████████████████████████████████████████| 108/108 [00:35<00:00,  3.00it/s]
[valid epoch 7] loss: 0.206: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.04it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 7] loss: 0.226: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.13it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 7, 'patience': 0, 'Loss': 0.16746581042254413, 'Train': 0.8556398733428161, 'Validation': 0.731332185707106, 'Test': 0.7492089206757857}
[train epoch 8] loss: 0.175: 100%|███████████████████████████████████████████████████| 108/108 [01:47<00:00,  1.00it/s]
[valid epoch 8] loss: 0.167: 100%|███████████████████████████████████████████████████| 108/108 [00:36<00:00,  2.98it/s]
[valid epoch 8] loss: 0.208: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.10it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 8] loss: 0.222: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.11it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 8, 'patience': 0, 'Loss': 0.16673416561550564, 'Train': 0.8644607852261611, 'Validation': 0.7262760021080655, 'Test': 0.7608370643734503}
[train epoch 9] loss: 0.169: 100%|███████████████████████████████████████████████████| 108/108 [01:48<00:00,  1.01s/it]
[valid epoch 9] loss: 0.159: 100%|███████████████████████████████████████████████████| 108/108 [00:35<00:00,  3.03it/s]
[valid epoch 9] loss: 0.210: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.14it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 9] loss: 0.232: 100%|█████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.08it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 9, 'patience': 1, 'Loss': 0.15940298857512297, 'Train': 0.8746694145575502, 'Validation': 0.7254201813375953, 'Test': 0.7528834309399343}
[train epoch 10] loss: 0.167: 100%|██████████████████████████████████████████████████| 108/108 [01:48<00:00,  1.01s/it]
[valid epoch 10] loss: 0.163: 100%|██████████████████████████████████████████████████| 108/108 [00:35<00:00,  3.01it/s]
[valid epoch 10] loss: 0.203: 100%|████████████████████████████████████████████████████| 14/14 [00:07<00:00,  1.99it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 10] loss: 0.225: 100%|████████████████████████████████████████████████████| 14/14 [00:07<00:00,  1.84it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 10, 'patience': 2, 'Loss': 0.16331072206850406, 'Train': 0.8759709469067016, 'Validation': 0.7251833198910242, 'Test': 0.7444111139117744}
[train epoch 11] loss: 0.164: 100%|██████████████████████████████████████████████████| 108/108 [01:53<00:00,  1.05s/it]
[valid epoch 11] loss: 0.155: 100%|██████████████████████████████████████████████████| 108/108 [00:37<00:00,  2.88it/s]
[valid epoch 11] loss: 0.204: 100%|████████████████████████████████████████████████████| 14/14 [00:07<00:00,  1.98it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 11] loss: 0.222: 100%|████████████████████████████████████████████████████| 14/14 [00:07<00:00,  1.86it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 11, 'patience': 3, 'Loss': 0.15538870846783673, 'Train': 0.8912424252365218, 'Validation': 0.7240295542159721, 'Test': 0.753792204644943}
[train epoch 12] loss: 0.160: 100%|██████████████████████████████████████████████████| 108/108 [01:51<00:00,  1.03s/it]
[valid epoch 12] loss: 0.208: 100%|██████████████████████████████████████████████████| 108/108 [00:37<00:00,  2.86it/s]
[valid epoch 12] loss: 0.257: 100%|████████████████████████████████████████████████████| 14/14 [00:07<00:00,  1.98it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 12] loss: 0.277: 100%|████████████████████████████████████████████████████| 14/14 [00:07<00:00,  1.92it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 12, 'patience': 4, 'Loss': 0.20842158352887188, 'Train': 0.8415256259318344, 'Validation': 0.6897028119621558, 'Test': 0.7009206570443501}
[train epoch 13] loss: 0.156: 100%|██████████████████████████████████████████████████| 108/108 [01:51<00:00,  1.03s/it]
[valid epoch 13] loss: 0.152: 100%|██████████████████████████████████████████████████| 108/108 [00:35<00:00,  3.01it/s]
[valid epoch 13] loss: 0.209: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.11it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 13] loss: 0.232: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.12it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 13, 'patience': 5, 'Loss': 0.15160143816912616, 'Train': 0.8998601673869299, 'Validation': 0.7268795973894058, 'Test': 0.7505586760702562}
[train epoch 14] loss: 0.155: 100%|██████████████████████████████████████████████████| 108/108 [01:47<00:00,  1.00it/s]
[valid epoch 14] loss: 0.146: 100%|██████████████████████████████████████████████████| 108/108 [00:35<00:00,  3.03it/s]
[valid epoch 14] loss: 0.211: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.10it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 14] loss: 0.237: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.11it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 14, 'patience': 6, 'Loss': 0.1462357309129503, 'Train': 0.9063451701636047, 'Validation': 0.7288304309373426, 'Test': 0.7492306562547975}
[train epoch 15] loss: 0.152: 100%|██████████████████████████████████████████████████| 108/108 [01:47<00:00,  1.00it/s]
[valid epoch 15] loss: 0.143: 100%|██████████████████████████████████████████████████| 108/108 [00:35<00:00,  3.03it/s]
[valid epoch 15] loss: 0.204: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.10it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 15] loss: 0.231: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.11it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 15, 'patience': 7, 'Loss': 0.1434713469611274, 'Train': 0.913865910273068, 'Validation': 0.7261471932487874, 'Test': 0.7458198395498474}
[train epoch 16] loss: 0.149: 100%|██████████████████████████████████████████████████| 108/108 [01:47<00:00,  1.00it/s]
[valid epoch 16] loss: 0.142: 100%|██████████████████████████████████████████████████| 108/108 [00:36<00:00,  2.97it/s]
[valid epoch 16] loss: 0.209: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.10it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 16] loss: 0.232: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.09it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 16, 'patience': 8, 'Loss': 0.14186685173599808, 'Train': 0.919563304190028, 'Validation': 0.7392030101383237, 'Test': 0.7529772831075494}
[train epoch 17] loss: 0.148: 100%|██████████████████████████████████████████████████| 108/108 [01:49<00:00,  1.01s/it]
[valid epoch 17] loss: 0.140: 100%|██████████████████████████████████████████████████| 108/108 [00:36<00:00,  2.94it/s]
[valid epoch 17] loss: 0.207: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.01it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 17] loss: 0.237: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.03it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 17, 'patience': 0, 'Loss': 0.14025064750953956, 'Train': 0.9222371081994448, 'Validation': 0.7333314785222289, 'Test': 0.7468212697003538}
[train epoch 18] loss: 0.146: 100%|██████████████████████████████████████████████████| 108/108 [01:49<00:00,  1.01s/it]
[valid epoch 18] loss: 0.135: 100%|██████████████████████████████████████████████████| 108/108 [00:36<00:00,  2.96it/s]
[valid epoch 18] loss: 0.208: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.02it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 18] loss: 0.238: 100%|████████████████████████████████████████████████████| 14/14 [00:07<00:00,  2.00it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 18, 'patience': 1, 'Loss': 0.1350550651550293, 'Train': 0.9267112674770283, 'Validation': 0.744386517934743, 'Test': 0.7505391845271615}
[train epoch 19] loss: 0.141: 100%|██████████████████████████████████████████████████| 108/108 [01:50<00:00,  1.02s/it]
[valid epoch 19] loss: 0.132: 100%|██████████████████████████████████████████████████| 108/108 [00:36<00:00,  2.97it/s]
[valid epoch 19] loss: 0.212: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.06it/s]
Some target is missing! Missing ratio: 0.02 [605/617]
[valid epoch 19] loss: 0.235: 100%|████████████████████████████████████████████████████| 14/14 [00:06<00:00,  2.11it/s]
Some target is missing! Missing ratio: 0.01 [610/617]
{'epoch': 19, 'patience': 0, 'Loss': 0.13230810342011629, 'Train': 0.9326320968407155, 'Validation': 0.7282062713930527, 'Test': 0.7534077089166729}
final results: highest_valid: 0.744, final_train: 0.927, final_test: 0.751

最后会在logs下生成微调后的模型：

Finetuned models（Finetuned 好的模型）

To ensure the reproducibility of ImageMol, we provided finetuned models for eight datasets, including:

BBBP
Tox21
ClinTox
HIV
BACE
SIDER
MUV
ToxCast

You can evaluate the finetuned model by using the following command:

python evaluate.py --dataroot ${dataroot} \
                   --dataset ${dataset} \
                   --task_type ${task_type} \
                   --resume ${resume} \
                   --batch ${batch}

For example:

python evaluate.py --dataroot ./datasets/finetuning/benchmarks \
                   --dataset toxcast \
                   --task_type classification \
                   --resume ./toxcast.pth \
                   --batch 128

python evaluate.py --dataroot ./datasets/finetuning/MPP/classification --dataset toxcast --task_type classification --resume ./ckpts/toxcast.pth --batch 128

GradCAM Visualization

More about GradCAM heatmap can be found from this link: https://drive.google.com/file/d/1uu3Q6WLz8bJqcDaHEG84o3mFvemHoA2v/view?usp=sharing

To facilitate observation of high-confidence regions in the GradCAM heatmap, we use a confidence to filter out lower-confidence regions, which can be found from this link: https://drive.google.com/file/d/1631kSSiM_FSRBBkfh7PwI5p3LGqYYpMc/view?usp=sharing

run script

We also provide a script to generate GradCAM heatmaps:

usage: main.py [-h] [--image_model IMAGE_MODEL] --resume PATH --img_path
               IMG_PATH --gradcam_save_path GRADCAM_SAVE_PATH
               [--thresh THRESH]

you can run the following script:

python main.py --resume ${resume} \
               --img_path ${img_path} \
               --gradcam_save_path ${gradcam_save_path} \
               --thresh ${thresh}

Process your own dataset

If you want to process your own dataset and obtain molecular images, use the following steps:

Preprocessing smiles: Please use the method preprocess_list(smiles) of this link to process your raw SMILES data;
Transforming smiles to image: Convert canonical smiles to molecular images using dataloader.image_dataloader.Smiles2Img(smis, size=224, savePath=None)

https://github.com/HongxinXiang/ImageMol

你可能感兴趣的:(自监督学习相关,AIDrug,人工智能,深度学习,计算机视觉)

QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
关于沟通这件事，项目经理不需要每次都面对面进行流程大师兄
很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
向内而求陈陈_19b4
10月27日，阴。阅读书目:《次第花开》。作者:希阿荣博堪布，是当今藏传佛家宁玛派最伟大的上师法王，如意宝晋美彭措仁波切颇具影响力的弟子之一。多年以来，赴海内外各地弘扬佛法，以正式授课、现场开示、发表文章等多种方法指导佛学弟子修行佛法。代表作《寂静之道》、《生命这出戏》、《透过佛法看世界》自出版以来一直是佛教类书籍中的畅销书。图片发自App金句:1.佛陀说，一切痛苦的根源在于我们长期以来对自身及外
html 中如何使用 uniapp 的部分方法某公司摸鱼前端 html uni-app 前端
示例代码：Documentconsole.log(window);效果展示：好了，现在就可以uni.使用相关的方法了
抖音乐买买怎么加入赚钱?赚钱方法是什么测评君高省
你会在抖音买东西吗?如果会，那么一定要免费注册一个乐买买，抖音直播间，橱窗，小视频里的小黄车买东西都可以返佣金!省下来都是自己的，分享还可以赚钱乐买买是好省旗下的抖音返佣平台，乐买买分析社交电商的价值，乐买买属于今年难得的副业项目风口机会，2019年错过做好省的搞钱的黄金时期，那么2022年千万别再错过乐买买至于我为何转到高省呢？当然是高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自
我的烦恼余建梅
我的烦恼。女儿问我：“你给学生布置什么作文题目？”“《我的烦恼》。”“他们都这么大了，你觉得他们还有烦恼吗？”“有啊！每个人都会有自己烦恼。”“我不相信，大人是没有烦恼的，如果说一定有的话，你的烦恼和我写作业有关，而且是小烦恼。不像我，天天被你说，有这样的妈妈，烦恼是没完没了。”女儿愤愤不平。每个人都会有自己的烦恼，处在上有老下有小的年纪，烦恼多的数不完。想干好工作带好孩子，想孝顺父母又想经营好自
《大清方方案》| 第二话谁佐清欢
和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
今日联对0306 诗图佳得
自对联：烟销皓月临江浒，水漫金山荡塔裙。一一肖士平2020.3.6.1、试对肖老师联：烟销皓月临江浒，夜笼寒沙梦晚舟。耀哥求正2、试对萧老师联:烟销浩月临江浒，雾散乾坤解汉城。秀霞习作请各位老师校正3、自对联：烟销皓月临江浒，水漫金山荡塔裙。一一肖士平2020.3.6.4、试对肖老师垫场联：烟销皓月临江浒，雾锁寒林缈葉丛。小智求正[抱拳]5、试对肖老师联：烟销皓月临江浒；风卷乱云入峰巅。一一五品6
水泥质量纠纷案代理词徐宝峰律师
贵州领航建设有限公司诉贵州纳雍隆庆乌江水泥有限公司产品质量纠纷案代理词尊敬的审判长、审判员：贵州千里律师事务所接受被告贵州纳雍隆庆乌江水泥有限公司的委托，指派我担任其诉讼代理人，参加本案的诉讼活动。下面，我结合本案事实和相关法律规定发表如下代理意见，供合议庭评议案件时参考：原告应当举证证明其遭受的损失与被告生产的水泥质量的因果关系。首先水泥是一种粉状水硬性无机胶凝材料。加水搅拌后成浆体，能在空气中
怎么起诉借钱不还的人？怎样起诉欠款不还的人？影子爱学习
怎么起诉借钱不还的人？怎样起诉欠款不还的人？如果遇到难以解决的法律问题，我们可以匹配专业律师。例如：婚姻家庭（离婚纠纷）、刑事辩护、合同纠纷、债权债务、房产（继承）纠纷、交通事故、劳动争议、人身损害、公司相关法律事务（法律顾问）等咨询推荐手机/微信:15633770876【全国案件皆可】借钱不还起诉对方需要哪些资料起诉欠钱不还的，一般需要的材料包括以下这些：借据、收据、欠条、付款凭证等证据，以及向
第四天旅游线路预览——从换乘中心到喀纳斯湖陟彼高冈yu 基于Google earth studio 的旅游规划和预览旅游
第四天：从贾登峪到喀纳斯风景区入口，晚上住宿贾登峪；换乘中心有4路车，喀纳斯①号车，去喀纳斯湖，路程时长约5分钟；将上面的的行程安排进行动态展示，具体步骤见”Googleearthstudio进行动态轨迹显示制作过程“、“Googleearthstudio入门教程”和“Googleearthstudio进阶教程“相关内容，得到行程如下所示：Day4-2-480p
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
数组去重好奇的猫猫猫
整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
【PG】常见数据库、表属性设置江无羡数据库
PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
2019-11-04复盘——飞来山上千寻塔，闻说鸡鸣见日升。那一叶秋
1、大盘篇先上老图，看习惯了，也就知道走势了图1上证指数日线图还是那张老图，自己可以在自己的相关软件上画出来，快变盘了。2、个股篇未加仓、未减仓。分析量能的时候，突然发现这么一个东西：“放量突破年线，缩量回调。”合众科技日线图其实，最近的N只个股，在技术分析上，都到了变盘的临界时候。结合这么久的走势，特别是ZJH不断放开IPO的申请，本质上说是融资难度变大，或者说是为企业的融资开创便利。但现在市场
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
舜公郑金锋书辛丑自剪扇面书法作品（四O六）舜公郑金锋
辛丑小阳春，新自剪扇面400品，大多为各色撒金、撒银、描金、描银、水印、彩绘、荧光等亚粉、色宣纸，以及域外包装填充纸等；王一品长锋羊毫秃笔；一得阁云头艳墨、宿墨、水等。书体有甲骨文，金文(商周金文、春秋战国金文、中山王厝器金文、汉金文……)，楚简帛书，侯马盟书，温县盟书，小篆，果蝙书等，隶书(秦简、汉简帛书、汉碑……)，草书(章草、小草、大草……)，行书(行楷、行草)，楷书(魏碑及北朝墓志、隋朝墓
在Ubuntu中编译含有JSON的文件出现报错芝麻糊76 Linux kill_bug linux ubuntu json
在ubuntu中进行JSON相关学习的时候，我发现了一些小问题，决定与大家进行分享，减少踩坑时候出现不必要的时间耗费截取部分含有JSON部分的代码进行展示char*str="{\"title\":\"JSONExample\",\"author\":{\"name\":\"JohnDoe\",\"age\":35,\"isVerified\":true},\"tags\":[\"json\",\"
4招写出高价值文章 zhiliner
文章写得泛泛是因为思考得不够深，思考得越深文章会越有价值。拿到一个主题一定要去深入挖掘事件背后的东西，比如人物困境以及趋势性的东西。写作过程中有几个深度思考的方法一、解剖，让旧素材焕发新意作为一个写作者，我们能够做的最大贡献，就是给出自己看世界的角度。解剖其实就是把这个话题相关的信息都列出来，详细的列出来，看清楚它的内部。我们看到一个老话题或者一段旧素材的时候，不要只看这个素材或者话题本身，一定要
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
2021-02-13 琛周
今天ori居然在车站跟我说，自己要离婚还以为是开玩笑，md，这才大年初一呢虽然我也不把过年当回事这一年或者说，自2020年以来仿佛一切的事儿都变得顺了不少爆裂的事儿合肥的事儿等等上天发牌的事儿我觉得我脑子还是挺好使的我这些年的确没缺过钱可能做成一个事儿以后，往后也不会缺了头疼所谓当局者迷，就是我给自己安排工作的时候，懒得动给助理安排工作的时候，神神叨叨。淦
最超值的Mac——Mac mini 初心么么哒
你知道最超值的Mac是什么吗？自2005年以来，Macmini一直是Apple台式机产品线中的主要产品。最初推出是为了让对Mac好奇的Mac进入Apple生态系统的一种简单方式，现在新的AppleSiliconMacmini可能是任何寻找新Mac的人的最有吸引力的购买。什么是AppleSiliconMacmini？M1Macmini是Apple最小的台式电脑，同时也是最快的台式电脑之一。最新型号由
【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linux linux 运维服务器
归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
生命如花坦释空
每个人的心中都有一株妙莲花。这是禅家语。禅家总是站在理性的高处，以超越红尘的洒脱来参悟人生和自省生命。那么，凡俗中人呢？生如夏花之绚丽，死如秋叶之静美。这是诗人语。多少人在赞美：姑娘好像花一样！又有多少人在咏歌：花儿与少年。的确，人生如花。花一样的生命，理应自诞生之日起，就一瓣一瓣地绽放她的美丽与清香，使这个原本死寂荒凉的世界五彩缤纷，充满快乐。事实上，人类自诞生起，就一代一代地做着这方面的努力，
java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs java jdk
好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
IT人应当知道的10个行业小内幕 beijingjava 工作互联网
10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
java 实现自定义链表 CrazyMizzz java 数据结构
1.链表结构链表是链式的结构 2.链表的组成链表是由头节点，中间节点和尾节点组成节点是由两个部分组成： 1.数据域 2.引用域 3.链表的实现 &nbs
web项目发布到服务器后图片过一会儿消失麦田的设计者 struts2 上传图片永久保存
作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniter Cart 框架　
今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
linux回收站 _wy_ linux 回收站
今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
jquery回到页面顶端知了ing html jquery css
html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
B树、B-树、B+树、B*树矮蛋蛋 B树
原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
数据库连接池 alafqq 数据库连接池
http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼数据库连接池用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
java泛型百合不是茶 java泛型
泛型在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患泛型的特点：消除强制转换确保类型安全向后兼容简单泛型的定义：泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
javascript闭包[两个小测试例子] bijian1013 JavaScript JavaScript
一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
探索JUnit4扩展：假设机制（Assumption） bijian1013 java Assumption JUnit 单元测试
一.假设机制（Assumption）概述理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
【Gson四】范型POJO的反序列化 bit1129 POJO
在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO import com.google.gson.Gson; import java.
【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
NGINX + LUA实现复杂的控制 ronin47 nginx lua
安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
java-递归判断数组是否升序 bylijinnan java
public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
Netty源码学习-DefaultChannelPipeline2 bylijinnan java netty
Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”：如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB）来
Java工具之JPS chinrui java
JPS使用熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
window.print分页打印 ctrain window
function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
安装hadoop时执行jps命令Error occurred during initialization of VM daizj jdk hadoop jps
在安装hadoop时，执行JPS出现下面错误 [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
PHP开发大型项目的一点经验 dcj3sjt126com PHP 重构
一、变量最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
linux复习笔记之bash shell (3) 通配符 eksliang linux 通配符 linux通配符
转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。下面列出一些常用的通配符，如下表所示符号意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
Android关于短信加密 gqdy365 android
关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）： 1、因为Android有短信收发接口，可以调用接口完成短信收发；发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
asp.net在网站根目录下创建文件夹 hvt .net C#hovertree asp.net Web Forms
假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
一个合格的程序员应该读过哪些书 justjavac 程序员书籍
编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本，你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。以前就有国内网友介绍这个程序员书单，不过都是推荐数
单实例实践跑龙套_az 单例
1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
PO VO BEAN 理解 q137681467 VO DTO po
PO：全称是 persistant object持久对象最形象的理解就是一个PO就是数据库中的一条记录。好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。 BO：全称是 business object:业务对象主要作用是把业务逻辑封装为一个对象。这个对
战胜惰性，暗自努力金笛子努力
偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？我有个朋友是搞技术的，平时嘻嘻哈哈，以
NDK/JNI二维数组多维数组传递 wenzongliang 二维数组 jni NDK
多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s