二分类神经网络的特征光谱---1-2至1-9

制作一个二分类的神经网络来分类mnist的1和2到1和9,网络结构是

(mnist 0 ,mnist x)81-30-2-(1,0) || (0,1)

将28*28的图片压缩到9*9,三层网络的节点数量分别是81*30*2,让1向(1,0)收敛让x向(0,1)收敛,让x分别等于2-9.网络的迭代停止的标准是:

|输出函数-目标函数|<δ

让δ=1e-6,重复收敛999次,统计平均值和分布,然后用得到的迭代次数的分布数据画图

网络性能的综合数据

 

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/999次

最大值p-max

主峰位置

主峰强度

峰数量

1-2

0.999999

7.91E-07

28623.66

0.988459836

1.00E-06

550.6747

550142

0.993536

25547

80.10%

8

1-3

0.004005

0.9959951

106917.1

0.993804439

1.00E-06

2078.573

2076495

0.998134

111024

28.10%

38

1-4

0.999999

6.39E-07

22685.28

0.99255541

1.00E-06

247.5656

247350

0.994802

18067

51.70%

4

1-5

0.826826

0.1731737

78103.31

0.993875909

1.00E-06

1479.884

1478416

0.996051

75699

13.40%

56

1-6

0.999999

8.06E-07

20213.1

0.993139889

1.00E-06

345.5656

345240

0.994264

20187

68.20%

9

1-7

0.999999

7.83E-07

24778.82

0.977754699

1.00E-06

464.7958

464363

0.987348

27857

49.50%

9

1-8

0.010011

0.9899891

154130.7

0.991875707

1.00E-06

2846.962

2844120

0.996681

154366

19.80%

53

1-9

0.997997

0.0020028

40372.43

0.9907244

1.00E-06

784.5295

783778

0.99347

35239

55.50%

15

比如第一组数据用网络分类mnist的1和2,重复收敛了999次,平均迭代次数是28623次,平均准确率是98.8%,共耗时大约9分钟,准确率最大的一次是99.3%。

得到的迭代次数统计数据

1-2

25547

31479

32789

35543

40279

41475

42785

50275

                                                                                                   
 

801

1

5

7

82

34

66

3

                                                                                                   

1-3

84958

88690

91032

91680

91706

93548

94900

94954

97972

98686

100876

101028

101676

101702

102049

103544

104810

104896

104950

105120

107968

108226

108682

109751

110872

111024

111698

113540

114624

114892

114946

115116

117964

119747

120868

121020

124942

130864

                                       
 

1

2

5

3

4

1

1

43

1

2

2

221

10

18

1

6

2

10

213

1

3

2

2

1

35

281

4

1

1

3

54

1

1

2

28

28

1

4

                                       

1-4

18067

23467

25243

28063

                                                                                                           
 

517

23

35

424

                                                                                                           

1-5

48178

48398

57659

58394

65703

67655

68170

68304

68390

68748

69045

70499

70519

70813

72409

73431

75699

77651

78166

78274

78300

78386

78458

78744

79041

79121

79267

79587

80495

80515

80809

82405

83427

85302

85695

87647

88162

88270

88296

88382

88454

88740

89263

89583

90491

90805

92401

93423

95691

97643

98266

98292

98450

98736

103419

113415

   
 

1

2

3

10

106

66

10

10

14

1

1

1

1

94

1

1

134

51

20

1

25

10

1

2

1

1

4

11

15

1

111

11

57

1

20

19

14

4

21

8

2

2

1

7

7

6

6

69

1

4

3

8

1

2

13

2

   

1-6

19407

19731

20187

20777

20803

27211

29403

29727

30183

                                                                                                 
 

135

59

682

86

26

5

4

1

1

                                                                                                 

1-7

17861

24259

25511

27857

34255

34827

43731

44251

44823

                                                                                                 
 

312

121

9

495

46

6

1

8

1

                                                                                                 

1-8

124378

126998

132682

132714

134374

136994

141292

141394

142286

142678

142710

144370

144686

146528

146990

148986

151288

151390

152282

152674

152706

154366

154682

156524

156986

158893

161090

161284

161386

162278

162670

162702

164362

166520

166982

167645

168889

171280

171382

172274

172666

172698

174358

176978

178885

180244

181276

181378

184354

186974

191374

194350

196970

         
 

4

4

2

5

47

27

4

1

1

4

11

176

1

1

75

1

7

7

2

26

27

198

1

2

83

6

1

7

11

1

12

14

87

2

41

1

1

4

9

3

1

1

38

18

2

1

2

2

7

5

2

1

2

         

1-9

25243

35239

45235

55231

65227

75223

85219

107303

115095

117299

119793

122751

129301

136446

156438

                                                                                     
 

68

555

266

77

18

4

2

1

1

1

1

2

1

1

1

                                                                                     

比如第一组1-2,虽然平均值是28623但是只有8个离散的迭代次数,其中25547占比达到80.1%。

将1-2画成图

二分类神经网络的特征光谱---1-2至1-9_第1张图片

只有一个主峰非常明显,这也是1-2至1-9共8个谱中信号强度最强的一个主峰。虽然主峰如此明显但是1-2并不是分类准确率最高的。按照准确率排名1-2仅好于1-7

1-5>1-3>1-6>1-4>1-8>1-9>1-2>1-7

 

平均准确率p-ave

最大值p-max

主峰位置

主峰强度

峰数量

1-7

0.977755

0.987348

27857

49.50%

9

1-2

0.98846

0.993536

25547

80.10%

8

1-9

0.990724

0.99347

35239

55.50%

15

1-8

0.991876

0.996681

154366

19.80%

53

1-4

0.992555

0.994802

18067

51.70%

4

1-6

0.99314

0.994264

20187

68.20%

9

1-3

0.993804

0.998134

111024

28.10%

38

1-5

0.993876

0.996051

75699

13.40%

56

直观上2和7的外形与1比较相近,因而分辨准确率较低,因为外形相近峰数量比较少,并进而导致峰的分布比较集中。3和5的外形与1的外形差异比较大,因而有比较多的比较位点,并进而产生了更多的峰,并导致主峰相对强度不是很高,但是分辨准确率很高。

但这种方法不能解释1-4,1-6和1-8,1-9,因为1-4,1-6的峰数量更少但是准确率却更高,或许可以假设除了峰数量和峰强度外还有一个表示峰价值的参数存在,三个参数共同作用决定分类准确率。

1-3的谱

二分类神经网络的特征光谱---1-2至1-9_第2张图片

有3个明显的主峰分别是101028,104950,111024强度分别是22.1%,21.3%,28.1%,

这张图里有非常明显的一个等距的关系

101028-94954=111024-104950=121020-114946=6074

 

1-4的谱

二分类神经网络的特征光谱---1-2至1-9_第3张图片

这张谱只有4个峰值,18067占比51.7%,28063占比42.4%。

这个测试的网络的进样顺序是一样的,也就是999次的实验除了每次的权重不同以外没有其他的差别,但是只有明显的4个峰值,这个现象表明如果把权重看作一个随机数列,这个随机数列对网络

(mnist 0 ,mnist 4)81-30-2-(1,0) || (0,1)

只有4种可能。也就是可以把神经网络的迭代次数的分布理解成是对随机数列的分类。

1-5的谱

二分类神经网络的特征光谱---1-2至1-9_第4张图片

1-5的三个主峰分别是65703,75699,80809,强度分别是10.6%,13.4%,11.1%。这三个主峰分别有三个伴峰67655,77651,83427,这三个伴峰大约都在主峰1.03%的位置。

70813-65703,80809-75699这4个峰是等间距分布的,间距5110.

1-6的谱

二分类神经网络的特征光谱---1-2至1-9_第5张图片

1-6有一个非常明显的主峰20187,占比68.2%。8张图里峰值强度排名第二的峰,特征非常明显。

1-7的谱

二分类神经网络的特征光谱---1-2至1-9_第6张图片

1-7前3个主峰17861,24259,27857占比31.2%,12.1%,49.5%。

这张图里也有一个等距的关系24259-17861=34255-27857=6398

 

1-8的谱

二分类神经网络的特征光谱---1-2至1-9_第7张图片

1-8的谱中强度大于10%的只有两个峰144370,154366强度分别是17.6%,19.8%。

这张图的等距关系更为明显

主峰

 

伴峰

144370-134374

146990-136994

154366-144370

156986-146990

164362-154366

166982-156986

174358-164362

176978-166982

9996

 

9996

5个主峰和5个伴峰他们之间都是等间距分布。

1-9的谱

二分类神经网络的特征光谱---1-2至1-9_第8张图片

1-9中强度大于10%的峰值有两个35239,45235强度分布是55.5%,26.6%,

这张图的等距关系更为明显35239-25243=45235-35239=55231-45235=65227-55231=75223-65227=85219-75223=9996

 

 这8张谱的峰值的位置和强度都特征明显,足以将对应的网络分开。

 

 

你可能感兴趣的:(用神经网络模拟分子)