标题 内容
这个作业属于哪个课程 人工智能实战2019
这个作业的要求在哪里 练习调整超参
这个作业在哪个具体方面帮助我实现目标 体验超参对学习结果的影响

实验结果

  • 本次实验，假设各个变量相互独立使用控制变量的方法进行测试(实际情况看来假设不成立= =)。由于实验结果具有不可重复性，所以对每组参数都进行了两次测试

学习率的影响

test learning_rate n_hidden1 n_hidden2 epoch batch_size accuracy
1 0.05 32 16 2 10 0.9521
32 16 2 10 0.9487
2 0.1 32 16 2 10 0.9548
32 16 2 10 0.9469
3 0.2 32 16 2 10 0.9532
32 16 2 10 0.9537
4 0.5 32 16 2 10 0.9532
32 16 2 10 0.9563
  • 结论：有以上几组测试看来学习率并无明显变化，并且过低的学习率会使训练时间明显变长并且得到的结果可能是局部最优。

epoch的影响

test learning_rate n_hidden1 n_hidden2 epoch batch_size accuracy
1 0.2 32 16 2 10 0.9532
32 16 2 10 0.9537
2 0.2 32 16 5 10 0.96
32 16 5 10 0.9621
3 0.2 32 16 10 10 0.96
32 16 10 10 0.9628
4 0.2 32 16 15 10 0.9668
32 16 15 10 0.966
  • 结论：随着epoch次数的提高准确率变高了！但是训练时间也随之等比例增加

batch_size的影响

test learning_rate n_hidden1 n_hidden2 epoch batch_size accuracy
1 0.2 32 16 2 2 0.9204
32 16 2 2 0.9243
2 0.2 32 16 2 5 0.9496
32 16 2 5 0.9435
3 0.2 32 16 2 10 0.9565
32 16 2 10 0.9513
4 0.2 32 16 2 15 0.9529
32 16 2 15 0.9575
  • 结论:batch_size过大或者过小都不是理想的选择，10正合适

隐层神经元个数的影响

test learning_rate n_hidden1 n_hidden2 epoch batch_size accuracy
1 0.2 32 16 2 10 0.9486
32 16 2 10 0.9559
2 0.2 64 32 2 10 0.963
64 32 2 10 0.966
3 0.2 128 16 2 10 0.9611
128 16 2 10 0.9684
4 0.2 128 64 2 10 0.9622
128 64 2 10 0.9607
5 0.2 100 20 2 10 0.9652
100 20 2 10 0.9646
  • 结论：这个参量就比较玄学了，几组结果相差不过，不过神经元个数越多，训练速度也越慢。看起来100-20是个不错的选择

根据测试结果猜测的最优组合

  • learning_rate = 0.2
  • epoch = 20
  • batch_size =10
  • n_hidden1 = 100
  • n_hidden2 = 20
  • accuracy = 0.9812
    人工智能实战2019第六次作业 焦宇恒 随笔
扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄