深度学习ECCV2014,imagenet比赛冠亚军GOOGLENET,VGG运算性能分析

这些天跑VGG和GOOGLENET真心快被虐哭了,VGG跑了2个星期才收敛到错误率40%,然后换了土豪的K40,跑一些测试结果给大家看,第一part分享一下性能报告,程序跑在Nvidia K40,显存12G,内存64G服务器,训练和测试数据集建立在自有数据集及imagenet数据集

        训练配置:batchsize=128 

caffe自有的imagenet with cuDNN模型快于googlenet with cuDNN      

VGG16层不用cuDNN慢于caffe自有的imagenet with cuDNN模型

VGG19层不用cuDNN慢于caffe自有的imagenet with cuDNN模型

 

一、CAFFE 自带配置,使用cuDNN

        Forward速度 : 220ms

        Backward速度 :360ms

二、CAFFE 自带配置,不使用cuDNN

        Forward速度 : 300ms

        Backward速度 :410ms

三、GoogleNet,使用cuDNN

        Forward速度 : 614ms

        Backward速度 :1377ms

四、GoogleNet,不使用cuDNN

        Forward速度 : 1145ms

        Backward速度 :2009ms

五、VGG16层,使用cuDNN

        Forward速度 : 3101ms

        Backward速度 :8002ms

六、VGG19层,使用cuDNN

        Forward速度 : 3972ms

        Backward速度 :8540ms

        这里有个问题,据大家讨论说VGG的不用cuDNN会快于用cuDNN,这个需要验证,后续可以update给大家,暂时计算资源比较紧缺,没法实验

        另外想说的是,VGG收敛极其缓慢,不建议随便用VGG做工程,跑个参数就可以了,呵呵,土豪的老美,预计VGG收敛需要1个月。


郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。