长江书屋

第1811章 哥你什么时候来的(第5页)

天才一秒记住【长江书屋】地址:https://www.cjshuwu.com

曹鹏继续,“我做了三处优化,一,将卷积转化为矩阵乘法,用strassen算法加速,二,利用特征图之间的独立性,并行计算。

三,稀疏编码阶段,我用了改进的迭代收缩阈值算法,将收敛速度提升了40%。

最终,完整训练一轮的时间是28分钟,在可接受范围内。”

维杰盯着算式,手指无意识敲着桌面。

几秒后,他抬头,“准确率呢?你说了这么多计算,但分类效果比sift+spm的空间金字塔匹配好多少?”

“caltech-101,sift+spm的最好结果是78.3%。”

曹鹏抽出打印好的图表,贴在白板上,“我的方法,在相同训练、测试划分下,目前是81.7%。

错误分析显示,提升主要来自动物类和交通工具类。”

“这些类别视角变化大,手工特征容易失效。”

3.4个百分点的提升,在视觉领域已算显着。

艾米丽轻声赞叹,汤姆也坐直了身体,只有捷尔任斯基,小声的吹了个口哨。

但维杰还没放弃,“你的模型参数量多大?过拟合风险呢?”

“参数量,卷积层约1.7万,全连接层约12万,总计不到14万。

作为对比,一个三层的全连接神经网络,输入是64x64x3=维,隐层若取500单元,参数量就超过600万。”

曹鹏从容应对,“至于过拟合,我用到了数据增强,平移、旋转、缩放、dropout,以及在损失函数中加入权重衰减。

五折交叉验证的方差在0.8%以内。”

滴水不漏。

维杰靠回椅背,终于露出一丝苦笑,“行吧,看来你都考虑到了。”

“不,还有问题。”

曹鹏忽然说。

所有人都看向他。

他指向白板上的一处,“稀疏编码的字典学习,我目前用的是在线梯度下降,但初始化敏感。

我试了ksvd和d,效果都不稳定。”

“这是我今天想请教大家的:有没有更好的字典初始化策略?或者,我们是否该换一种思路,不学固定的字典,而学一个能生成字典的函数?”

问题抛回给小组。

一直沉默的瑞迪教授此时开口,声音里带着赞许,“很棒的思考,曹。

字典初始化……让我想到非线性降维中的局部线性嵌入。

或许可以将lle的邻域重构思想迁移过来,用局部样本的线性组合初始化字典原子。”

讨论就此转向更深的技术细节。

维杰出用拉普拉斯特征映射约束字典原子的平滑性,艾米丽建议在损失函数中加入判别性项。

汤姆贡献了一个cuda加速的idea。

虽然实现细节有待商榷。

曹鹏听着,不时点头,在笔记本上记录。

辩论时的锋芒收起了,此刻他是海绵,吸收每一点有用的灵感。

当艾米丽提出一个巧妙的正则化方法时,他眼睛一亮,迅速推演了几步,抬头说,“这个可以和我之前想的流形约束结合。”

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)




新书推荐

全能影后的花式撩法韶光艳龙符师妹疯癫一笑,对方生死难料我和大圣是兄弟替身养猪去了[快穿]总裁大人超给力大国工程NBA禁区推土机神农别闹玄学大佬只想当咸鱼我当大圣姐姐这些日子,操碎了心特种岁月穿成窝囊小姐的贴身丫鬟太古神王懒妻教育得当,三胞胎有事就喊爹我的狗狗公司闻名世界神圣罗马帝国氪金养美人,我躺着赢麻了豪门拖油瓶,我靠画符爆红全网事业脑咸鱼在八零九龙吞珠魏武侯枭门邪妻极品捉妖系统妻是主播传奇篮神