天才一秒记住【长江书屋】地址:https://www.cjshuwu.com
“我们现有的图像分类流程:特征提取、编码、池化、分类器。”
曹鹏画了四个方框,“问题在于,手工设计的特征,比如sift....在类别增多、视角变化剧烈时,区分度下降。
而编码阶段用的k-means或稀疏编码,本质是假设特征服从单一分布。”
说到这儿,他等等,看是否有人提问。
维杰动了动嘴唇,但最终选择放弃。
“我的提议是,放弃手工特征,直接从像素学起。”
曹鹏在“特征提取”
框上打了个叉,“但不是用传统的全连接神经网络,参数量太大,且忽略图像的空间局部性。
我设计了一个多尺度稀疏自编码器结构。”
他又在白板上画出三层结构,第一层是小感受野的卷积核,提取边缘纹理,第二层卷积核变大,整合局部结构,第三层是全连接层,但施加l1稀疏约束。
每一层都用无监督预训练初始化,再用反向传播微调。
“关键在这里,”
曹鹏在第三层旁写下公式,“我们不在像素空间做稀疏,而是在特征空间做。
将每张图的特征激活视为一个信号,用字典学习找到过完备基,然后求解稀疏系数。”
“这样,分类问题转化为,在字典空间中找到最具判别力的稀疏模式。”
说着,写下一串数学符号。
然后转向实际问题,“我在caltech101数据集上试了初步版本。
64x64的图,三层结构,第一层用6x6卷积核,步长2,得到16个特征图;第二层……”
“等等。”
维杰终于举手,语气带着质疑,“曹,你算过时间复杂度吗?光是第一层卷积,假设输入是64x64的rgb图,6x6核,步长2,输出16个特征图,一次前向传播就需要多少乘加操作?这还没算上稀疏编码的迭代优化。
你的模型能在合理时间内完成训练吗?”
问题尖锐,但曹鹏预料到了。
他保持平静,甚至微笑。
“好问题。
我算过。”
他走到白板另一侧,快速写下算式,“第一层卷积,输入64x64x3,核6x6x3x16,步长2,输出特征图尺寸30x30x16。
乘加次数约:(6x6x3)x(30x30)x16
=
1,555,200次。
对于caltech-101的9144张图,一个epoch是142亿次操作。
在双xeon
3.0ghz的服务器上,用高度优化的c++和sse指令,一个epoch大约需要47分钟。”
数字精确到个位。
会议室安静了。
“但这只是朴素实现。”
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!