长江书屋

第1811章 哥你什么时候来的(第4页)

天才一秒记住【长江书屋】地址:https://www.cjshuwu.com

“我们现有的图像分类流程:特征提取、编码、池化、分类器。”

曹鹏画了四个方框,“问题在于,手工设计的特征,比如sift....在类别增多、视角变化剧烈时,区分度下降。

而编码阶段用的k-means或稀疏编码,本质是假设特征服从单一分布。”

说到这儿,他等等,看是否有人提问。

维杰动了动嘴唇,但最终选择放弃。

“我的提议是,放弃手工特征,直接从像素学起。”

曹鹏在“特征提取”

框上打了个叉,“但不是用传统的全连接神经网络,参数量太大,且忽略图像的空间局部性。

我设计了一个多尺度稀疏自编码器结构。”

他又在白板上画出三层结构,第一层是小感受野的卷积核,提取边缘纹理,第二层卷积核变大,整合局部结构,第三层是全连接层,但施加l1稀疏约束。

每一层都用无监督预训练初始化,再用反向传播微调。

“关键在这里,”

曹鹏在第三层旁写下公式,“我们不在像素空间做稀疏,而是在特征空间做。

将每张图的特征激活视为一个信号,用字典学习找到过完备基,然后求解稀疏系数。”

“这样,分类问题转化为,在字典空间中找到最具判别力的稀疏模式。”

说着,写下一串数学符号。

然后转向实际问题,“我在caltech101数据集上试了初步版本。

64x64的图,三层结构,第一层用6x6卷积核,步长2,得到16个特征图;第二层……”

“等等。”

维杰终于举手,语气带着质疑,“曹,你算过时间复杂度吗?光是第一层卷积,假设输入是64x64的rgb图,6x6核,步长2,输出16个特征图,一次前向传播就需要多少乘加操作?这还没算上稀疏编码的迭代优化。

你的模型能在合理时间内完成训练吗?”

问题尖锐,但曹鹏预料到了。

他保持平静,甚至微笑。

“好问题。

我算过。”

他走到白板另一侧,快速写下算式,“第一层卷积,输入64x64x3,核6x6x3x16,步长2,输出特征图尺寸30x30x16。

乘加次数约:(6x6x3)x(30x30)x16

=

1,555,200次。

对于caltech-101的9144张图,一个epoch是142亿次操作。

在双xeon

3.0ghz的服务器上,用高度优化的c++和sse指令,一个epoch大约需要47分钟。”

数字精确到个位。

会议室安静了。

“但这只是朴素实现。”

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)




新书推荐

全能影后的花式撩法韶光艳龙符师妹疯癫一笑,对方生死难料我和大圣是兄弟替身养猪去了[快穿]总裁大人超给力大国工程NBA禁区推土机神农别闹玄学大佬只想当咸鱼我当大圣姐姐这些日子,操碎了心特种岁月穿成窝囊小姐的贴身丫鬟太古神王懒妻教育得当,三胞胎有事就喊爹我的狗狗公司闻名世界神圣罗马帝国氪金养美人,我躺着赢麻了豪门拖油瓶,我靠画符爆红全网事业脑咸鱼在八零九龙吞珠魏武侯枭门邪妻极品捉妖系统妻是主播传奇篮神