图像的空间局部性。我设计了一个多尺度稀疏自编码器结构。”
他又在白板上画出三层结构，第一层是小感受野的卷积核，提取边缘纹理，第二层卷积核变大，整合局部结构，第三层是全连接层，但施加l1稀疏约束。每一层都用无监督预训练初始化，再用反向传播微调。
“关键在这里，”曹鹏在第三层旁写下公式，“我们不在像素空间做稀疏，而是在特征空间做。将每张图的特征激活视为一个信号，用字典学习找到过完备基，然后求解稀疏系数。”
“这样，分类问题转化为，在字典空间中找到最具判别力的稀疏模式。”
说着，写下一串数学符号。然后转向实际问题，“我在caltech101数据集上试了初步版本。64x64的图，三层结构，第一层用6x6卷积核，步长2，得到16个特征图；第二层……”
“等等。”维杰终于举手，语气带着质疑，“曹，你算过时间复杂度吗？光是第一层卷积，假设输入是64x64的rgb图，6x6核，步长2，输出16个特征图，一次前向传播就需要多少乘加操作？这还没算上稀疏编码的迭代优化。你的模型能在合理时间内完成训练吗？”
问题尖锐，但曹鹏预料到了。他保持平静，甚至微笑。
“好问题。我算过。”他走到白板另一侧，快速写下算式，“第一层卷积，输入64x64x3，核6x6x3x16，步长2，输出特征图尺寸30x30x16。乘加次数约：(6x6x3)x(30x30)x16 = 1,555,200次。对于caltech-101的9144张图，一个epoch是142亿次操作。在双xeon 30ghz的服务器上，用高度优化的c++和sse指令，一个epoch大约需要47分钟。”
数字精确到个位。会议室安静了。
“但这只是朴素实现。”曹鹏继续，“我做了三处优化，一，将卷积转化为矩阵乘法，用strassen算法加速，二，利用特征图之间的独立性，并行计算。三，稀疏编码阶段，我用了改进的迭代收缩阈值算法，将收敛速度提升了40。最终，完整训练一轮的时间是28分钟，在可接受范围内。”
维杰盯着算式，手指无意识敲着桌面。几秒后，他抬头，“准确率呢？你说了这么多计算，但分类效果比sift+sp的空间金字塔匹配好多少？”
“caltech-101，sift+sp的最好结果是783。”曹