再不灌点学术文这个blog真是要锈掉了……
我觉得和ml最相关的大致有做降维的这篇:
John Wright, Allen Yang, Arvind Ganesh, Shankar Shastry, and Yi Ma, Robust face recognition via sparse representation. (To appear in IEEE Trans. on Pattern Analysis and Machine Intelligence)
大致做法就是用training data表出新的data,即新的x是training data的线性组合,如果training data数大大小于feature数,那么这就相当于CS里的x_0=Ax,A的每列是个sample,x是每个sample的权重。于是给出新的x_0,可以通过优化x的l_1找到最sparse的解,即用最少数量的sample表出新的点。然后还可以在Ax前乘个measurement matrix,用来做特征选择,其实就是进一步降维,我不能忍得是他们直接用了个random matrix做采样矩阵,然后也没分析。他们这里做得还比较简单,直接做了个线性的,我觉得捣捣A肯定能kernel化……不过也没什么意思
Chinmay Hegde, Michael Wakin, and Richard Baraniuk, Random projections for manifold learning. (Neural Information Processing Systems (NIPS), Vancouver, Canada, December 2007) [See also related technical report]
这个看得有点晕,不过应该就是给manifold 做投影(容我废话下吧,从标题就看出来了@@)
Robert Calderbank, Sina Jafarpour, and Robert Schapire, Compressed learning: Universal sparse dimensionality reduction and learning in the measurement domain (Preprint, 2009)
这个就是证明了下在measurement space里train个svm和原空间里train的svm almost the same with prob@@ 基本就是靠着RIP性质证明了loss和regulizor影射后只差个小量。我觉得有意思的是投影到多个space里去,然后在每个space里train,然后做boosting,类似于multi-view learning,可惜他们也只是提了下,没对这个进行分析……我觉得这个肯定能做,不过不知道分析起来多麻烦

不过总的来说,我觉得cs理论很漂亮,但是ml拿来基本就是在炒概念了,其实就是跟风sparse……据说对classification,sparse的意义并不是太大……