稀疏编码
0000-00-00 00:00:00
deep learning稀疏编码与稀疏自编码最本质的区别是什么?被 @Silvia 邀请.首先,有许多种正则化方法都可以获得稀疏解,其中一种是ell_1 正则化.这个资料比较多,比如说可以看 Elements of Statistical Learning 第三章的相关部分.还有一种是用KL散度做正则化项,具体可以看 Differentiable Sparse Coding,大意就是我们知...有没有非线性版本的 矩阵分解,压缩感知,稀疏编码?关于降维,除了线性降维和deep nn之外还有很多算法.有理论好的,也有实际效果好的.但是任何时候总有一个trade-off,很难有全局意义上最优的算法.而且理论和应用算法的发展也不是完全同步的.非线性的降维算法有一大类被称为流形学习(manifold learning).感觉像是题...deeplearning中的稀疏自编码的表达与傅里叶变换的区别?傅里叶变换在傅里叶基函数上投影,自编码的第一层是投影+非线性激活.傅里叶变换的基函数是一组正交基,用这个正交基做滤波,并且可以用这个正交基重构信号在空域的表达.自编码的第一个权值矩阵也有滤波的含义,只是这个权值矩阵不一定是正交的,第二个权值矩阵...稀疏编码(Sparse Coding ) 需要用到些什么知识?可以看看element of statistical learning相关章节,讲得挺好的稀疏编码中,为什么使用对数代价函数作为目标函数的惩罚项可以获得稀疏解?如果直接求导比较困难,先取对数再求导 ,对数惩罚函数是可微的.应用在图像图形上的空间金字塔匹配模型(SPM),如果聚类过程换成稀疏编码,具体是如何实现的?稀疏编码及其应用研究有什么研究结果?稀疏编码在图像、视频压缩领域近年来有什么进展?