[regression,combinatorics,sampling]SparseRegression/DiscreteRegression:稀疏回归/离散回归,以及排列组合上的采样

[shouldsee]

神经网络对离散性质的处理是糟糕的．尽管Softmax可以模拟(1,0,0)这种one-hot矢量，但是并不能完全满足(1,0,0) 中的后两位为零的约束条件．这就造成了一些信息的泄漏，导致模型约束不能满足．相比较之下，蒙特卡罗模拟能够更好地满足这种约束条件.但是MCMC/hill-climbing并不总是最速解

需要继续考察一下是否存在好的稀疏回归算法．

为了处理离散域上的采样,考虑如下分布.

$$
\begin{align}
x &\sim Perm(D,beta,S_n)\\
x &\in S_n \\
e.g.: \, x &= \{1,2,3,4,5\} \,or\, \{1,3,2,4,5\} \,or \dots \\
P(x) &= C \exp( - beta \sum_i D[i,x[i] ]  )
\end{align}
$$

目前没有找到现有的采样算法.望各路大神指教.我稍稍写了一个heuristics但是显然只能暂时用用

[shouldsee]

This looks remotely relevant
Equivariance Through Parameter-Sharing https://arxiv.org/abs/1702.08389