l1正则化和l2正则化有什么区别,为什么?
L1和L2正则化的目的都是使模型系数尽可能小,从而解决模型的过拟合问题。他们的区别在于,l1正则化限制模型系数的l1范数尽可能小;l2正则化限制模型系数的l2范数尽可能小。即,L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。
l1和l2正则化的区别
l1和l2正则化的区别是:
1、L1是模型各个参数的绝对值之和。L2是模型各个参数的平方和的开方值。
2、L1会趋向于产生少量的特征,而其他的特征都是0,因为最优的参数值很大概率出现在坐标轴上,这样就会导致某一维的权重为0,产生稀疏权重矩阵。L2会选择更多的特征,这些特征都会接近于0。
3、最优的参数值很小概率出现在坐标轴上,因此每一维的参数都不会是0。当最小化||w||时,就会使每一项趋近于0。