什么是归纳偏置 (Inductive Bias)？

在机器学习中，很多学习算法经常会对学习的问题做一些关于目标函数的必要假设，称为 归纳偏置 (Inductive Bias)。

归纳 (Induction) 是自然科学中常用的两大方法之一 (归纳与演绎，Induction & Deduction)，指从一些例子中寻找共性、泛化，形成一个较通用的规则的过程。偏置 (Bias) 则是指对模型的偏好，以下展示了 4 种解释：

1. 

通俗理解：归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的 规则 (heuristics)，然后对模型做一定的 约束，从而可以起到 “模型选择” 的作用，类似贝叶斯学习中的 “先验”。

2. 

西瓜书解释：机器学习算法在学习过程中对某种类型假设的 偏好，称为 归纳偏好。归纳偏好可以看作学习算法自身在一个庞大的假设空间中对假设进行 选择 的 启发式 或 “价值观”。

3. 

维基百科解释：如果学习器需要去预测 “其未遇到过的输入” 的结果时，则需要一些 假设 来 帮助它做出选择。

4. 

广义解释：归纳偏置会促使学习算法优先考虑具有某些属性的解。 例如，深度神经网络 偏好性地认为，层次化处理信息有更好效果；卷积神经网络认为信息具有空间局部性，可用滑动卷积共享权重的方式降低参数空间；循环神经网络 则将时序信息纳入考虑，强调顺序重要性；图网络 则认为中心节点与邻居节点的相似性会更好地引导信息流动。事实上，将 Inductive Bias 翻译成 归纳性偏好 可能更符合我们的理解和认知。通常，模型容量 (capacity) 很大但Inductive Bias 匮乏则容易过拟合 (overfitting)，如 Transformer。

版权声明：节选自CSDN博主「何处闻韶」的原创文章，遵循CC 4.0 BY-SA版权协议

原文链接：https://blog.csdn.net/qq_39478403/article/details/121107057