天才一秒记住【长江书屋】地址：https://www.cjshuwu.com
留出法（holdout
method）：基本思想：将原始数据集划分为训练集和测试集两部分，其中训练集用于模型训练，而测试集则用于评估模型的性能。
实施步骤：根据比例或固定的样本数量，随机选择一部分数据作为训练集，剩余部分用作测试集。
优点：简单快速；适用于大规模数据集。
缺点：可能由于训练集和测试集的不同导致结果的方差较高；对于小样本数据集，留出的测试集可能不够代表性。
2交叉验证法（cross-validation）：基本思想：将原始数据集划分为k个大小相等的子集（折），其中k-1个子集用于训练模型，剩下的1个子集用于测试模型，这个过程轮流进行k次，最后将k次实验的结果综合得到最终的评估结果。
实施步骤：将数据集随机划分为k个子集，依次选择每个子集作为验证集，其余子集作为训练集，训练模型并评估性能。
重复这个过程k次，取k次实验的平均值作为模型的性能指标。
优点：更充分利用了数据；可以减小因样本划分不同而引起的方差。
缺点：增加了计算开销；在某些情况下，对于特定划分方式可能导致估计偏差。
3自助采样法（bootstrapping）：基本思想：使用自助法从原始数据集中有放回地进行有偏复制采样，得到一个与原始数据集大小相等的采样集，再利用采样集进行模型训练和测试。
实施步骤：从原始数据集中有放回地抽取样本，形成一个新的采样集，然后使用采样集进行模型训练和测试。
优点：适用于小样本数据集，可以提供更多信息；避免了留出法和交叉验证法中由于划分过程引入的变化。
缺点：采样集中约有36.8%的样本未被采到，这些未被采到样本也会对模型性能的评估产生影响；引入了自助抽样的随机性。
拓展：选择何种数据集划分方法应根据以下因素进行综合考虑：1数据集大小：当数据集较大时，留出法能够提供足够的训练样本和测试样本，而且计算开销相对较小。
当数据集较小时，交叉验证法和自助采样法能更好地利用数据。
2计算资源和时间限制：交叉验证需要多次训练模型并评估性能，所以会增加计算开销；自助采样法则需要从原始数据集中进行有放回的采样，可能导致计算成本上升。
如果计算资源和时间有限，留出法可能是更可行的选择。
3数据集特点：如果数据集具有一定的时序性，建议使用留出法或时间窗口交叉验证，确保训练集和测试集在时间上是连续的。
如果数据集中存在明显的类别不平衡问题，可以考虑使用分层抽样的交叉验证来保持类别比例的一致性。
4评估结果稳定性要求：交叉验证可以提供多个实验的平均结果，从而减少由于随机划分带来的方差。
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！