假定我们有如下的对象:
Dataset trainset; Dataset testset; // 通过随机演化的方法，可以得到一个模型 (以 score 作为筛选条件) Model model = evolve(trainset); // 一个模型可以在一个数据集上跑出一个分数 (score) int score1 = run(trainset, model); int score2 = run(testset, model); 运行时发现，score1 异常地高，而 score2 异常地低。看起来存在严重过拟合。请问需要如何调整设计来避免过拟合呢？
传统的机器学习任务，比如用决策树做分类，如果我们在 trainset 上建立一颗尽量精细的决策树 (model)，然后把这个 model 用于 testset，通常效果是不太好的，因为有过拟合，这是个典型的错误
因为是典型的问题，所以也有典型的解法，对于决策树分类问题，解法是这样的:
我们把 trainset 分为两个子集: trainset_1_of_2, trainset_2_of_2
接下来的重点是，我们不是直接构建一个最佳的 model，而是构建一个最佳的 model 的生成参数 (比如 max_depth)
“`C++
int best_depth = -1;
int best_score = -1;
for (int max_depth = 1; max_depth < 10; max_depth++) {
tree1 = construct(trainset_1_of_2, max_depth);
score1 = run(trainset_2_of_2, tree1);
tree2 = construct(trainset_2_of_2, max_depth);
score2 = run(trainset_1_of_2, tree2);
score = (score1 + score2) / 2;
if (score > best_score) {
best_score = score;
best_depth = max_depth;
}
}
“`
这样我们就得到了 best_depth，然后在整个 trainset 上用这个参数来构建决策树
“`C++
tree = construct(trainset, best_depth);
“`
接下来这颗树在 testset 上效果就比较好了
但是如果我们搜索的，不是模型生成参数，而是模型本身 (使用遗传算法)，这套方法还成立吗？
PS: 目前使用的是类似图像演化的遗传算法，得到是一个类似 BMP 的图像
打个比方，假设这个图像演化算法是用来生成美女的脸型的，第一个训练子集生成出来的是赵薇的脸，第二个训练子集输出的是刘亦菲的脸……
最后把这些明星脸平均一下，就是 “平均美人脸”，这个很可能就是最终需要的模型
(那么为什么不把训练集合在一起训练呢？我也不知道为什么，总之实验效果不好，毕竟这不是简单的加减算术题)
你用的是具体的哪套？
我建议你还是以最大盈利为原则，来做算法。比如：
1.新顾客，未付费，体验中，这类排课优先级最高。
2.新顾客，已付费，排课高等优先。
3.老顾客，未付费，排课中等优先。
4.老顾客，已付费，排课优先级最低。
5.以上 4 类，同一类中，上课次数越少，注册时间越短，排课优先级越高。
按照已上 5 条原则进行排课，不需要特别麻烦的算法。