June
14th,
2017
数据集
- 保证输入数据有效
- 随机数输入，应该有不同的结果，确定网络没有在某一层将数据转变为垃圾
- 保证数据载入过程有效，可以打印第一层结果
- 数据随机性不能太大（例如股票），这是数据本身的属性
- 随机检测标注是否准确
- 打乱数据顺序
- 类别不平衡？
- 如果从头训练，需要足够多的样本
数据归一化/扩增
- 使用预处理模型时，保证归一化一致
- 对训练集预处理，然后将同样的机制应用到测试集上
- 避免过量的数据扩增，导致训练欠拟合
实现细节
- 初始化后，观察网络是否输出有效的结果
- 调整loss权重
- 对自定义层进行测试
- 保证梯度传播的有效性，避免某些层被“冻结”
训练问题
- 检查权重初始化
- 改变超参数
- 降低惩罚因数
- 不同的优化方法