面向小样本数值表数据的自动机器学习优化方法研究

作者:李壮
更新时间:
关键字:

随着工业革命浪潮的推进,以机器学习为代表的新一代信息技术在国家重点战略领域发挥着重要作用。然而,机器学习技术在新材料、物理化学、生物医学、国防和各种生产等关键领域的应用往往面临着从小样本数值表中学习数据的问题,机器学习技术的成功应用离不开该领域专家的参与,门槛很高,很难扩展到其他领域。现有的自动Alpine技术虽然在一定程度上降低了Alpine技术在各个领域的应用门槛,但对于小样本数值表的数据学习问题并没有提高数据水平,在小样本数值数据问题上仍然面临泛化性能不足的问题。此外,对于模型的评估,仅使用建模性能指标,小样本数值表的数据建模存在过度拟合的风险。此外,自动机器学习中使用的空间搜索优化方法有许多初始化参数。为了解决上述问题,本文从数据自动增强、数据特征自动构建、参数搜索优化、模型性能评估等方面进行了系统深入的研究,以提高小样本数值表格数据自动建模的性能。本文的主要研究内容和创新点如下:1)基于泛化误差界的自动连续增强方法:针对在小样本数值表格数据的自动连续生成和筛选方面,本文研究了基于Rademacher复杂性的模型泛化误差界的数据有效性判断,从而在一定程度上避免了噪声样本的引入,同时结合域扩展的数据生成方法,实现了小样本数值表格数据的有效连续增强。2) 基于索引一致性的数据特征自动构建方法:基于数据分布距离理论,研究了影响数据分布效果的主要因素,设计了非重叠索引。实验表明,非重叠指数与机器学习建模和预测的精度具有很高的一致性。然后,基于一致性原则的索引,分别针对数据平衡场景和非平衡场景,提出了GP-ano和GP-aano自动特征构建方法。(1) 在数据平衡的场景下,将非重叠指标引入基于遗传编程的特征自动构建方法中,实现了具有良好泛化性能和数据分布效果的特征自动构建,验证了基于指标一致性设计适应度评价的可行性。(2) 针对数据不平衡的情况,分析了非重叠索引的问题,提出了改进的非重叠索引。利用增强的非重叠索引,结合AUC的建模和预测索引,提高了自动特征构造方法在数据不平衡情况下的泛化性能。3) 高效优化方法以教与学优化算法为例:针对初始参数较少的教学优化算法,研究分析了算法中的搜索偏差问题,引入自适应学习因子消除搜索偏差。同时,针对教与学优化算法探索能力不足、易陷入局部优化的问题,引入随机自学习和变异阶段,增加群体的多样性,有效提高算法的优化能力。4) 小样本自动机器学习框架:提出了一个小样本数值表格数据的全过程自动机器学习框架,该框架集成了数据自动增强、特征自动构造、算法参数自动优化和集成学习。它可以增强数据、特征和算法的全过程,并深入分析集成学习的模型误差和非重叠指数,设计了基于集成学习误差和改进的非重叠指数的评价指标,然后通过材料和医疗领域的实际数据验证了本文提出的基于小样本数值表数据的全过程自动机器学习框架的有效性。因此,本文研究的方法可以有效地应用于小样本数值表格数据的机器学习建模与分析场景,实现机器学习模型的自动构建。总之,本文的研究和提出的方法对于小样本学习和自动机器学习具有重要的理论研究和实际应用价值。