基于红外光谱检测技术的污水COD数据分析

论文摘要

化学需氧量COD（Chemical Oxygen Demand）是指用化学方法测量水样中需要被氧化的还原性物质的量,是评价水质污染程度的一项重要指标,传统测量化学需氧量COD的方法比较繁琐,操作起来不方便,效率较低。本文的所研究的样本是多组甘蔗制糖业产生的废水样本。利用红外光谱方法,在多组不同波长点上测得污水红外光谱吸收值,旨在建立起污水红外光谱数据与化学需氧量之间的对应关系,实现减少实验操作,降低化学污染,提高效率。本文的研究过程分为四个部分,第一部分为利用一元线性模型建模方法建立光谱数据与化学需氧量的对应关系,第二部分利用多元线性模型建立对应关系,第三部分为多元线性模型结合特征提取方法建立对应关系,第四部分为多元非线性模型结合特征提取方法建立化学需氧量与光谱数据对应关系,最后得出结论为多元非线性模型结合特征提取方法建立起来的对应关系最可靠,是本文采用的最终做法。第一部分,首先利用统计学方法,用2022个波长点数据分别与水体样本化学需氧量建立回归模型,计算误差,在2022个特征波长中选取最佳波长点,通过计算得出第1985个波长点为最佳波长点,然后利用此波长点数据,进行一元线性回归预测以及四折交叉验证,最后得出预测值与实际值进行对比,计算平均绝对误差,结论为在一元情况下,由于样本较少,误差较大,不足以作为建立起对应关系。第二部分,首先将全部数据集代入到Lasso模型中,探索多元线性情况下的规律,其次进行模型的训练,再次进行四折交叉验证以及预测,评价标准为误差值的大小,进行模型超参数的优化,最终发现预测误差结果不理想。第三部分,首先利用PCA主成分分析以及截断奇异值分解两种特征提取方式对具有多个特征的原始数据进行特征提取,提取特征数评价标准为解释方差率,其次使用特征提取后的数据集进行四折交叉验证,并代入到多元线性回归模型中,进行模型训练,再次将验证集数据代入到训练后的模型中进行预测,得出结论,这种方法的预测结果相对较好。第四部分,首先对特征提取后的数据进行切分,以80%的数据为训练集,以20%的数据集为测试集,将80%数据集平均分为四部分,以三部分为训练集以一部分为测试集进行测试,分别交叉让各个数据集都充当过训练集测试集,将数据代入到支持向量回归SVR,SVR-poly,多层感知机神经网络MLP三种非线性模型中,每一个模型分别得出四组相对误差和平均绝度误差,取平均值,做对比,选出最好的,其次将之前切分的20%数据集代入到最佳的非线性模型中进行最后的预测,得出预测结果,最佳预测结果为使用截段奇异值分解模型进行特征提取,降十维,使用SVR-poly模型进行预测,得出相对误差为20.43%,平均绝对误差为62.61。可以达到建立起化学需氧量和红外光谱数据的对应关系的目的,最后对最佳模型SVR-poly进行参数调优,提高准确度。调优后的参数为degree为1,c=1000,coef0=19,调优后的平均绝对误差为60.5,相对误差为19.20%。通过四个部分的研究探索,最终建立起化学需氧量和污水对红外光谱数据的对应关系,达到了只需测得污水对红外光谱的吸收值就可以对应得到具体化学需氧量COD值的目标,建立污水的实时监测系统,实现对水质污染情况的实时监测,同时无需传统的化学测量方式即可得出化学需氧量值,简化实验流程,对环境保护有重要意义。

论文目录

• 摘要
• Abstract
• 1 绪论
•   1.1 研究背景目的和研究意义
•   1.2 污水COD的国内外研究现状
•   1.3 近红外光谱分析技术原理
•   1.4 本文主要工作
• 2 特征提取模型与数据预测模型原理
•   2.1 特征提取模型原理
•     2.1.1 主成分分析模型PCA
•     2.1.2 模型TruncatedSVD
•   2.2 交叉验证理论
•   2.3 预测模型理论
•     2.3.1 一元线性回归
•     2.3.2 LASSO回归模型
•     2.3.3 SVR支持向量回归模型
•     2.3.4 SVR-poly
•     2.3.5 多层感知机神经网络模型
•   2.4 总结
• 3 线性模型建立与分析
•   3.1 数据预处理与最佳波长点选择
•     3.1.1 数据预处理
•     3.1.2 光谱数据最佳波长点的选择与交叉验证
•   3.2 线性模型预测污水红外光谱数据
•     3.2.1 一元线性回归（linear-regression）
•     3.2.2 Lasso模型
•   3.3 特征提取
•     3.3.1 主成分分析（PCA）模型
•     3.3.2 截断奇异值分解（TruncatedSVD）模型
•   3.4 基于PCA和TruncatedSVD特征提取的多元回归模型
•   3.5 总结
• 4 非线性模型建立与分析
•   4.1 基于PCA和TruncatedSVD特征提取的非线性模型
•     4.1.1 基于PCA特征提取的非线性模型建立
•     4.1.2 PCA特征提取结合最佳模型预测
•     4.1.3 截断奇异值分解特征提取法非线性模型建立
•     4.1.4 截断奇异值分解特征提取结合最佳模型预测
•     4.1.5 误差对比
•   4.2 参数调优
•   4.3 总结
• 5 结论与展望
•   5.1 开展的主要工作及结论
•   5.2 展望与建议
• 参考文献
• 攻读学位期间所获成果
• 致谢

文章来源

类型: 硕士论文

作者: 张涵

导师: 谢军,魏一振

关键词: 化学需氧量,红外光谱,机器学习,特征提取,回归

来源: 海南大学

年度: 2019

分类: 基础科学,工程科技Ⅰ辑,信息科技

专业: 数学,环境科学与资源利用,无线电电子学

单位: 海南大学

分类号: X832;TN219;O212

DOI: 10.27073/d.cnki.ghadu.2019.000571

总页数: 48

文件大小: 2761K

下载量: 36