一种基于大数据和云计算的空气污染检测及报警系统

本发明公开了一种基于大数据和云计算的空气污染检测及报警系统,包括:互联网、爬虫、基于Hadoop的云平台和MapReduce并行处理,基于Hadoop的云平台的输出端与MapReduce并行处理的输入端电性连接;爬虫模块,爬虫模块的输入端通过爬虫与互联网的输出端进行信息通信,爬虫模块的输入端与基于Hadoop的云平台的输出端电性连接,本发明涉及大气污染数据检测技术领域。该基于大数据和云计算的空气污染检测及报警系统通过使用“聚焦爬虫”快速定向的获取了所需数据;通过Hadoop分布式处理,设计了基于随机森林算法的预测算法对获取的数据进行处理,数值试验结果表明,该算法能够有效减少预测误差,利用MapReduce并行计算框架对AQI进行了预测计算,提高了计算效率。

专利类型: 发明专利
申请(专利)号: CN202010144364.2
申请日期: 2020年3月4日
公开(公告)日: 2020年6月26日
公开(公告)号: CN111343279A
主分类号: H04L29/08,H,H04,H04L,H04L29
分类号: H04L29/08,G01N33/00,G01N15/06,G06F16/951,G08B7/06,H,G,H04,G01,G06,G08,H04L,G01N,G06F,G08B,H04L29,G01N33,G01N15,G06F16,G08B7,H04L29/08,G01N33/00,G01N15/06,G06F16/951,G08B7/06
申请(专利权)人: 兰州理工大学
发明(设计)人: 丁凡,丁峰,马敏劲,张恩展,马裕展
主申请人地址: 730050 甘肃省兰州市七里河区兰工坪287号
专利代理机构: 北京中仟知识产权代理事务所(普通合伙)
代理人: 田江飞
国别省市代码: 甘肃;62
主权项: 1.一种基于大数据和云计算的空气污染检测系统,其特征在于,包括: 互联网、爬虫、基于Hadoop的云平台和MapReduce并行处理,所述基于Hadoop的云平台的输出端与所述MapReduce并行处理的输入端电性连接; 爬虫模块,所述爬虫模块的输入端通过所述爬虫与所述互联网的输出端进行信息通信,所述爬虫模块的输入端与所述基于Hadoop的云平台的输出端电性连接; 随机森林预测算法模块,所述随机森林预测算法模块的输入端与所述爬虫模块的输出端电性连接,并且随机森林预测算法模块的输入端与所述MapReduce并行处理的输出端电性连接; AQI并行计算模块,所述AQI并行计算模块的输入端与所述随机森林预测算法模块的输出端电性连接,所述AQI并行计算模块的输入端与所述基于Hadoop的云平台的输出端电性连接; 污染物质量浓度显示模块,所述污染物质浓度显示模块的输入端与所述AQI并行计算模块的输出端电性连接。 2.根据权利要求1所述的一种基于大数据和云计算的空气污染检测系统,其特征在于:所述爬虫模块包括获取空气污染浓度数据PM2.5,PM10,SO2,NO2,CO,O3,获取的数据经过清洗数据后传输至所述随机森林预测算法模块的输入端。 3.根据权利要求2所述的一种基于大数据和云计算的空气污染检测系统,其特征在于:所述空气污染浓度数据PM2.5,PM10,SO2,NO2,CO,O3,其数据来源于国家环境保护部网站,数据更新频率为1次/h。 4.根据权利要求3所述的一种基于大数据和云计算的空气污染检测系统,其特征在于:所述爬虫程序部署于云主机上,数据获取频率为1次/h,获取的内容保存至文件中,文件保存于/root/data目录下,将获取城市数据时发生的错误保存于/root/data/yyyyMM.log文件中。 5.根据权利要求4所述的一种基于大数据和云计算的空气污染检测系统,其特征在于:所述随机森林算法模块主要分为对数据的训练和利用训练出的模型对数据进行预测校验。 6.根据权利要求5所述的一种基于大数据和云计算的空气污染检测系统,其特征在于:所述AQI计算模块将预测模块中得到的预测值作为输入参数。 7.根据权利要求6所述的一种基于大数据和云计算的空气污染检测系统,其特征在于:所述随机森林预测算法性能测试通过比较简单线性拟合算法和随机森林预测算法,测试算法的预测性能,准备10组PM2.5质量浓度数据作为测试数据。 8.一种空气污染报警系统,其特征在于:用于预警如权利要求1-7中所述的基于大数据和云计算的空气污染检测系统的污染物质量浓度显示模块的数据,包括数据采集模块和报警模块,所述数据采集模块的输入端与所述污染物质量浓度显示模块的输出端相互联结,并且数据采集模块的输出端与所述报警模块的输入端相互联结,所述报警模块采用声光一体式报警器。 9.根据权利要求8所述的一种空气污染报警系统,其特征在于:所述数据采集模块包括故障检测模块和数据存储模块,所述数据存储模块为数据的采集和存储提供空间。 10.根据权利要求9所述的一种空气污染报警系统,其特征在于:所述故障检测模块包括预警模块、数据对比器和检测器,所述预警模块包括报警规则库和记录器,记录器对进入预警范围的检测信息进行记录和储存,并且将储存的数据存入所述数据存储模块的内部。
法律状态: 公开