管道第三方破坏位置大数据动态预警技术研究
来源:《管道保护》杂志 作者:董绍华 时间:2018-7-3 阅读:
董绍华
中国石油大学(北京)管道技术研究中心
第三方破坏是管道面临的重要风险,据统计,2001年~2015年国内管道事故中由于第三方破坏引起的占事故总量的30%~40%;1984年~1992年欧洲国家的管道事故中由于第三方损伤和破坏引起的占事故总量的52%[1];2010年~2016年,美国共发生管道泄漏事故702起,其中177起是由于第三方破坏(第三方开挖或外力)引起的,占总数的25.21%[2]。
位置大数据已经成为当前用来感知人类社群活动规律、分析地理国情和构建智慧城市的重要战略资源,通过对位置大数据的处理分析,可从单纯的定位数据引申出人的社会属性以及与环境的关系,形成了一种智能化、社会化的应用[3]。
本文基于位置大数据的分析方法,建立特定人员手机位置信号与管道沿线信号塔之间的位置关联关系,同时通过获取手机移动端GPS位置信息,开展手机移动信号的大数据关联分析,研究第三方管道破坏行为,并在实践中取得成功。
1 位置大数据的特点
大数据(big data)是指大型复杂数据集的聚合。大数据中的一个重要组成部分就是位置大数据(location big data,LBD)。含有空间位置和时间标识的地理和人类社会信息数据即为位置数据。这里的空间位置,既可以是准确的地理坐标,也可以是具有约定俗成的一些地名、方位等[4-5]。
●位置大数据具有多元、异构、变化快等特征,也具有典型的体量大和价值密度低等大数据特性。
●位置大数据的共性特征是具有时空标识,可以使用绝对位置、坐标、相对位置、语言文本来描述。
●由于受到数据采集技术等方面的客观制约,位置大数据可能不能反映对象的整体全貌。
2 研究取得的成果
(1)第三方入侵手机移动信号和GPS信号数据采集技术
在选取的第三方风险较大的特定区域内,24小时不间断开展手机信号、GPS信号数据采集,建立特定人员手机信号与管道沿线信号塔之间的位置关联,获取手机GPS位置、手机塔的相关信息,开展手机移动信号的位置大数据采集,从移动设备采集的数据(包括惟一设备 ID、纬度、经度和时间戳)存储在数据库中或加载到 Hadoop 平台上。
(2)第三方通讯移动数据存储技术
研究采用Hadoop等计算框架模式,建立流媒体、地图数据、轨迹数据的高效时空索引和分布式分析技术,基于位置大数据的非关系型数据的特点,采用Hbase、BigSQL、芒果等数据库存储技术。
(3)第三方通讯移动数据预处理技术
研究了第三方通讯移动数据过滤、数据完善、数据降维、数据离散化等方法,以及预处理后在用数据挖掘、机器学习等处理方法,对位置数据进行深入处理和挖掘,旨在分析数据间的关联性。
(4)第三方破坏特征模式提取技术
开展了第三方通讯移动位置大数据的管道破坏防范模式特征提取研究,基于时间特征建立移动手机位置与第三方破坏的特征模型。从收集到的信息信号中提取价值信息,提取位置大数据的混杂性,分析和抽象出三类特征,通过建立移动手机位置大数据与第三方破坏的模型,从而找出第三方破坏的迹象和正在实施的第三方破坏行为。
(5)基于位置大数据的第三方破坏风险可视化方法
利用统计图来展示数据处理过程中的处理结果或数据发展趋势,基于位置大数据规模大、多样化等特点,研究专门用于第三方位置数据的可视化方法,准确地模拟第三方破坏在管道沿线的发展态势。
(6)基于移动端位置数据的管道第三方破坏预测预警系统
通过上述研究,开发了管道第三方破坏预测预警系统,包括数据采集、数据存储、数据分析和建模、数据风险可视化、趋势分析等功能。
3 应用案例
以长三角经济发达地区某天然气管线的25.8公里长的支线管段为例,通过移动端信号地接入进行大数据分析,根据第三方数据的时空演变规律,进行第三方破坏防范的建模研究,取得重要成果。
(1)数据采集
移动端通过一组信号塔提供服务,移动端的具体位置可通过对其与最近信号塔的距离进行三角测量来推断,位置精度大约在20米以内。位置数据包括纬度和经度,存储所有这些信息,需要56字节的空间。如果处理200万个用户,并且以每分钟一次的频率存储24小时的位置信息,那么存储的数据大约为每天0.1TB。
(2)大数据存储与处理
建立Hadoop 分析流程,基于位置大数据非关系型数据的特点,采用Hbase、BigSQL、芒果等数据库存储技术,如图1所示。
(3)大数据的降维分析
其核心就是减少网络中的节点(即区域)或边(即区域间的关联),通过关键分量的分析获得全局特征,其主要方法包括依超介数的降维和依主分量的降维。而在时间尺度上的降维则主要指对时间的离散化,降低各时间段间的相似性。按照时间降维处理,时间段缩短为20:00~22:00、12:00~14:00、2:00~4:00三个时间段。空间降维,则将位置数据按照管线30米范围为活动范围,划定界限,分析移动端数据。
(4)位置大数据的特征提取建模
针对位置大数据的混杂性,提取移动端用户的静态数据,以一定区域范围为观察对象,提取区域内与地图地貌相关的一些指标,包括路网特征和兴趣点变化率等静态特征信息。本案例利用已有事故统计分析,得出第三方危害临界区域模型为——事故统计发现:2人以上,出现超过2次,每次静态时间为0.5小时,同时出现在同一个区域内,发现85%的第三方事故均具有此特征。
(5)数据分析
对管道所在区域内的移动端数据测试采集15天,共获得2154630条位置数据,筛查了所有数据,按照2人以上(不限同一个人),在同一地点出现超过2次(含2次)以上,每次静态时间超过0.5小时,进行数据统计分析,最终统计的数据量涉及管道路由周边178处位置,如图2所示。
从图2的统计分析来看,在22:00~24:00、2:00~4:00两个时段,发生2处高风险异常人员情况。1处是在管道附近违章修建温室大棚,并确认未向管道保护部门报告,另1处是山丘管道路由10米内非法取土,未通知管道管理部门。其他时段管道周边田地劳动人数达到145人,经分析和验证,属于田地耕种管理的正常生产活动,冲沟位置大数据验证为正在进行退耕还林栽种作业。
本时段共统计发现符合管道周边活动的异常属性特征的数据有21处,其中,田地劳动耕作11处,冲沟退耕还林作业1处,铁路、公路、水利、河流、林地处作业总计5处,均为正常作业,但管道周边山丘、荒地有4处作业为缺乏正常施工监护(含2处高风险异常施工状况)。可见,通过位置大数据的移动轨迹分析,可及时掌握管道沿线第三方活动情况,做到早发现、早监控。
4 结论和建议
(1)首次将位置大数据技术应用于管道第三方破坏防范,研究开发了位置数据的管道第三方破坏预测预警系统。
(2)该技术可以及时发现管道周边第三方非法施工情况,及早发现风险,系统进行自动分级,有利于管道第三方风险的分级管控。
(3)该技术克服了其他方法如光纤振动、遥感图像分析的不确定性和误报率,补充完善了管道第三方技防措施。
(4)建议纳入管道安全管理技术措施,并进一步研究、改进、推广应用。
参考文献:
[1]董绍华 管道完整性管理技术与实践 中国石化出版社 2015.9 北京
[2]美国管道事故统计报告 (Pipeline IncidentFlagged Files) 美国危险化学品管理局报告(PHMAS)2016.7.29
[3]刘经南,方媛,郭迟,高柯夫. 位置大数据的分析处理研究进展 武汉大学学报(信息科学版) 第39卷第4期 2014.4
[4] Guochi, FangYuan, Liu Jingnan, etal Suudyon social awareness computation methods for location-basedservice[J] Journal of Computer Research and Development,2013,50(12); 2531-2542
[5]王晓艳. 位置服务大数据的分析处理方法与隐私保护 鸡西大学学报 第15卷 第7期, 2015年7 月
作者:董绍华,教授,中国石油大学(北京)管道技术研究中心主任,管道完整性与管理专家,第五届国家安全生产专家成员,国家质检总局特种设备安全委员会压力管道分委会委员,北京石油学会石油应用与储运专业委员会主任,研究方向为管道安全、完整性及信息大数据领域。
《管道保护》2016年第5期(总第30期)
上篇:
下篇: