8月21日4时35分,陆梁油田作业区中控室报告称,陆9井区7#、7-1#站计量站无通讯,还有11个站的23口单井无通讯
历经近4个小时的细心排查,该作业区自动化运行维护中心值班员工何文强和陈磊,最终发现问题原因是LU24#汇聚点的点对点网桥状态信息出现故障
两位仪修人员边上网查资料,边跟厂家及其他厂处网络技术人员请教,12时20分,陆9井区网络全线恢复
“何师傅,陆9井区7#、7-1#站计量站无通讯,还有11个站的23口单井无通讯。”
8月21日4时35分,陆梁油田作业区自动化运行维护中心值班干部何文强接到中控室的故障电话。他心里一惊,忙问:“井区停电了吗?”
当得知中控室已与调度室联系过,井区没有发生停电或跳闸后,何文强的眉头皱了起来:眼下正值该作业区夏季劳动竞赛之际,如果这些井出现停机或生产数据异常,中控室就无法及时监测,势必会影响作业区夺油上产的步伐。
何文强立即起身,叫上搭档陈磊,两人趁着蒙蒙夜色,驱车赶往LU7#站。
遭遇险情
自动化运维中心肩负着该作业区120余座计量站及近2000口油水井生产数据的实时监控,总监控数据点多达近20000个,在陆梁油田生产中,该中心监控岗是油田生产的“千里眼”,而仪修工则像是“眼科医生”。每一台自动化设备是否正常运行、每一个仪器仪表是否正常传输,每一个IP地址网络是否正常……这所有的一切都离不开仪修工的精心护理。
经过查看,何文强和陈磊发现7#、7-1#站与23口井均从属于2409#网桥主站。刚到2409#主站门口,中控室的电话再次响起,告知陆9井区除了151井区、陆15井区、陆12井区及11#、12#、13#、17#、21#、22#站的通讯正常外,其余的计量站和单井均无通讯。
闻听此消息,他们没有慌乱,经过仔细排查,最后发现点对点网络传输中断,影响了十几个网桥主站的通讯传输,而每个网桥主站下都会有二三十个相应的从站,也就意味着至少有近四五百个网桥从站无法正常工作。
摸索症结
四五百个网桥从站通讯中断意味着五六百个井站无通讯,这给油田生产和远程计量工作都会带来很大的风险。面对紧急情况,他们的首要任务是尽快恢复点对点的网络传输问题。
说起来容易做起来难,自参加工作以来,他们这是第一次遇到点对点网络故障。两人一时间不知该从哪里下手。
没有任何可以借鉴的经验,只能自己摸索了。面对着布线密密麻麻的自动化设备,他们静下心来,逐一检查每一根导线、每一台通讯设备、每一个网络节点,用尽各种手段,最终发现LU24#汇聚点的点对点网桥状态信息出现了故障。此时天已经大亮,距离大面积无通讯发生已经近4个小时了。
“啃硬骨头”
为了不影响自动化实时数据的远程监控,他们决定做好两手准备——一边启用备用从站网络传输,一边继续查找点对点网络中断的原因。他们通过笔记本把该作业区通讯塔的汇聚点的从站连接到LU24#网络汇聚点主站,登录主站注册从站,然后再把LU24#站汇聚点的所有网络通过临时备用的从站传输回来。
由于备用从站网络的不稳定性,虽然大部分井站的通讯得以恢复,但LU2#、7#、7-1#站以及其它站的53口单井依然没有通讯。
他们顾不上休息,一个上网查资料,一个跟厂家及其他厂处网络技术人员请教,想尽一切办法都要“啃”下这块“硬骨头”。
后来,他们在登录网桥时发现一条状态信息,通过代码查询得知,可能是同步器或同步电缆发生了故障。通过厂家技术人员得知可以通过重启同步器来解决。
于是,何文强先把同步器断电,然后在汇聚点把主站和点对点的电一一下电,稍后重新上电,登录点对点及2409#主站,发现状态栏报警消除进入运行模式,在同步器无干扰的情况下,主站和点对点就可以正常传输,最后恢复同步器供电,从而使整个网络正常运行。
当天12时20分,陆9井区网络全线恢复。