發(fā)布時間:2021-01-21
2021年1月18日晚上8點22分,,北方廣電網(wǎng)絡(luò)公司運行保障中心IT支撐組負(fù)責(zé)人楊健離開核心機(jī)房后,終于松了一口氣,。當(dāng)天,,他在不依賴廠家技術(shù)人員指導(dǎo)的情況下,,獨立排除硬件故障并成功修復(fù)了損壞系統(tǒng),,為公司節(jié)省15000余元的修復(fù)費用,。說起這次系統(tǒng)故障,,時間還要倒退到11個小時之前,。
1月18日上午9點,北方廣電網(wǎng)絡(luò)公司運營支撐監(jiān)控系統(tǒng)突然報警,,供應(yīng)商管理系統(tǒng)出現(xiàn)故障,。作為公司官方網(wǎng)站一級頁面的重要組成內(nèi)容,,供應(yīng)商系統(tǒng)停止工作會導(dǎo)致公司網(wǎng)站部分功能缺失,影響公司采購項目信息的公告公示,,使供應(yīng)商無法按時上傳審核材料,。如果不及時修復(fù)故障,會對公司品牌形象造成嚴(yán)重的負(fù)面影響,。
“從系統(tǒng)的損壞程度判斷,,已經(jīng)不具備遠(yuǎn)程服務(wù)的條件?!睏罱≌f,,受新冠疫情及換修硬件采購時間等因素影響,廠家提供有償上門維修服務(wù)至少要一天以后才能進(jìn)行,。此時,,面對緊迫的搶修任務(wù),他決定先自行開展維修工作,。
楊健根據(jù)多年的運維工作經(jīng)驗判斷,故障初步原因是硬件RAID板卡損壞,。如果直接更換RAID板卡,,需要聯(lián)系廠家進(jìn)行購買,采購周期時間長,,服務(wù)器內(nèi)的數(shù)據(jù)也會有丟失的風(fēng)險,。為了盡快完成維修,確保數(shù)據(jù)安全,,首選方案是修復(fù)RAID板卡,。楊健先從其它備件中拆卸并更換了RAID板卡中損壞的原件,將修復(fù)好的RAID板卡安裝在其它測試服務(wù)器上運行,,成功恢復(fù)了5塊硬盤的正常陣列信息,。通過系統(tǒng)安裝光盤引導(dǎo)計算機(jī),訪問到硬盤陣列中的原始數(shù)據(jù),。他深知數(shù)據(jù)的重要性,,不能莽撞行事。為避免給公司造成更大的損失,,他用最原始的外部存儲方式備份數(shù)據(jù),。受單線程命令及外部存儲接口速率的限制,全部文件的分析及備份工作歷時6個多小時,。
數(shù)據(jù)安全了,,懸著的心終于落地。但在隨后的檢查中楊健再次發(fā)現(xiàn)新問題:服務(wù)器操作系統(tǒng)文件損壞非常嚴(yán)重,,已無法正常運行,?!安僮飨到y(tǒng)核心數(shù)據(jù)損壞,最有效的方式就是重新安裝系統(tǒng),,但這需要廠商的配合才能完成,。”而此時并不具備這樣的條件,,楊健只能在現(xiàn)場獨立修復(fù)受損的系統(tǒng),。系統(tǒng)文件相互調(diào)用,結(jié)構(gòu)復(fù)雜,,楊健只能在摸索中一點點進(jìn)行,。
歷時11個小時,當(dāng)日晚上8點,,楊健終于排除硬件故障并成功修復(fù)了損壞系統(tǒng),,供應(yīng)商管理系統(tǒng)重新恢復(fù)運行。
打破廠商技術(shù)限制,,自主完成設(shè)備優(yōu)化
楊健2008年入職于北方廣電網(wǎng)絡(luò)公司,,先后就職于運營支撐部、運行保障中心,,長期從事硬件架構(gòu)設(shè)計,、軟件開發(fā)部署、設(shè)備運行維護(hù)等工作,。他責(zé)任心強(qiáng),,不懼困難,樂于專研,。不滿足只做好本職工作的楊健,,通過堅持不懈的努力學(xué)習(xí)和在技術(shù)一線的工作實踐,使他對運維工作有了更全面和深入的認(rèn)識,。
楊健工作照
對于運維工作來說,,“穩(wěn)”是工作的核心,而“變”意味著要打破常規(guī),,突破規(guī)則,,“穩(wěn)”和“變”看似是對立矛盾。但在楊健看來,,“穩(wěn)”和“變”并不矛盾,。隨著公司5G業(yè)務(wù)的逐步開展,對運維人員技術(shù)能力,、管理水平等多方面都提出了更高的要求,,如果運維工作按部就班,不以發(fā)展趨勢而創(chuàng)新,,在技術(shù)上止步不前,,習(xí)慣依賴于外部的技術(shù)支持,,那么我們只能為此付出高額的“學(xué)費”?!肮咀鳛閯?chuàng)新技術(shù)型企業(yè),,更需要穩(wěn)中應(yīng)變,變中求進(jìn),,牢牢掌握工作的主動權(quán),。”楊健說,。
幾年前,,全省BOSS系統(tǒng)整合后遇到了性能瓶頸。如果按照廠商提供的技術(shù)改造方案,,公司將付出高額的服務(wù)費用,。為了打破廠商技術(shù)和價格的壟斷,經(jīng)公司領(lǐng)導(dǎo)商議后決定自主進(jìn)行升級改造,。當(dāng)時國內(nèi)可供參考的技術(shù)資料非常有限,,僅有兩三篇技術(shù)資料和廠商提供的宣傳技術(shù)概念。楊健根據(jù)豐富的知識儲備和多年從事運維系統(tǒng)維護(hù)的經(jīng)驗,,悉心研究架構(gòu),,最終達(dá)到了既定優(yōu)化目的,成功實施了BOSS系統(tǒng)的優(yōu)化和割接,。每年為公司節(jié)省系統(tǒng)服務(wù)費50余萬元,系統(tǒng)運行至今未購買維保服務(wù),,間接節(jié)省運維成本200余萬元,。
北方廣電網(wǎng)絡(luò)公司多功能展廳是公司舉辦大型活動,、對外展示公司前沿業(yè)務(wù)和產(chǎn)品的重要場所,。楊健深知保障多功能展廳各項設(shè)備平穩(wěn)運行,即是工作任務(wù),,也是政治責(zé)任,。
楊健接手展廳設(shè)備維護(hù)工作時,距展廳建成已有4年的時間,,部分設(shè)備早以過了維保期,,故障率較高。在一次高規(guī)格接待任務(wù)前夕,,展廳OTN網(wǎng)沙盤展示區(qū)播放控制端主機(jī)發(fā)生故障,,送修后被告知無法修復(fù)。楊健通過逆向分析控制端程序了解其運行機(jī)制,,將其移植到一臺筆記本電腦上,,實現(xiàn)了控制功能,。
還有一次,他在調(diào)試投影設(shè)備時發(fā)現(xiàn)5臺投影設(shè)備中有1臺投影發(fā)生故障,,導(dǎo)致投影畫面不完整,。這種高端投影設(shè)備單價高達(dá)20萬元,沈陽當(dāng)?shù)貨]有授權(quán)維修機(jī)構(gòu),,只能送修北京,。為確保第二天的接待工作順利進(jìn)行,楊健連夜加班,,查找問題,,最終修復(fù)了設(shè)備,圓滿的完成了當(dāng)次接待任務(wù),。
以上只是他平凡工作中的縮影,。楊健就是這樣一位秉承工匠精神、嚴(yán)謹(jǐn)認(rèn)真,、精益求精,、有責(zé)任心、有專業(yè)技能,、肯鉆研的運保人,。作為一名共產(chǎn)黨員,他時刻不忘發(fā)揮先鋒模范作用,、任勞任怨,,突破傳統(tǒng)思維在其工作中做出了卓越的貢獻(xiàn)。
(運行保障中心)