發布時間：2017-03-22所屬分類：管理論文瀏覽：1次
摘 要： 這篇中國郵政投稿論文發表了任務調度在郵政信息項目的應用，在郵政信息項目中如何順利實施數據處理作業任務呢?論文根據信息項目的特點和需求，探討了自動任務調度管理系統的建設意義及實現方式，并對未來的應用前景進行了展望。
這篇中國郵政投稿論文發表了任務調度在郵政信息項目的應用，在郵政信息項目中如何順利實施數據處理作業任務呢?論文根據信息項目的特點和需求，探討了自動任務調度管理系統的建設意義及實現方式，并對未來的應用前景進行了展望。
關鍵詞：中國郵政投稿,數據挖掘,任務調度,業務邏輯
隨著郵政信息化建設的不斷深入，數據是企業的重要資產這一理念已成為共識。通過深入挖掘各業務系統累積的業務數據，保障批量任務程序高效運行，具有可靠性、可擴展的自動任務調度系統的開發與應用顯得尤為重要。
1郵政金融數據挖掘信息項目的特點
目前各省開發的郵政金融數據挖掘信息項目，從原始的數據下載系統到最終的目標應用系統，必然要經過數據抽取、轉換、加載(以下簡稱“ETL”)的數據流轉過程。但在實際的數據分析和項目開發過程中發現，與一般意義上的ETL過程相比，郵政金融數據挖掘信息項目有其自身特點。郵政金融數據下載系統的數據來源主要有兩部分：一是各郵政金融生產系統直接生成的接口數據，二是郵政金融客戶管理系統經過歸集的數據。數據下載系統已將下發數據全部加載到數據庫中，相對于一般意義上的數據挖掘，數據質量明顯改善。在省內信息項目中，主要數據處理通常包括篩選、歸集、計算等再加工流程，一般無需再進行專門的數據清洗等操作，而且基本不需要考慮數據庫之外的數據源。在日常數據分析過程中，各省信息技術部門積累了大量對數據提取、歸集的結構化查詢語言(以下簡稱“SQL”)腳本。在做信息項目的過程中，項目需求與日常數據提取工作有一定的重疊性。在一些簡單的信息項目中，借鑒日常數據提取的工作經驗，可以較快地生成相應數據處理的數據庫存儲過程，但缺乏一個簡單、便捷的調度管理工具，將這些存儲過程組織在一起。
2自動任務調度管理系統的重要作用
ETL作為郵政數據挖掘信息項目的基礎，按照一定的規則集成并提高數據的價值，是從原始數據向業務模型轉化的過程，是項目實施的關鍵步驟，但往往被人們忽視。如在日常工作中，經常會用到調度腳本來周期性完成計劃任務的方式，但這種方式只適用于少量作業的簡單場景，根本無法滿足實際項目過程中復雜的依賴關系、異�？刂萍盎謴偷戎匾δ苄枨蟆τ谑瘸Ｒ姷男⌒托畔㈨椖縼碚f，采用現有的ETL工具意味著較大的投資成本和后續的跟進維護及二次開發等問題。且現實中很多信息項目業務邏輯存在差異性，為獲得最佳性能，很多任務都需另外開發。而作業調度則不同，每個信息項目都需要通過作業調度將作業任務有效組織起來。因此，ETL是信息系統的基礎，而調度是ETL的靈魂。中國郵政集團公司山西省信息技術局(以下簡稱“山西省郵政信息技術局”)在項目建設實踐中，經過不斷的總結提升，最終形成一套統一的、相對獨立的自動任務調度管理系統，基本實現了將業務邏輯封裝在定制的存儲過程中，通過任務列表進行統一管理調用。在自動任務調度平臺基礎上，只要進行存儲過程的開發配置，就可以快速實現基本的數據流轉，通過實際應用，完全可以滿足一般小型信息項目的需求。
3自動任務調度管理系統的實現方式
3.1對業務邏輯進行封裝
由于實際業務邏輯的差異性、復雜性，為了便于管理，同時將調度管理系統與具體業務處理進行隔離，通常要將業務邏輯封裝在一系列獨立的作業任務中，在調度管理系統看來只是作業任務，對于作業的內部邏輯，調度管理系統并不關心。從實際的運行經驗看，需要將作業任務拆分細化為獨立、較小的事務，或成功提交，或失敗回滾。這樣有利于異常中斷的恢復，同時拆分為多個較小的事務，實際處理效率較高。
3.2統一的作業調度接口
為了實現相對獨立的通用任務管理平臺，需要對作業任務定義統一的作業調度接口。目前的作業調度接口只定義了基本的返回代碼和錯誤信息兩個域，主要實現任務調度的管理需求。顯然這兩個基本字段無法滿足復雜的業務邏輯需求。通過分析歸納系統需求發現，最主要的調用內容是數據日期類的調用，而對于一個特定的業務系統來說，大多數據日期是相同的，通過在信息系統中設置參數表，定義相應的日期參數、業務參數，可以將這些參數的訪問、維護也封裝在作業任務中。這樣完全可以在滿足業務邏輯的前提下，實現基本的統一作業調度接口。
3.3任務隊列配置
依賴關系是ETL作業最重要的內容，目前采用的方式是在數據庫中創建任務列表，通過專門的存儲過程對任務列表進行維護。任務列表通過任務序號體現任務間的順序執行依賴關系，同時通過對任務列表的維護，實現任務的觸發，執行狀態、異常場景的保存等。在任務調度的不同階段，可能存在復雜的依賴及并發關系。為了提高執行效率，在任務列表中對并發調度進行了細化，對每個任務對應的應用模塊執行順序、是否可并發執行、并發執行的階段序號進行了靈活的動態配置。這樣根據任務的特性及依賴關系，可以靈活地按順序執行或者分階段多線程并發執行，對計算量大的步驟還實現了步驟內按機構并發執行，顯著提高了后臺計算的執行效率。
3.4任務觸發
任務觸發可以分為定時周期性觸發和事件觸發。目前省內依托數據下載系統的信息項目，最主要的觸發條件是數據下發情況和依賴步驟的完成情況，以周期性觸發為主。具體方式為定時調用調度平臺，檢查數據下發情況，同時檢查任務列表的完成情況，對可滿足執行條件的任務進行篩選，對有前后依賴的步驟按配置的優先順序逐一進行調用。對于沒有依賴的任務，進行并發調用。對于時效性要求較高的任務，也可采用事件觸發的模式進行調度，將調度平臺作為后臺服務駐留在內存中，對關心的事件進行輪詢。當有觸發事件發生時，調用對應的任務進行作業處理。
3.5多系統協同
在實際應用環境中，一個信息系統的處理結果可能會應用到另一個信息系統中，即各系統之間存在數據交互。如積分回饋系統的數據明細，就是作為代理金融客戶分戶管理系統的數據源，即上游數據提供系統的任務完成情況，觸發了下游目標系統的任務處理。但這種協同關系不宜過多，否則建議將作業流程獨立，再分別將需要的數據集提供給目標系統。
3.6意外情況的處理機制
實際開發中，可能出現的異常主要來自系統資源問題和數據異常情況。通過異常處理機制，異常原因會通過調用接口返回到調度平臺，對任務異常中斷、正常結束等狀態進行標記，通過查看日志和任務列表的任務狀態和備注信息可實現異常的定位和處理。如常見的回滾段或內存資源不足導致異常，只要調整資源配置或減少并發數配置后，修改任務狀態為就緒，即可實現后續任務的恢復處理。
3.7數據流轉效率
對于批量任務來說，由于數據量巨大，數據處理效率成為決定項目成敗的重要指標。對任務處理的優化工作，基本貫穿于整個項目過程，具體可以分為單個作業任務內的優化和整體效率的優化兩方面。3.7.1單個處理任務優化采用并發查詢語句和SQL數據分析函數，簡化SQL語句的復雜度，提高處理效率。利用數據庫表分區，將數據拆分到小的分區中，縮小檢索范圍。對于大批量修改的任務，酌情采用創建臨時表的模式，取代直接批量修改的方式。對于跨系統的數據抽取，采取在遠端數據庫創建視圖的方法，只抽取視圖的查詢結果，減少網絡壓力。對于某些大批量數據計算，由調度平臺實現多線程并發處理，并對并發度進行參數化設置。3.7.2整體任務效率優化對于整個批量處理的整體效率，由調度平臺的任務間并發進行優化。通過配置任務列表，調度平臺篩選出可以并發的任務列表并加載到線程池，分階段進行多線程并發調用處理。經過一系列的項目實踐，基本滿足了項目要求。
4自動任務調度管理系統在信息項目中的實際應用
自數據下載系統上線以來，為促進郵政金融業務的發展，實現以客戶為核心的精細化服務，提升客戶體驗，特別是在網點轉型跨越發展的新形勢下，山西省郵政信息技術局先后開發了一系列郵政金融信息項目，并推廣到兄弟省，為郵政金融業務的快速健康發展起到了積極作用。在上述系統的開發建設中，業務需求各有側重，前臺的實現方式不盡相同，但在后臺的數據處理方面，經過不斷的總結提升，最終形成了統一的、相對獨立的自動任務調度管理系統，作為基礎平臺，應用于上述各系統中。
4.1實現了數據流轉的基礎平臺
山西省郵政信息技術局自行開發的任務調度管理系統，基本形成了將業務邏輯封裝在定制的存儲過程中，通過任務列表進行統一管理調用的模式，實現了與業務邏輯的隔離。在實際的項目開發中，只需關注具體業務邏輯的開發，通過任務配置即可實現數據處理過程，項目開發效率明顯提高。將業務邏輯進行封裝，通過任務隊列進行動態管理，靈活地實現了任務流程的定制。只需調整任務列表配置，無需修改代碼，就能實現任務按先后次序約束執行，或無關聯的任務并發執行。對于異常情況，系統可以直接指定從某個任務開始恢復后續任務的執行。甚至對于一些臨時需求，也可簡單訂制臨時任務，通過調度管理系統實現對業務的快速響應。在數據挖掘信息項目中，處理單個批量任務的數據量達千萬筆。經過多方面的優化處理，系統運行效率基本滿足了項目要求。通過多年的實際運行和開發實踐，對于目前省內依托數據下載系統開發的小型信息項目，任務調度管理系統的模式完全可以滿足現有功能需求，加快開發進度。
4.2多方位支持郵政金融業務發展
4.2.1開發積分回饋系統，加強對現有客戶的維系2012年上線的積分回饋系統實現了對所有儲蓄客戶的積分累積，需處理的數據量有上千萬筆。同時，各積分指標周期不同，積分規則可能會根據業務發展的實際情況進行動態調整，其計算流程相當于多個積分指標的計算流程相疊加。通過將批量任務的組織管理單獨分離出來，交于調度平臺處理，并對大數據量的任務處理實現了多線程并發計算，原來經過幾十個小時未能完成的作業任務，在多線程處理后幾個小時內即可完成，圓滿完成了項目建設任務，同時為后續信息項目的開發提供了平臺支持。4.2.2開發郵政儲蓄網點客戶管理信息系統，推動金融網點轉型工作為推動郵政代理金融網點轉型工作順利開展，2013年山西省郵政信息技術局開發建設了郵政儲蓄網點客戶管理信息系統。由于系統業務指標多，后臺作業步驟多，依賴關系復雜，即便是簡單的順序執行，一次完整的數據處理也需要運行幾天時間。山西省郵政信息技術局一方面通過建立遠端視圖，只抽取經過歸集的結果數據，提高了任務處理效率，另一方面將整個任務處理分為幾個階段，在階段內進行無關聯任務的并發處理，最終在一晚時間完成整個數據處理，保證了網點人員對系統的正常使用。4.2.3開發儲蓄業績認定系統，激勵員工營銷工作2014年7月，為系統性解決儲蓄余額積分計獎問題，山西省郵政信息技術局開發了儲蓄業績認定系統。系統計算的業務邏輯較為復雜，基于任務調度管理平臺的支持，項目開發重點關注具體業務邏輯的實現，完成了作業任務發布及單元測試。項目上線后，對于一些特殊的臨時需求，定置臨時任務隊列，快速響應了業務管理需求，在金融市場競爭日趨激烈的情況下，為山西省郵政儲蓄業務的穩定發展起到了重要作用。
5前景展望
隨著郵政業務的迅猛發展，市場競爭日趨激烈，如何更好地做好技術支撐工作，為業務發展、經營決策服務，是中國郵政亟需解決的重要課題。只有積極跟進業務發展的實際需求，不斷拓展應用功能，持續優化大數據量處理效率，提升對復雜場景下數據流轉的支持力度，才能更加靈活、穩定、高效地為業務經營活動提供支持，在信息技術推動業務增長、提高企業經營管理水平和節能增效等方面多出成果。
作者：吳家光 單位：中國郵政集團公司山西省信息技術局
推薦閱讀：《中國郵政》(月刊)創刊于1976年，是由中華人民共和國國家郵政局主管、主辦，郵政綜合性刊物。集中反映我國郵政通信建設、業務技術發展狀況、經營管理、服務水平、職工生活、教育訓練、古代郵驛和集郵等內容。
SCISSCIAHCI
