數(shù)據(jù)流管理系統(tǒng)設(shè)計(jì)與應(yīng)用：SAP ESP項(xiàng)目實(shí)戰(zhàn)指南

　　一提到SAP這個(gè)名字，大家首先想到的是ERP和CRM，想到的是企業(yè)級(jí)應(yīng)用軟件、企業(yè)管理解決方案等。是的，SAP一直基于領(lǐng)先的技術(shù)、各行各業(yè)豐富的實(shí)踐經(jīng)驗(yàn)以及優(yōu)質(zhì)的服務(wù)，幫助各行業(yè)不同規(guī)模的企業(yè)實(shí)現(xiàn)卓越的運(yùn)營和管理。從企業(yè)后臺(tái)到公司決策層、從工廠倉庫到商鋪店面、從桌面設(shè)備到移動(dòng)終端——SAP助力用戶和企業(yè)高效協(xié)作，獲取商業(yè)洞察力，并從競爭中脫穎而出。SAP的軟件和服務(wù)能夠幫助客戶實(shí)現(xiàn)盈利性的運(yùn)營，不斷提升應(yīng)變能力，實(shí)現(xiàn)可持續(xù)的增長。 自從1972年成立以來，SAP一直專注于企業(yè)應(yīng)用和管理，有了自己獨(dú)特的最佳實(shí)踐和服務(wù)理念。但在最近的幾年中，IT技術(shù)不斷發(fā)展，也促成企業(yè)應(yīng)用需要更加開放，更具有多樣性，更加適合當(dāng)今最新的IT技術(shù)，例如大數(shù)據(jù)、云計(jì)算和實(shí)時(shí)分析等。從2007年開始，SAP并購了一系列業(yè)界領(lǐng)先的公司，容納更廣闊的IT技術(shù)于企業(yè)應(yīng)用之中，并加強(qiáng)在IT基礎(chǔ)架構(gòu)、數(shù)據(jù)分析、企業(yè)移動(dòng)化等諸多領(lǐng)域。這就好比一棵筆直生長的大樹，它一直在躥個(gè)兒，換句話說，原來只做企業(yè)應(yīng)用，而現(xiàn)在需要枝繁葉茂，需要在數(shù)據(jù)分析、企業(yè)移動(dòng)化方面大展宏圖。 從2012年開始，SAP把創(chuàng)新分為了五大市場，分別是企業(yè)應(yīng)用、商務(wù)分析、企業(yè)移動(dòng)化、數(shù)據(jù)管理與技術(shù)平臺(tái)和云計(jì)算。在這五大市場中，企業(yè)應(yīng)用是SAP一貫堅(jiān)持的方向，而其他四個(gè)方面則是適應(yīng)當(dāng)今IT技術(shù)的發(fā)展而發(fā)展起來的。例如：自從2010年SAP收購Sybase公司以后，SAP采用Sybase移動(dòng)化解決方案，使得移動(dòng)化應(yīng)用無處不在，我們可以在恰當(dāng)?shù)臅r(shí)間、適當(dāng)?shù)牡攸c(diǎn)，通過移動(dòng)應(yīng)用隨時(shí)隨地發(fā)送和接收信息，完成工作上的要求。通過提供移動(dòng)銷售、移動(dòng)工作流等系統(tǒng)級(jí)移動(dòng)應(yīng)用，方便地拓展了企業(yè)ERP和CRM的使用，延伸了企業(yè)應(yīng)用的范圍，提高了工作效率和水平。再譬如，隨著SuccessFactors和Ariba加入SAP大家庭，以云計(jì)算為核心的企業(yè)應(yīng)用不斷涌現(xiàn)，企業(yè)可以以全新的方式來運(yùn)營，而不必遵循傳統(tǒng)的管理方式。SAP完全可以通過托管、租賃等不同的方式，把優(yōu)質(zhì)和創(chuàng)新的應(yīng)用交付給不同規(guī)模的企業(yè)，尤其是成長型企業(yè)，為其部署在云端的解決方案，為廣大成長型企業(yè)用戶帶來適合自己需求的最佳實(shí)踐。 2007年SAP融入BusinessObject公司，使得其在商務(wù)智能、信息管理、企業(yè)績效以及治理、風(fēng)險(xiǎn)管理與合規(guī)等方面有了自己完整的解決方案。采用SAP商務(wù)分析系列解決方案，企業(yè)可獲得更為廣泛的洞察力，可以優(yōu)化決策流程，改善風(fēng)險(xiǎn)管理等，同時(shí)讓企業(yè)把對(duì)業(yè)務(wù)的洞察力轉(zhuǎn)化為策略，再轉(zhuǎn)化為運(yùn)營決策。另外，SAP商務(wù)分析解決方案既能支持傳統(tǒng)ERP系統(tǒng)中的數(shù)據(jù)分析，也能支持大數(shù)據(jù)的智慧分析。 在SAP這棵大樹上，有一個(gè)數(shù)據(jù)管理方面的重要分支，那就是流式數(shù)據(jù)管理。說到流式數(shù)據(jù)管理，就不得不提CEP（Complex Event Processing）復(fù)雜事件處理。在CEP的領(lǐng)域，國外已經(jīng)有了很多研究成果和相當(dāng)成熟的產(chǎn)品，而在中國才剛剛起步。流式數(shù)據(jù)處理是CEP的一個(gè)核心技術(shù)，流計(jì)算來自一個(gè)信念：數(shù)據(jù)的價(jià)值隨著時(shí)間的流逝而降低，所以事件出現(xiàn)后必須盡快地對(duì)它們進(jìn)行處理。那么什么是復(fù)雜事件呢？復(fù)雜事件是一種事件，通常多個(gè)簡單事件發(fā)生時(shí)預(yù)示著這種事件的發(fā)生。一個(gè)人發(fā)球，一個(gè)人接球，另一個(gè)人扣球，每個(gè)都是彼此孤立的事件，在一起組成了排球比賽這個(gè)復(fù)雜事件。 在復(fù)雜事件處理中，數(shù)據(jù)是不斷變化的，而其“操作”是“靜態(tài)”的。這里說的“操作”是用戶預(yù)定義或訂閱的規(guī)則，根據(jù)預(yù)定義或訂閱的規(guī)則來發(fā)現(xiàn)可能原本不被注意的模式和趨勢（即復(fù)雜事件），從而使用戶有能力建模、確認(rèn)、預(yù)計(jì)及迅速響應(yīng)看似無關(guān)的事件所帶來的機(jī)遇和威脅。換句話說，復(fù)雜事件處理具備了分析高速數(shù)據(jù)流并鑒別重要事件的能力，而這些重要事件通常是按照一定順序或在特定時(shí)間窗口內(nèi)發(fā)生在多個(gè)數(shù)據(jù)點(diǎn)的組合，雖然對(duì)這些事件的鑒別過程是復(fù)雜的，但結(jié)果卻是無價(jià)的。復(fù)雜事件處理能夠幫助企業(yè)及時(shí)全面地洞察市場變化，降低風(fēng)險(xiǎn)和提高決策效率。 我們需要一個(gè)復(fù)雜事件處理（CEP）平臺(tái)提供專業(yè)開發(fā)應(yīng)用的功能，它使得企業(yè)能夠以超過每秒100萬條消息的處理速度分析數(shù)據(jù)流，其延遲時(shí)間為毫秒級(jí)或更少，從而提供一個(gè)快速應(yīng)用開發(fā)和實(shí)施的平臺(tái)。就如同其他平臺(tái)一樣，一個(gè)CEP平臺(tái)也能夠加快開發(fā)，降低成本，消除對(duì)專業(yè)開發(fā)技巧的依賴，可以說，CEP平臺(tái)使得我們擺脫既不能自己開發(fā)又無處購買的二難境地。 SAP ESP就是一個(gè)CEP的開發(fā)和運(yùn)行平臺(tái)，基于這個(gè)平臺(tái)能夠創(chuàng)建和運(yùn)行自己的復(fù)雜事件處理應(yīng)用程序，以便于從實(shí)時(shí)的流數(shù)據(jù)中獲得連續(xù)的智能分析結(jié)果。早在2008年3月，Sybase基于Coral8內(nèi)核發(fā)布了Sybase CEP產(chǎn)品，但Coral8在2008年5月被Aleri公司收購。異軍突起的Aleri在2009年，被Forrester列為CEP領(lǐng)域杰出的領(lǐng)軍企業(yè)，同時(shí)，Aleri還是首家獲準(zhǔn)作為安全技術(shù)評(píng)估中心基準(zhǔn)的CEP廠商。隨后在2010年2月，Sybase收購了Aleri，成功躋身成為CEP領(lǐng)頭羊并強(qiáng)化實(shí)時(shí)分析平臺(tái)。在2011年9月，也就是SAP收購Sybase之后，SAP發(fā)布了基于“Aleri架構(gòu)升級(jí)+ CCL（Coral8）描述模型”的SAP ESP產(chǎn)品（其過渡產(chǎn)品曾經(jīng)命名為SAP Sybase ESP）。 在實(shí)時(shí)分析能力上，SAP Sybase ESP解決方案在高速度、高容量的環(huán)境下極具價(jià)值。原因就是SAP ESP使用與傳統(tǒng)商務(wù)智能系統(tǒng)完全不同的方法來進(jìn)行數(shù)據(jù)分析。傳統(tǒng)的方法是——捕獲數(shù)據(jù)，將其結(jié)構(gòu)化為一種固定的格式，將數(shù)據(jù)存儲(chǔ)在基于磁盤的數(shù)據(jù)倉庫中，然后定期在這些數(shù)據(jù)之上運(yùn)行報(bào)表，進(jìn)行數(shù)據(jù)分析。SAP ESP與之不同的是它在數(shù)據(jù)到達(dá)時(shí)通過規(guī)則檢查數(shù)據(jù)，所有的操作都不落地，因?yàn)橐坏┞涞鼐褪r(shí)效性。SAP ESP鑒別重要事件的能力幾乎是實(shí)時(shí)的，并能從最新的數(shù)據(jù)中抽取出商務(wù)智能，形成多種用途。 為了滿足企業(yè)對(duì)能支持實(shí)時(shí)分析、高速交易的應(yīng)用程序的需求，SAP ESP提供了強(qiáng)大的復(fù)雜事件處理解決方案。它能夠從多個(gè)數(shù)據(jù)源中吸收新的數(shù)據(jù)，并在數(shù)據(jù)之間創(chuàng)建關(guān)系從而能鑒別出代表機(jī)會(huì)和問題的模式。在事件存儲(chǔ)之前，能實(shí)時(shí)持續(xù)分析多個(gè)事件流。它通過使用大量原始而重要的數(shù)據(jù)流，將跨多個(gè)流的事件關(guān)聯(lián)起來，從而鑒別出新的關(guān)聯(lián)業(yè)務(wù)條件，并在幾毫秒（或更短）的時(shí)間內(nèi)對(duì)這些事件做出響應(yīng)。正因?yàn)榫邆淞嗽L問流式數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)的能力，SAP ESP產(chǎn)品能迅速地讓智能決策生效。另外，SAP ESP同樣可用來生成簡潔、信息豐富的數(shù)據(jù)流，并將它們分發(fā)至下游的系統(tǒng)、應(yīng)用程序和歷史庫中。 總之，希望大家在讀完本書后，能夠?qū)EP領(lǐng)域和SAP ESP解決方案有一個(gè)清晰的認(rèn)識(shí)，結(jié)合自己的工作和生活，靈活運(yùn)用這些CEP方法和技術(shù)，為企業(yè)的實(shí)時(shí)分析、實(shí)時(shí)決策以及業(yè)務(wù)運(yùn)營帶來應(yīng)用的新理念、新方式。 本書由SAP（北京）軟件系統(tǒng)有限公司羅永強(qiáng)帶領(lǐng)中國移動(dòng)（深圳）有限公司付峰、SAP（北京）軟件系統(tǒng)有限公司馬澤炯共同編寫完成。中國移動(dòng)（深圳）有限公司敖錦蓉也參與了編寫工作，在此表示感謝。

　　羅永強(qiáng)SAP資深大數(shù)據(jù)及商業(yè)智能架構(gòu)師，近二十年的信息化系統(tǒng)建設(shè)經(jīng)驗(yàn)，曾任某國有大型商業(yè)銀行分行級(jí)數(shù)據(jù)中心主任，國內(nèi)最早期數(shù)據(jù)倉庫建設(shè)者。參與了電信、證券、銀行、政府、零售、制造等多個(gè)行業(yè)的數(shù)據(jù)倉庫、數(shù)據(jù)集市、算法交易等系統(tǒng)建設(shè)，致力于用管理的視角看待大數(shù)據(jù)及商務(wù)智能系統(tǒng)。付峰中國移動(dòng)（深圳）有限公司技術(shù)專家，近十年中國移動(dòng)業(yè)務(wù)支撐網(wǎng)工作經(jīng)驗(yàn)，主要從事業(yè)務(wù)支撐網(wǎng)BOSS和經(jīng)營分析系統(tǒng)方面的測評(píng)規(guī)劃、方案設(shè)計(jì)等工作，多次參與集團(tuán)在經(jīng)營分析系統(tǒng)方面的規(guī)劃、規(guī)范編寫、方案設(shè)計(jì)和培訓(xùn)等工作，擁有扎實(shí)的業(yè)務(wù)知識(shí)和技術(shù)知識(shí)。馬澤炯羅永強(qiáng)SAP資深大數(shù)據(jù)及商業(yè)智能架構(gòu)師，近二十年的信息化系統(tǒng)建設(shè)經(jīng)驗(yàn)，曾任某國有大型商業(yè)銀行分行級(jí)數(shù)據(jù)中心主任，國內(nèi)最早期數(shù)據(jù)倉庫建設(shè)者。參與了電信、證券、銀行、政府、零售、制造等多個(gè)行業(yè)的數(shù)據(jù)倉庫、數(shù)據(jù)集市、算法交易等系統(tǒng)建設(shè)，致力于用管理的視角看待大數(shù)據(jù)及商務(wù)智能系統(tǒng)。付峰中國移動(dòng)（深圳）有限公司技術(shù)專家，近十年中國移動(dòng)業(yè)務(wù)支撐網(wǎng)工作經(jīng)驗(yàn)，主要從事業(yè)務(wù)支撐網(wǎng)BOSS和經(jīng)營分析系統(tǒng)方面的測評(píng)規(guī)劃、方案設(shè)計(jì)等工作，多次參與集團(tuán)在經(jīng)營分析系統(tǒng)方面的規(guī)劃、規(guī)范編寫、方案設(shè)計(jì)和培訓(xùn)等工作，擁有扎實(shí)的業(yè)務(wù)知識(shí)和技術(shù)知識(shí)。馬澤炯SAP資深系統(tǒng)顧問。近十五年的信息化系統(tǒng)建設(shè)經(jīng)驗(yàn)，專注于金融、電信、政府等行業(yè)的數(shù)據(jù)管理與分析類解決方案，在主機(jī)、存儲(chǔ)、操作系統(tǒng)、數(shù)據(jù)庫、商務(wù)智能等方面具有豐富的項(xiàng)目和解決方案經(jīng)驗(yàn)。近年來從事SAP事件流處理器的推廣與應(yīng)用工作。顯示全部信息