導語：數(shù)據(jù)倉庫中的證券行業(yè)論文一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

1建設目標

1.1建設公司級數(shù)據(jù)倉庫

將數(shù)據(jù)邏輯模型固化，形成存儲結構合理、層次明確的數(shù)據(jù)倉庫層級。對各類數(shù)據(jù)進行統(tǒng)一采集、存儲、清理、轉(zhuǎn)換、匯總，形成公司統(tǒng)一數(shù)據(jù)字典以及統(tǒng)一數(shù)據(jù)口徑。涵蓋結構化數(shù)據(jù)以及非結構化數(shù)據(jù)的整合。

1.2構建公司級數(shù)據(jù)倉庫模型

以金融行業(yè)為藍本，兼顧證券行業(yè)特點，具有穩(wěn)定性、可擴展性、靈活性以及前瞻性。數(shù)據(jù)倉庫模型具有清晰的主題結構，主題域涵蓋證券公司各項業(yè)務，能夠支撐運營管理、風險管理、財務管理、客戶管理、咨詢服務等，囊括證券公司現(xiàn)有以及目前可預見的全部業(yè)務。

1.3形成統(tǒng)一的數(shù)據(jù)調(diào)度、監(jiān)控平臺

主要實現(xiàn)EE作業(yè)、SE作業(yè)、命令行程序、PL/SQL程序等作業(yè)的定義、調(diào)度管理和運維監(jiān)控。利用可視化的作業(yè)流程集成管理，實例化各種作業(yè)組件并通過拖拽方式設計業(yè)務處理的各個環(huán)節(jié)和觸發(fā)機制。通過統(tǒng)一的監(jiān)控平臺，可以監(jiān)測整個數(shù)據(jù)倉庫的各程序運行情況、系統(tǒng)CUP和磁盤等資源占用情況以及數(shù)據(jù)庫表使用情況等。

1.4建立統(tǒng)一的數(shù)據(jù)管控平臺

實現(xiàn)在數(shù)據(jù)ETL過程中的元數(shù)據(jù)管理、數(shù)據(jù)標準管理和數(shù)據(jù)質(zhì)量管理。元數(shù)據(jù)管理通過對相關的技術、業(yè)務元數(shù)據(jù)進行統(tǒng)一的歸集，實現(xiàn)數(shù)據(jù)間的血緣分析和影響分析；數(shù)據(jù)標準管理主要實現(xiàn)數(shù)據(jù)層面的代碼數(shù)據(jù)標準化和業(yè)務層面的作業(yè)標準化；數(shù)據(jù)質(zhì)量管理主要涵蓋數(shù)據(jù)質(zhì)量檢查定義、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量檢查分析、數(shù)據(jù)治理問題管理和數(shù)據(jù)質(zhì)量知識管理。

1.5打造規(guī)范的數(shù)據(jù)服務平臺

在數(shù)據(jù)倉庫模型層統(tǒng)一、規(guī)范的數(shù)據(jù)基礎上，按照業(yè)務的特性整理出通用的指標數(shù)據(jù)，為業(yè)務管理系統(tǒng)提供數(shù)據(jù)服務。

2建設規(guī)劃

數(shù)據(jù)倉庫數(shù)據(jù)處理的流程主要包括：通過數(shù)據(jù)采集，將各基礎業(yè)務系統(tǒng)數(shù)據(jù)集中、非結構化數(shù)據(jù)，同步到貼源數(shù)據(jù)層；再經(jīng)過清洗、變換、轉(zhuǎn)換、標準化，依據(jù)企業(yè)的統(tǒng)一標準和規(guī)則對來自企業(yè)內(nèi)外分散在不同系統(tǒng)的數(shù)據(jù)進行消除非一致性的集成和標準化的處理，數(shù)據(jù)按照一定的主題域進行組織存儲在核心層；通用指標匯總層按照業(yè)務數(shù)據(jù)的通用性匯總形成各種通用數(shù)據(jù)指標；業(yè)務指標層則根據(jù)各業(yè)務部門的不同需求對通用指標再加工，形成業(yè)務指標層；第三方應用集市根據(jù)應用要求，對數(shù)據(jù)進行預處理，并最終為應用層提供數(shù)據(jù)服務。源數(shù)據(jù)層：源數(shù)據(jù)層是數(shù)據(jù)倉庫的數(shù)據(jù)來源，包含各種交易類和管理類的業(yè)務數(shù)據(jù)以及大量的非結構化數(shù)據(jù)。數(shù)據(jù)存儲層：包括緩沖層、貼源數(shù)據(jù)層、規(guī)范存儲層、匯總層和第三方應用集市層。緩沖層：即源數(shù)據(jù)中間層，用于存放部分基礎業(yè)務系統(tǒng)的數(shù)據(jù)文件并可作為基礎數(shù)據(jù)源對外提供數(shù)據(jù)直傳服務；貼源數(shù)據(jù)層：用于存放從源數(shù)據(jù)中間層經(jīng)過基本清洗轉(zhuǎn)換后的數(shù)據(jù)，貼源數(shù)據(jù)層的數(shù)據(jù)模型與業(yè)務系統(tǒng)基本保持一致；核心層：從貼源數(shù)據(jù)層經(jīng)過清洗、轉(zhuǎn)換和整合后可靠的、一致的、規(guī)范的數(shù)據(jù)，按金融數(shù)據(jù)模型對貼源數(shù)據(jù)層的數(shù)據(jù)進行標準化的統(tǒng)一，解決信息孤島通用指標層：按照業(yè)務的特性整理出通用的指標數(shù)據(jù)；業(yè)務指標層：按照各業(yè)務條線對指標的特殊要求，形成業(yè)務指標層直接供業(yè)務部門使用；第三方應用集市層：數(shù)據(jù)集市層是以具體應用為主題，所存儲的數(shù)據(jù)都是根據(jù)具體應用進行運行和匯總的各類指標數(shù)據(jù)。數(shù)據(jù)調(diào)度平臺：包括數(shù)據(jù)采集、清洗、轉(zhuǎn)換以及數(shù)據(jù)轉(zhuǎn)換的調(diào)度管理。數(shù)據(jù)服務平臺：為業(yè)務管理系統(tǒng)提供數(shù)據(jù)服務，包括數(shù)據(jù)直傳、數(shù)據(jù)推送、API接口、WebService接口等。數(shù)據(jù)管控平臺：包括數(shù)據(jù)質(zhì)量與標準、元數(shù)據(jù)管理、數(shù)據(jù)脫敏管理。通過統(tǒng)一的管控平臺，可以監(jiān)測整個數(shù)據(jù)倉庫的各程序運行情況、系統(tǒng)cpu和磁盤等資源占用情況、數(shù)據(jù)庫表使用情況等；可以了解數(shù)據(jù)源采集、數(shù)據(jù)入庫、數(shù)據(jù)轉(zhuǎn)換、關鍵后續(xù)任務運行等數(shù)據(jù)處理狀態(tài)；并可以通過信號燈、聲音、郵件或短信等形式報告系統(tǒng)的運行情況和數(shù)據(jù)的處理狀態(tài)；為數(shù)據(jù)倉庫的運行維護保駕護航。應用層：包括中間服務層和訪問控制層。中間服務層主要是生成數(shù)據(jù)集、各種報表和數(shù)據(jù)分析，并提供各種查詢和分析功能；門戶作為訪問控制層實現(xiàn)統(tǒng)一的用戶管理、權限管理和安全認證訪問體系。展現(xiàn)層：根據(jù)對數(shù)據(jù)倉庫的需求，來進行報表界面的開發(fā)。一般可分為普通用戶、技術用戶和高級用戶三類，普通用戶主要訪問一些靜態(tài)的報表，技術用戶主要是通過展現(xiàn)工具生成一些動態(tài)報表，滿足業(yè)務的急迫需要。高級用戶是關注決策有關的一些關鍵指標和報表。

3結論

本文針對目前數(shù)據(jù)在證券公司的業(yè)務可持續(xù)發(fā)展中起到越來越重要的地位的戰(zhàn)略思想，通過分析數(shù)據(jù)倉庫的建設規(guī)劃來闡述如何更好的幫助證券公司建設統(tǒng)一的數(shù)據(jù)倉庫平臺。為未來各種新興業(yè)務的開展、客戶的挖掘、企業(yè)決策等提供了一套思路，從而達到公司的良好健康的可持續(xù)發(fā)展。

作者：鄭建勇單位：同濟大學軟件學院勝科金仕達數(shù)據(jù)系統(tǒng)中國有限公司