基于大數(shù)據(jù)技術(shù)信用風(fēng)險評價系統(tǒng)設(shè)計（二）

1、平臺架構(gòu)設(shè)計
系統(tǒng)的大數(shù)據(jù)庫、融資服務(wù)系統(tǒng)、風(fēng)險緩釋系統(tǒng)幾部分相互結(jié)合，共同支撐了系統(tǒng)的運行，并通過系統(tǒng)頁面進(jìn)行對外的信息展示。
系統(tǒng)通過各種途徑采集到的數(shù)據(jù)先統(tǒng)一進(jìn)入系統(tǒng)的大數(shù)據(jù)庫，經(jīng)過清洗、處理后轉(zhuǎn)化為結(jié)構(gòu)化、規(guī)范化的數(shù)據(jù)，并被分類存儲，用于實現(xiàn)兩大功能：一是為系統(tǒng)融資服務(wù)過程中資產(chǎn)包的構(gòu)建提供數(shù)據(jù)支持，二是為系統(tǒng)頁面展示提供中小企業(yè)的各類數(shù)據(jù)信息。
大數(shù)據(jù)庫、融資服務(wù)系統(tǒng)、風(fēng)險緩釋系統(tǒng)這幾部分構(gòu)成了系統(tǒng)的內(nèi)部運行體系，而外部的系統(tǒng)參與主體，主要是通過系統(tǒng)頁面來進(jìn)行各項操作。融資交易雙方在系統(tǒng)頁面提交數(shù)據(jù)、查詢?nèi)谫Y進(jìn)度、管理資金、監(jiān)控風(fēng)險等，沒有融資需求的中小企業(yè)也可從系統(tǒng)了解產(chǎn)業(yè)資訊、獲得信息服務(wù)。
2、平臺功能設(shè)計
（1）信用信息云計算中心
1）Hadoop大數(shù)據(jù)處理

• ? 資源存儲服務(wù)

通過科技情報服務(wù)系統(tǒng)可以對用戶的本地文件進(jìn)行基本的操作，包括了文件的打開關(guān)閉操作，文件的創(chuàng)建和刪除的操作等?？蛻舳送ㄟ^網(wǎng)絡(luò)訪問系統(tǒng)門戶，系統(tǒng)在與HDFS分布式文件系統(tǒng)進(jìn)行通信的過程中，需要定義一些通信的協(xié)議，以及通信的接口。用戶通過客戶端對底層的數(shù)據(jù)塊進(jìn)行操作的信息就會通過客戶端與底層的HDFS之間的通信連接過程來完成。在云存儲服務(wù)系統(tǒng)的結(jié)構(gòu)模型中，云存儲服務(wù)供應(yīng)商只需要對云存儲服務(wù)系統(tǒng)進(jìn)行有效的維護(hù)和管理，云存儲服務(wù)供應(yīng)商可以將其人力、物力用在云存儲服務(wù)系統(tǒng)的應(yīng)用開發(fā)、云存儲服務(wù)系統(tǒng)的框架優(yōu)化、云存儲服務(wù)系統(tǒng)數(shù)據(jù)的容錯處理、以及提供給云存儲系統(tǒng)用戶的接口開發(fā)等方面，這有利于云存儲服務(wù)系統(tǒng)更加貼近用戶的現(xiàn)實需求，達(dá)到提供高效、安全、可擴展性好的存儲服務(wù)目的。

• ? 高性能計算服務(wù)

當(dāng)用戶在調(diào)用后臺計算節(jié)點集群進(jìn)行高性能計算時，科技情報服務(wù)系統(tǒng)將調(diào)用Hadoop架構(gòu)中MapRe-duceAPI提供Map和Reduce處理。首先，需要將要執(zhí)行的MPI程序復(fù)制到Hadoop框架中的Master和每一臺Worker機器中，由Master選擇由哪些Worker機器來執(zhí)行Map程序和Reduce程序。其次，分配所有的數(shù)據(jù)塊到執(zhí)行Map程序的Worker機器中進(jìn)行Map（切割成小塊數(shù)據(jù)），然后將Map后的記錄存入到Worker機器。最后，執(zhí)行Reduce程序的Worker機器，遠(yuǎn)程讀取每份Map結(jié)果，進(jìn)行混合、匯整與排序，同時執(zhí)行Reduce程序。最后，將結(jié)果輸出給用戶。
2）數(shù)據(jù)庫加密引擎
加解密引擎位于應(yīng)于程序與服務(wù)器之間，是實現(xiàn)數(shù)據(jù)加密及安全的核心模塊。負(fù)責(zé)在后臺完成加解密，對用戶來說是透明的。在系統(tǒng)運行時駐留內(nèi)存，通過內(nèi)部接口與用戶程序和數(shù)據(jù)庫通訊，密鑰引擎又分為本地引擎和專用引擎。專用引擎中包含一個專門用于密碼計算的CPU般來說，專用引擎是經(jīng)過特別設(shè)計制造的電子設(shè)備，可以通過PCI等接口或者SSL等協(xié)議經(jīng)由網(wǎng)絡(luò)使用。在一般的數(shù)據(jù)庫系統(tǒng)中，都釆用本地引擎，因為其不需要單獨配置一個硬件接口，實現(xiàn)容易，成本也低。SUN公司的Java加密擴展(Java Cryptography Extension—JCE)中默認(rèn)的提供者對本地引擎算法做了實現(xiàn)。
（2）信用信息云服務(wù)系統(tǒng)
1）HTTPS（SSL）加密協(xié)議
SSL協(xié)議位于TCP/IP協(xié)議與各種應(yīng)用層協(xié)議之間，為數(shù)據(jù)通訊提供安全支持。SSL協(xié)議可分為兩層：SSL記錄協(xié)議（SSL Record Protocol）：它建立在可靠的傳輸協(xié)議（如TCP）之上，為高層協(xié)議提供數(shù)據(jù)封裝、壓縮、加密等基本功能的支持。SSL握手協(xié)議（SSL Handshake Protocol）：它建立在SSL記錄協(xié)議之上，用于在實際的數(shù)據(jù)傳輸開始前，通訊雙方進(jìn)行身份認(rèn)證、協(xié)商加密算法、交換加密密鑰等。保證主機通訊過程中數(shù)據(jù)不被篡改和泄密，保證通訊服務(wù)器的身份。
2）反向代理負(fù)載均衡技術(shù)

• ? 反向代理配置

反向代理方式與普通的代理方式有所不同，標(biāo)準(zhǔn)代理方式是客戶使用代理訪問多個外部Web服務(wù)器，反向代理方式是多個客戶使用它訪問內(nèi)部Web服務(wù)器，使用反向代理服務(wù)器可以將請求轉(zhuǎn)發(fā)給內(nèi)部的Web服務(wù)器，從而提升靜態(tài)網(wǎng)頁的訪問速度。因此可以使用這種技術(shù)，讓代理服務(wù)器將請求均勻轉(zhuǎn)發(fā)給多臺內(nèi)部Web服務(wù)器之一上，從而達(dá)到負(fù)載均衡的目的。使用反向代理的好處是，可以將負(fù)載均衡和代理服務(wù)器的高速緩存技術(shù)結(jié)合在一起，提供有益的性能，具備額外的安全性，外部客戶不能直接訪問真實的服務(wù)器。并且可實現(xiàn)較好的負(fù)載均衡策略，將負(fù)載可均衡分給內(nèi)部服務(wù)器，不會出現(xiàn)負(fù)載集中到某個服務(wù)器的偶然現(xiàn)象。

• ? 負(fù)載均衡的雙機熱備

正常情況下，兩臺負(fù)載均衡服務(wù)器全部處于活動狀態(tài)，對外提供服務(wù)。通過兩臺服務(wù)器之間的互相檢測機制，當(dāng)主服務(wù)器上的檢測程序發(fā)現(xiàn)自身無法訪問時，停止綁定虛擬IP，改由備用服務(wù)器綁定虛擬IP，同時由主服務(wù)器給網(wǎng)關(guān)發(fā)送Arping包，保證了網(wǎng)關(guān)上IP、MAC地址對應(yīng)關(guān)系能夠馬上更改，能夠做到強行接管虛擬IP。

• ? 負(fù)載均衡服務(wù)器上設(shè)置緩存，加快服務(wù)器響應(yīng)速度

對于修改實時性要求不高的圖片、Flash、CSS樣式文件、JavaScript文件，可以在反向代理(負(fù)載均衡)服務(wù)器上設(shè)置緩存，不用每次請求都轉(zhuǎn)發(fā)到后端Web服務(wù)器，加快了響應(yīng)速度。同時也可以減少與后端Web服務(wù)器的連接數(shù)，提高了處理性能。