大(dà)数据分(fēn)析平台(tái)

高(gāo)校(xiào)信(xìn)息應(yìng)用(yòng)系(xì)統，在日(rì)常教學(xué)和(hé)管(guǎn)理(lǐ)中(zhōng)積累了(le)大(dà)量(liàng)曆史数据，但这(zhè)些(xiē)海(hǎi)量(liàng)数据卻沒(méi)有(yǒu)得到(dào)有(yǒu)效的(de)分(fēn)析和(hé)利用(yòng)，各(gè)部(bù)門(mén)人(rén)員在日(rì)常数据录(lù)入(rù)和(hé)維護中(zhōng)只(zhī)是(shì)通(tòng)过(guò)統計(jì)和(hé)排序对(duì)数据進(jìn)行簡单的(de)功能(néng)操作(zuò)获得一(yī)些(xiē)表(biǎo)面(miàn)、淺顯、價值不高(gāo)的(de)結果(guǒ)。構建一(yī)个(gè)大(dà)数据分(fēn)析平台(tái)，從學(xué)校(xiào)其(qí)他(tā)應(yìng)用(yòng)平台(tái)中(zhōng)抽取(qǔ)海(hǎi)量(liàng)数据進(jìn)行管(guǎn)理(lǐ)、整合、分(fēn)析和(hé)利用(yòng)，從中(zhōng)發(fà)現(xiàn)潛在問(wèn)題(tí)和(hé)有(yǒu)價值的(de)規律，並(bìng)通(tòng)过(guò)可(kě)視化(huà)的(de)方(fāng)式進(jìn)行展(zhǎn)示，能(néng)够为(wèi)學(xué)校(xiào)管(guǎn)理(lǐ)层(céng)提(tí)供科學(xué)決策的(de)支持(chí)，並(bìng)滿足教师(shī)、學(xué)生(shēng)的(de)个(gè)性(xìng)化(huà)需求，從而(ér)提(tí)高(gāo)高(gāo)校(xiào)信(xìn)息化(huà)服(fú)務(wù)的(de)質(zhì)量(liàng)。  

1.構建目标(biāo) 

 (1)實(shí)現(xiàn)数据的(de)共(gòng)享和(hé)交換。将學(xué)校(xiào)各(gè)應(yìng)用(yòng)系(xì)統的(de)数据進(jìn)行集成(chéng)和(hé)整合，使来(lái)源各(gè)异(yì)、种類(lèi)不一(yī)的(de)各(gè)類(lèi)数据可(kě)以(yǐ)相互使用(yòng)，豐富数据的(de)来(lái)源，打(dǎ)破系(xì)統間(jiān)的(de)信(xìn)息孤島(dǎo)，實(shí)現(xiàn)数据的(de)共(gòng)享和(hé)應(yìng)用(yòng)。  

 (2)大(dà)数据的(de)采集和(hé)存儲。研制数据适配接口(kǒu)，对(duì)接校(xiào)内各(gè)應(yìng)用(yòng)系(xì)統获取(qǔ)各(gè)類(lèi)异(yì)構数据，並(bìng)采用(yòng)大(dà)数据主(zhǔ)流的(de)框架和(hé)系(xì)統对(duì)数据進(jìn)行統一(yī)存儲，为(wèi)数据的(de)挖掘和(hé)分(fēn)析打(dǎ)好(hǎo)基礎。  

 (3)大(dà)数据分(fēn)析與(yǔ)決策。采用(yòng)数据挖掘、数理(lǐ)統計(jì)等相關(guān)技術(shù)，構建大(dà)数据分(fēn)析框架，提(tí)取(qǔ)数据中(zhōng)隐含的(de)、未知的(de)、极(jí)具潛在應(yìng)用(yòng)價值的(de)信(xìn)息和(hé)規律，为(wèi)學(xué)校(xiào)的(de)教務(wù)管(guǎn)理(lǐ)、科研管(guǎn)理(lǐ)、學(xué)生(shēng)管(guǎn)理(lǐ)、後(hòu)勤管(guǎn)理(lǐ)等各(gè)項工作(zuò)提(tí)供決策和(hé)指導。

2.構建原則

  (1)安(ān)全(quán)性(xìng)。高(gāo)校(xiào)信(xìn)息化(huà)工作(zuò)中(zhōng)有(yǒu)許多(duō)保密性(xìng)内容，大(dà)数据分(fēn)析平台(tái)應(yìng)采取(qǔ)安(ān)全(quán)性(xìng)高(gāo)的(de)訪問(wèn)认證机制，同(tóng)时(shí)在平台(tái)建設中(zhōng)要(yào)充分(fēn)重(zhòng)視系(xì)統自(zì)身(shēn)的(de)安(ān)全(quán)性(xìng)以(yǐ)及(jí)其(qí)他(tā)應(yìng)用(yòng)系(xì)統的(de)安(ān)全(quán)性(xìng)。 

  (2)可(kě)擴展(zhǎn)性(xìng)。对(duì)高(gāo)校(xiào)教育大(dà)数据的(de)分(fēn)析和(hé)應(yìng)用(yòng)是(shì)一(yī)項长(cháng)期(qī)持(chí)久的(de)工作(zuò)，随着管(guǎn)理(lǐ)工作(zuò)的(de)重(zhòng)點(diǎn)、教育信(xìn)息化(huà)工作(zuò)的(de)变化(huà)推進(jìn)，对(duì)于(yú)信(xìn)息平台(tái)的(de)規模和(hé)要(yào)求也(yě)会不斷变化(huà)。因(yīn)此(cǐ)，要(yào)求平台(tái)的(de)設計(jì)和(hé)實(shí)施要(yào)具有(yǒu)良好(hǎo)的(de)擴展(zhǎn)性(xìng)，以(yǐ)滿足不斷發(fà)展(zhǎn)变化(huà)的(de)要(yào)求。 

  (3)靈活性(xìng)。在平台(tái)的(de)設計(jì)和(hé)實(shí)施中(zhōng)要(yào)考慮到(dào)與(yǔ)其(qí)他(tā)應(yìng)用(yòng)系(xì)統的(de)整合，開(kāi)發(fà)出(chū)多(duō)个(gè)類(lèi)型的(de)接口(kǒu)，能(néng)够靈活接入(rù)其(qí)他(tā)系(xì)統、拓展(zhǎn)服(fú)務(wù)類(lèi)型。   

 3.總(zǒng)體(tǐ)框架 

 平台(tái)應(yìng)适應(yìng)于(yú)大(dà)数据處(chù)理(lǐ)要(yào)求，能(néng)支持(chí)PB級数据管(guǎn)理(lǐ)。系(xì)統架構應(yìng)高(gāo)安(ān)全(quán)性(xìng)、易擴展(zhǎn)性(xìng)，能(néng)够支持(chí)各(gè)類(lèi)主(zhǔ)流開(kāi)發(fà)语言，並(bìng)提(tí)供豐富的(de)接口(kǒu)。同(tóng)时(shí)能(néng)够支持(chí)結構化(huà)和(hé)非(fēi)結構化(huà)数据的(de)存儲和(hé)應(yìng)用(yòng)。Hadoop作(zuò)为(wèi)開(kāi)源的(de)大(dà)数据處(chù)理(lǐ)平台(tái)和(hé)工具，其(qí)提(tí)供的(de)HDFS分(fēn)布(bù)式文(wén)件(jiàn)系(xì)統和(hé)MapReduce模型能(néng)够很好(hǎo)地(dì)滿足以(yǐ)上(shàng)的(de)要(yào)求。

基于(yú)Hadoop技術(shù)的(de)高(gāo)校(xiào)大(dà)数据分(fēn)析平台(tái)自(zì)下(xià)而(ér)上(shàng)分(fēn)为(wèi)三(sān)个(gè)部(bù)分(fēn)，分(fēn)别为(wèi)：数据层(céng)、大(dà)数据采集與(yǔ)存儲、数据分(fēn)析及(jí)展(zhǎn)示。   

(1)数据层(céng)，針(zhēn)对(duì)不同(tóng)系(xì)統進(jìn)行分(fēn)析，制定(dìng)系(xì)統数据采集範圍與(yǔ)目标(biāo)，收(shōu)集本(běn)校(xiào)在日(rì)常管(guǎn)理(lǐ)和(hé)教學(xué)中(zhōng)的(de)産生(shēng)的(de)各(gè)類(lèi)数据，将各(gè)种結構化(huà)和(hé)非(fēi)結構化(huà)数据進(jìn)行整合，为(wèi)大(dà)数据的(de)分(fēn)析提(tí)供支撑。  

 (2)大(dà)数据采集與(yǔ)存儲旨在为(wèi)各(gè)類(lèi)异(yì)構数据研制适配接口(kǒu)，與(yǔ)校(xiào)内其(qí)他(tā)各(gè)系(xì)統对(duì)接，並(bìng)为(wèi)数据提(tí)供适配、轉(zhuǎn)換、存儲等基本(běn)管(guǎn)理(lǐ)功能(néng)。

(3)数据分(fēn)析和(hé)展(zhǎn)示是(shì)核心(xīn)業務(wù)层(céng)，通(tòng)过(guò)数据報表(biǎo)工具，根(gēn)据需求制定(dìng)多(duō)樣(yàng)的(de)，針(zhēn)对(duì)性(xìng)的(de)数据報表(biǎo)。通(tòng)过(guò)基于(yú)的(de)Hadoop的(de)MapReduce編程模型實(shí)現(xiàn)的(de)数据分(fēn)析系(xì)統，針(zhēn)对(duì)存儲的(de)数据進(jìn)行数据處(chù)理(lǐ)、算法運行、結果(guǒ)轉(zhuǎn)換操作(zuò)，将結果(guǒ)保存为(wèi)報表(biǎo)文(wén)件(jiàn)，每日(rì)形成(chéng)的(de)報表(biǎo)文(wén)件(jiàn)集。報表(biǎo)展(zhǎn)現(xiàn)系(xì)統将生(shēng)成(chéng)的(de)報表(biǎo)文(wén)件(jiàn)以(yǐ)可(kě)視化(huà)方(fāng)式進(jìn)行展(zhǎn)現(xiàn)。