前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的大數(shù)據(jù)時(shí)代的定義主題范文,僅供參考,歡迎閱讀并收藏。
[關(guān)鍵詞]交通管理;智能交通;云計(jì)算;物聯(lián)網(wǎng);大數(shù)據(jù)
中圖分類(lèi)號(hào):U12-39 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-914X(2017)08-0383-03
一、引言
隨著科學(xué)技術(shù)的飛速發(fā)展,傳統(tǒng)的交通管理模式和系統(tǒng)已無(wú)法滿足經(jīng)濟(jì)社會(huì)的快速增長(zhǎng)和物流需求,交通擁堵已經(jīng)成為國(guó)內(nèi)外所共同面臨的難題。解決城市交通問(wèn)題的一個(gè)重要途徑――智能交通,也是未來(lái)城市交通的發(fā)展方向。當(dāng)我們?cè)谥鸩秸J(rèn)識(shí)、運(yùn)用云計(jì)算、物聯(lián)網(wǎng)等技術(shù)解決該問(wèn)題時(shí),“大數(shù)據(jù)”時(shí)代已悄然來(lái)臨,既宣告了一個(gè)新時(shí)代的來(lái)臨,又成為了一個(gè)時(shí)代的標(biāo)志。不容置疑,隨著大數(shù)據(jù)時(shí)代的到來(lái),城市智能交通也必然會(huì)產(chǎn)生重大變化,也將面臨重要的發(fā)展機(jī)遇,智能交通產(chǎn)業(yè)發(fā)展也將迎來(lái)新的機(jī)遇。
二、大數(shù)據(jù)簡(jiǎn)介(圖1)
隨著世界各國(guó)對(duì)“大數(shù)據(jù)”關(guān)注度的提高,大數(shù)據(jù)的應(yīng)用范圍已不斷擴(kuò)大,其所蘊(yùn)含的內(nèi)容價(jià)值也得到進(jìn)一步的開(kāi)發(fā)和利用。隨著互聯(lián)網(wǎng)技術(shù)的普及和發(fā)展,信息時(shí)代的發(fā)展進(jìn)步導(dǎo)致信息量的加速擴(kuò)大,海量的、多樣的信息使我們逐漸地步入了“大數(shù)據(jù)”的時(shí)代。想要在大數(shù)據(jù)中快速獲得有價(jià)值的信息并對(duì)其進(jìn)行有效的分析處理,就需要應(yīng)用到大數(shù)據(jù)技術(shù)。
1.大數(shù)據(jù)定義(圖2)
大數(shù)據(jù)時(shí)代的來(lái)臨,是互聯(lián)網(wǎng)發(fā)展到一定階段的必然產(chǎn)物。隨著互聯(lián)網(wǎng)的高速發(fā)展,互聯(lián)網(wǎng)中的信息量急劇增加,這些信息有用的部分被稱(chēng)為數(shù)據(jù)。當(dāng)數(shù)據(jù)規(guī)模越來(lái)越大時(shí),量變就會(huì)引起質(zhì)變,大數(shù)據(jù)應(yīng)運(yùn)而生。如何定義大數(shù)據(jù),可以說(shuō)仁者見(jiàn)仁、智者見(jiàn)智。
IBMo出的定義:大數(shù)據(jù),或稱(chēng)巨量資料,指所涉及的資料規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)。
大數(shù)據(jù)概念給出的定義:大數(shù)據(jù)是一個(gè)體量特別大、類(lèi)別特別大的數(shù)據(jù)集,并且無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。首先,數(shù)據(jù)體量(Volumes)大,在實(shí)際應(yīng)用中已形成了PB級(jí)的數(shù)據(jù)量;其次,數(shù)據(jù)類(lèi)別(Variety)大,囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。接著,數(shù)據(jù)處理速度(Velocity)快,在數(shù)據(jù)量非常龐大的情況下能夠做到數(shù)據(jù)的實(shí)時(shí)處理。最后,數(shù)據(jù)真實(shí)性(Veracity)高,企業(yè)愈發(fā)需要有效的信息以確保其真實(shí)性及安全性。
研究機(jī)構(gòu)給出的定義:大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類(lèi)別上看,大數(shù)據(jù)指的是無(wú)法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。
2.大數(shù)據(jù)特點(diǎn)
從上述定義,我們可以將大數(shù)據(jù)特點(diǎn)歸納為4個(gè)V(量Volume,多樣Variety,價(jià)值Value,速Velocity):如圖3所示:
第一,Volume數(shù)據(jù)體量巨大,從TB級(jí)別躍升到PB級(jí)別。
第二,Variety數(shù)據(jù)類(lèi)型繁多,包括視頻、圖片、地理位置信息、傳感器數(shù)據(jù)等等。
第三,Value價(jià)值密度低,應(yīng)用價(jià)值高,以視頻為例,連續(xù)不間斷監(jiān)控過(guò)程中可能有用的數(shù)據(jù)僅僅有一兩秒。
第四,Velocity處理速度快,1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。在交通領(lǐng)域,海量的數(shù)據(jù)主要包括四個(gè)類(lèi)型的數(shù)據(jù):傳感器數(shù)據(jù)(位置、溫度、壓力、圖像、速度、RFID等信息);系統(tǒng)數(shù)據(jù)(日志、設(shè)備記錄、MIBs管理信息庫(kù)等);服務(wù)數(shù)據(jù)(收費(fèi)信息、上網(wǎng)服務(wù)及其他信息);應(yīng)用數(shù)據(jù)(生成廠家、能源、交通、性能、兼容性等信息)。交通數(shù)據(jù)的類(lèi)型繁多,而且體積巨大。
在以上的四個(gè)特點(diǎn)中,量Volume和多樣Variety是因,數(shù)據(jù)類(lèi)型的復(fù)雜和數(shù)據(jù)量的急劇增加決定了原有簡(jiǎn)單因果關(guān)系的應(yīng)用模式對(duì)數(shù)據(jù)使用率極低,完全無(wú)法發(fā)揮數(shù)據(jù)的作用;速Velocity是過(guò)程,巨大的運(yùn)算量決定了速度必須快;價(jià)值Value是最終的果。
三、大數(shù)據(jù)在城市交通管理的價(jià)值(圖4)
近年來(lái),包括互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等信息技術(shù)在內(nèi)的IT通信業(yè)迅速發(fā)展,現(xiàn)代信息社會(huì)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。大數(shù)據(jù)改變的不只是人們的日常生活和工作模式、企業(yè)運(yùn)作和經(jīng)營(yíng)模式,甚至還引起科學(xué)研究模式的根本性改變。
大數(shù)據(jù)中蘊(yùn)含著大價(jià)值,大數(shù)據(jù)價(jià)值的合理共享和利用將創(chuàng)造巨大的財(cái)富。大數(shù)據(jù)智能分析能夠給智慧城市的管理和服務(wù)系統(tǒng)提供新的洞察力,是提升智慧城市“智商”的關(guān)鍵。以大數(shù)據(jù)技術(shù)為支撐的綜合智能化分析和決策系統(tǒng),使智慧城市的管理系統(tǒng)和服務(wù)系統(tǒng)充分、有效、合理地發(fā)揮各自的作用,解決目前困擾各地的“信息孤島”現(xiàn)象,做到信息資源的共享、智能決策的集成,實(shí)現(xiàn)智慧城市讓城市生活更美好、更幸福的目標(biāo)。
第一,大數(shù)據(jù)的虛擬性可以解決跨越行政區(qū)域的限制。
交通大數(shù)據(jù)的虛擬性,有利于其信息跨越區(qū)域管理,只要多方共同遵照相關(guān)的信息共享原則,就能在已有的行政區(qū)域下解決跨域管理問(wèn)題。
關(guān)鍵詞:大數(shù)據(jù);信息服務(wù);航空公司;數(shù)據(jù)挖掘;商業(yè)價(jià)值
中圖分類(lèi)號(hào):F407文獻(xiàn)標(biāo)識(shí)碼: A
The Impact And Challenges Aviation Enterprises Facing Under The Background Of Big Data
Chen Lei1Wu Suzhuo2
1Tianjin Keyvia Electric Co., Ltd, Tianjin 300384, China
2College of Aeronautical Automation, CAUC, Tianjin 300300,China
Abstract: With the development of the technology of information and communication, the data which information system collect, process, accumulate is growing at breakneck pace, and big data era has officially arrived. Inevitably, application of information technology in aviation enterprises is suffering the large impact of big data. This paper describes the status of services and data management in aviation enterprises. In terms of this, the challenges and urgency which big data will bring to the aviation corporations are discussed, as well as the commercial value.
Key words: big data; information service; airline business; data mining; commercial value
隨著互聯(lián)網(wǎng),云計(jì)算,物聯(lián)網(wǎng)技術(shù)的興起,信息系統(tǒng)在各領(lǐng)域迅速拓展,各種移動(dòng)設(shè)備、RFID、無(wú)線傳感器等時(shí)時(shí)刻刻都在產(chǎn)生數(shù)據(jù)。文字、聲音、圖片以及用戶的行為習(xí)慣和關(guān)系網(wǎng)絡(luò)構(gòu)成了互聯(lián)網(wǎng)上這些龐大的數(shù)據(jù)資源,伴隨著國(guó)內(nèi)外互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的大爆發(fā),數(shù)據(jù)量也相應(yīng)地劇增。由此看來(lái),數(shù)據(jù)增長(zhǎng)量之多,速度之快,已經(jīng)到了前所未有的階段,顯然大數(shù)據(jù)已經(jīng)開(kāi)啟了時(shí)代轉(zhuǎn)型。至此,我們發(fā)現(xiàn),信息已成為新的產(chǎn)業(yè),并且正在引領(lǐng)社會(huì)發(fā)展。
大數(shù)據(jù)的浪潮對(duì)民航的沖擊是不言而喻的。民航企業(yè)已經(jīng)感受到其所帶來(lái)的轉(zhuǎn)變和創(chuàng)新的巨大壓力。迎接大數(shù)據(jù),把壓力轉(zhuǎn)化為動(dòng)力, 就要正確地認(rèn)識(shí)大數(shù)據(jù)給航企帶來(lái)的環(huán)境改變,利用大數(shù)據(jù)實(shí)現(xiàn)航企服務(wù)能力的提升,進(jìn)而推動(dòng)民航事業(yè)的發(fā)展。
1大數(shù)據(jù)的基本概念與應(yīng)用領(lǐng)域
1.1大數(shù)據(jù)的定義及特征
大數(shù)據(jù)不同于以往的“海量數(shù)據(jù)”,“超大規(guī)模數(shù)據(jù)”,它本身概念比較抽象。目前較有代表性的定義是3V定義【1】,即認(rèn)為大數(shù)據(jù)應(yīng)具有三個(gè)特點(diǎn):規(guī)模性(volume)、多樣性(variety)和高速性(velocity)。其中規(guī)模性是指通過(guò)各種智能設(shè)備產(chǎn)生了大量的數(shù)據(jù)。多樣性是指大數(shù)據(jù)包括了結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等多累數(shù)據(jù),且它們的處理方式存在很大差別。高速性是指因?yàn)樵S多數(shù)據(jù)存在時(shí)效性而要求快速處理。
另外還有提出4V定義的,但是對(duì)第四個(gè)V的解釋并不一致。國(guó)際數(shù)據(jù)公司(InternationalData Corporation ,IDC)認(rèn)為大數(shù)據(jù)還應(yīng)當(dāng)具有價(jià)值性(value)【2】,而IBM認(rèn)為大數(shù)據(jù)必然具有真實(shí)性(veracity)【3】。在面對(duì)實(shí)際問(wèn)題時(shí),不必過(guò)度地拘泥于具體的定義,在把握3V定義的基礎(chǔ)上適當(dāng)?shù)乜紤]4V特性即可[4].維基百科,權(quán)威IT 研究與顧問(wèn)咨詢公司Gartner,美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)分別對(duì)大數(shù)據(jù)進(jìn)行了定義,盡管表述不同,但有一點(diǎn)較一致,認(rèn)為雖然大數(shù)據(jù)與“海量數(shù)據(jù)”和“大規(guī)模數(shù)據(jù)”的概念一脈相承,但其在數(shù)據(jù)體量、數(shù)據(jù)復(fù)雜性和產(chǎn)生速度三個(gè)方面均大大超出了傳統(tǒng)的數(shù)據(jù)形態(tài),并帶來(lái)了巨大的產(chǎn)業(yè)創(chuàng)新機(jī)遇。
1.2 大數(shù)據(jù)的應(yīng)用領(lǐng)域
大數(shù)據(jù)時(shí)代的來(lái)臨,給各行各業(yè)帶來(lái)變革性的機(jī)會(huì),未來(lái)的應(yīng)用前景非常廣闊。但是就目前的發(fā)展來(lái)看,大數(shù)據(jù)運(yùn)用仍處于發(fā)展初級(jí)階段,國(guó)內(nèi)對(duì)大數(shù)據(jù)的應(yīng)用領(lǐng)域還較為狹窄,主要集中在金融、物流、公共等三個(gè)領(lǐng)域。目前,中國(guó)金融行業(yè)的數(shù)據(jù)量已經(jīng)超過(guò)100TB,非結(jié)構(gòu)化數(shù)據(jù)迅速增長(zhǎng)。分析人士認(rèn)為,中國(guó)金融行業(yè)正在步入大數(shù)據(jù)時(shí)代的初級(jí)階段。而較強(qiáng)的數(shù)據(jù)分析能力和相關(guān)的數(shù)據(jù)洞察力是金融市場(chǎng)發(fā)展的核心競(jìng)爭(zhēng)力。在公共領(lǐng)域,對(duì)大數(shù)據(jù)的運(yùn)用主要集中在電力行業(yè)、智能交通、電子政務(wù)、司法系統(tǒng)等四個(gè)方面。在物流領(lǐng)域,大數(shù)據(jù)成為企業(yè)在競(jìng)爭(zhēng)中贏得主動(dòng)和實(shí)現(xiàn)跨越發(fā)展的關(guān)鍵所在。第七屆中國(guó)(深圳)物流運(yùn)輸過(guò)程透明管理峰會(huì)上,大數(shù)據(jù)就成為與會(huì)代表關(guān)注的焦點(diǎn)。
2 大數(shù)據(jù)背景下航企改革的緊迫性
2.1 航企數(shù)據(jù)應(yīng)用的現(xiàn)狀
目前,航空公司都建立有自己的數(shù)據(jù)庫(kù),但是很多航空公司數(shù)據(jù)項(xiàng)目多,存放和管理很零亂,各部門(mén)各自為政,未能實(shí)現(xiàn)不同部門(mén)之間的數(shù)據(jù)共享。另外,絕大多數(shù)航空公司都只專(zhuān)注于使用已有的結(jié)構(gòu)性數(shù)據(jù),即由航空公司控制并有明確使用目的的數(shù)據(jù),比如售票和預(yù)訂、客戶支持、交易數(shù)據(jù)、非常規(guī)運(yùn)營(yíng)、維修保養(yǎng)記錄和機(jī)組人員信息等數(shù)據(jù)。然而他們?nèi)狈?duì)非結(jié)構(gòu)性數(shù)據(jù)重視和應(yīng)用,非結(jié)構(gòu)性數(shù)據(jù)指航空公司無(wú)法控制的,沒(méi)有明確使用目的的所有類(lèi)型的數(shù)據(jù)。再者,很多航空公司過(guò)多的追求數(shù)據(jù)的精確性,而忽略了數(shù)據(jù)的混雜性和全面性,因此無(wú)法合理整合數(shù)據(jù),難以掌握數(shù)據(jù)背后的意義。
2.2 大數(shù)據(jù)背景下航企改革的緊迫性
民航企業(yè)與信息技術(shù)有著緊密的聯(lián)系,因此實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用必然是航企的熱點(diǎn)話題。大數(shù)據(jù)時(shí)代的到來(lái)迫使航企大服務(wù)時(shí)代來(lái)臨。傳統(tǒng)的服務(wù)理念已漸漸滿足不了旅客的需求,這就使得航企必須改變傳統(tǒng)的服務(wù)模式和理念。
環(huán)顧身邊旅客手中的手機(jī)和APP,就會(huì)發(fā)現(xiàn)這里面民航信息之廣,速度之快,已經(jīng)向航企正式示威[5]。在信息技術(shù)方面,許多網(wǎng)站在信息傳播速度上和信息提供方式上更不亞于民航企業(yè)。大數(shù)據(jù)時(shí)代的這些軟件和網(wǎng)站的出現(xiàn)無(wú)疑對(duì)航企產(chǎn)生了巨大的沖擊,迫使民航企業(yè)進(jìn)行改革。
如果航空公司無(wú)法及時(shí)的很好的應(yīng)對(duì)此狀況,其他行業(yè)必然會(huì)取而代之。這樣一來(lái),航空公司只能從其他行業(yè)手中重金買(mǎi)回分析好的數(shù)據(jù),顯然不利于航企的效益和發(fā)展。
此外,2011-2013年上半年,中國(guó)國(guó)航的航空貨運(yùn)的營(yíng)業(yè)收入一直持續(xù)下降,航空貨運(yùn)持續(xù)低迷。如圖1所示是2008-2013年6月中國(guó)國(guó)航分業(yè)務(wù)營(yíng)業(yè)收入走勢(shì)圖,該資料來(lái)源于前瞻產(chǎn)業(yè)研究院。在一個(gè)全球化、互聯(lián)網(wǎng)、信息爆炸和由大數(shù)據(jù)定義的世界里,依賴于直覺(jué)和經(jīng)驗(yàn)制定業(yè)務(wù)決策的傳統(tǒng)方式,顯然已經(jīng)不能達(dá)到理想效果。中國(guó)國(guó)航的航空貨運(yùn)的效益管理和營(yíng)銷(xiāo)管理亟待加強(qiáng),如何通過(guò)掌握的數(shù)據(jù)以及對(duì)現(xiàn)有數(shù)據(jù)的挖掘和分析制定出合理的方法,從而提高載運(yùn)率和飛機(jī)利用率成為當(dāng)務(wù)之急。
圖1 中國(guó)國(guó)航分業(yè)務(wù)營(yíng)業(yè)收入走勢(shì)圖
Fig.1 Revenue trend of business in Air China
3 大數(shù)據(jù)給航企帶來(lái)的挑戰(zhàn)
航空公司擁有龐大的旅客數(shù)據(jù)資源,如何有效的利用現(xiàn)有的數(shù)據(jù),并且對(duì)這些數(shù)據(jù)進(jìn)行深入挖掘和分析,成為大數(shù)據(jù)時(shí)代航企面臨的挑戰(zhàn)。
數(shù)據(jù)挖掘是指通過(guò)數(shù)據(jù)統(tǒng)計(jì)和機(jī)器學(xué)習(xí),結(jié)合數(shù)據(jù)庫(kù)管理技術(shù)從大數(shù)據(jù)集中提取出有價(jià)值的信息的技術(shù)。是通過(guò)其它屬性的值來(lái)預(yù)測(cè)目標(biāo)屬性的值,或是尋找數(shù)據(jù)中潛在聯(lián)系的模式【6】。如圖2所示為多處理階段模型,這是Fayyad 等人設(shè)計(jì)的目前廣為接受的一種處理模型。
圖2 多處理階段模型
Fig.2 Multi-processing model
傳統(tǒng)的數(shù)據(jù)分析主要是對(duì)已知的數(shù)據(jù)范圍中容易處理的數(shù)據(jù)進(jìn)行的,大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)都有一個(gè)精致的提取、轉(zhuǎn)換和加載(ETL)的流程和數(shù)據(jù)庫(kù)限制,也就是說(shuō)加載進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是容易理解的、洗清過(guò)的,并符合業(yè)務(wù)的元數(shù)據(jù)。相比傳統(tǒng)數(shù)據(jù)分析,大數(shù)據(jù)分析主要針對(duì)傳統(tǒng)手段捕捉到的數(shù)據(jù)之外的非結(jié)構(gòu)化數(shù)據(jù),這就說(shuō)明不能保證輸入的數(shù)據(jù)是完整的、清洗過(guò)和沒(méi)有任何錯(cuò)誤的。這一點(diǎn)使它更有挑戰(zhàn)性,但同時(shí)它也提供了在數(shù)據(jù)中獲得更多洞察力的范圍【7】。
3.1 大數(shù)據(jù)挑戰(zhàn)航企數(shù)據(jù)挖掘能力
每個(gè)航空公司都存放著生產(chǎn)、運(yùn)行、銷(xiāo)售、客戶等各種各樣的數(shù)據(jù)。航企不僅要利用來(lái)自常旅客系統(tǒng)的旅客數(shù)據(jù)信息,還要充分利用包括中央預(yù)定系統(tǒng)(CRS),客戶管理系統(tǒng)(CMS)和客戶反饋系統(tǒng)(CFS)在內(nèi)的其他業(yè)務(wù)部門(mén)的系統(tǒng)數(shù)據(jù)資源。這些都可以成為航企提供分析旅客需求的數(shù)據(jù)資源。
數(shù)據(jù)類(lèi)型的多樣化對(duì)傳統(tǒng)數(shù)據(jù)分析帶來(lái)了挑戰(zhàn)?,F(xiàn)有的挖掘算法往往只適合常駐內(nèi)存的小數(shù)據(jù)集,而航空公司大規(guī)模的數(shù)據(jù)可能無(wú)法同時(shí)導(dǎo)入內(nèi)存,從而算法的效率成了數(shù)據(jù)分析流程的瓶頸[7]。
3.2大數(shù)據(jù)的處理速度挑戰(zhàn)數(shù)據(jù)處理的時(shí)效性
聯(lián)合航空公司架構(gòu)與技術(shù)經(jīng)理Denny Lyons說(shuō):“對(duì)于聯(lián)合航空公司而言,信息是一切工作的核心。乘客、地勤、檢票、空乘、售票、運(yùn)營(yíng)以及管理人員都需要按照他們需求定制的、時(shí)效性極強(qiáng)的關(guān)鍵數(shù)據(jù)?!辈浑y看出在當(dāng)今社會(huì),面臨鋪天蓋地的數(shù)據(jù)與信息,保證數(shù)據(jù)的時(shí)效性是航空公司立于不敗之地的關(guān)鍵。民航服務(wù)不僅要充分利用現(xiàn)有的信息技術(shù),通過(guò)數(shù)據(jù)挖掘,從數(shù)據(jù)中尋找市場(chǎng),還需要信息技術(shù)前傾,服務(wù)前移,通過(guò)對(duì)數(shù)據(jù)實(shí)時(shí)分析得知旅客需求,并采取相應(yīng)措施滿足旅客,也就是讓數(shù)據(jù)引領(lǐng)服務(wù)。大數(shù)據(jù)趨勢(shì)下的服務(wù)不是等待旅客來(lái)主動(dòng)要求我們滿足他們的需求,而是要充分利用實(shí)時(shí)數(shù)據(jù)來(lái)分析旅客可能有哪方面的需求,從而使旅客享受更為貼心的服務(wù)。
然而隨著航空公司數(shù)據(jù)規(guī)模的不斷增大,數(shù)據(jù)類(lèi)型不斷多樣化,分析處理的時(shí)間會(huì)相應(yīng)地越來(lái)越長(zhǎng),而大數(shù)據(jù)條件下對(duì)信息處理的時(shí)效性要求越來(lái)越高。顯然數(shù)據(jù)的多樣化和規(guī)?;萍s了大數(shù)據(jù)處理的時(shí)效性。假如今天的數(shù)據(jù)分析結(jié)果要等到第二天才能得到,那么許多數(shù)據(jù)將失去部分意義。
3.3大數(shù)據(jù)挑戰(zhàn)旅客個(gè)人信息安全
大數(shù)據(jù)時(shí)代,隨著海量數(shù)據(jù)的收集、存儲(chǔ)、管理、分析和共享,自然而然就會(huì)出現(xiàn)信息安全問(wèn)題。航空公司擁有大量的旅客信息,這些數(shù)據(jù)包含大量的個(gè)人隱私以及旅客的各種行為細(xì)節(jié)記錄。雖然航空公司會(huì)有意去屏蔽旅客的姓名、聯(lián)系方式等涉及隱私的信息, 但是如果把某類(lèi)數(shù)據(jù)進(jìn)行匯總, 仍然可以輕松的定位到某個(gè)具體的旅客【8】。因此如何在深入挖掘這些信息數(shù)據(jù)創(chuàng)造價(jià)值的同時(shí)還要保證旅客個(gè)人隱私不被濫用,是大數(shù)據(jù)遇到的又一難題。
應(yīng)對(duì)此類(lèi)安全問(wèn)題,關(guān)鍵是研發(fā)新的技術(shù)、方法、工具,建立相應(yīng)的強(qiáng)大安全防御體系來(lái)發(fā)現(xiàn)和識(shí)別安全漏洞。
4 大數(shù)據(jù)給航企帶來(lái)商業(yè)價(jià)值
航空公司通過(guò)收集、整理、分析、挖掘和利用大數(shù)據(jù),最終目的都是利用大數(shù)據(jù)創(chuàng)造商業(yè)價(jià)值。旅游分銷(xiāo)軟件和解決方案供應(yīng)商Datalex營(yíng)銷(xiāo)總監(jiān)霍班表示:“大數(shù)據(jù)并非像想象的那樣復(fù)雜,航空公司目前對(duì)大數(shù)據(jù)的定位主要還是圍繞數(shù)據(jù)本身,而我們?cè)诳疾炷男?shù)據(jù)更有商業(yè)價(jià)值。整個(gè)行業(yè)應(yīng)該更關(guān)注如何細(xì)化這些數(shù)據(jù),實(shí)時(shí)應(yīng)用這些數(shù)據(jù),并從數(shù)據(jù)中獲得經(jīng)濟(jì)效益,而不是僅僅滿足于得到這些數(shù)據(jù)?!?/p>
任何可以收集到的數(shù)據(jù),無(wú)論是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù),都應(yīng)該進(jìn)行歸檔分析,量化一切是數(shù)據(jù)化的核心。甲骨文公司堅(jiān)持認(rèn)為,如果想要使大數(shù)據(jù)的潛力得到充分挖掘,評(píng)估和使用旅客的移動(dòng)數(shù)據(jù)和社交數(shù)據(jù)至關(guān)重要。此外,哈特福德還指出:“旅客在任何公共空間發(fā)表的關(guān)于航空公司的評(píng)論,都應(yīng)該納入旅客信息檔案中,因?yàn)樗麄兊脑u(píng)價(jià)會(huì)影響其他人的購(gòu)買(mǎi)行為?!贝髷?shù)據(jù)技術(shù)能夠幫助航空公司整合結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),通過(guò)綜合分析數(shù)據(jù),全面的了解旅客需求,從而制定出有競(jìng)爭(zhēng)力的改進(jìn)決策。
再比如,在國(guó)內(nèi)航空市場(chǎng)高端旅客的開(kāi)發(fā)問(wèn)題上,不少航企做過(guò)努力,比如改造兩艙座椅吸引旅客,或者學(xué)習(xí)國(guó)外兩艙旅客點(diǎn)餐,卻都沒(méi)有得到預(yù)期效果。毫無(wú)疑問(wèn),這樣的產(chǎn)品策略是可取的,但是他們?nèi)狈?duì)旅客信息的全面分析和挖掘,這樣的產(chǎn)品顯然超越了當(dāng)前的市場(chǎng)需求。要避免這些盲目的市場(chǎng)行為,航空公司可以借助大數(shù)據(jù)分析,實(shí)現(xiàn)對(duì)旅客的細(xì)分,針對(duì)不同的客戶群體,分析他們的行為特征,來(lái)設(shè)計(jì)出符合他們需求的產(chǎn)品,實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo),找出最佳模式[9]。
結(jié)語(yǔ)
在這個(gè)信息數(shù)據(jù)呈爆炸式增長(zhǎng)的時(shí)代,大數(shù)據(jù)已經(jīng)在改變我們的生活以及思維方式。誰(shuí)能更快更好地適應(yīng)這種新形勢(shì)下的數(shù)據(jù)模式,掌握大數(shù)據(jù)分析平臺(tái),誰(shuí)就能在信息戰(zhàn)中立于不敗之地。民航企業(yè)面臨大數(shù)據(jù)帶來(lái)的挑戰(zhàn),要加強(qiáng)技術(shù)學(xué)習(xí),強(qiáng)化企業(yè)管理,改善服務(wù)理念,借助大數(shù)據(jù)時(shí)代的浪潮,與時(shí)俱進(jìn),取得更好的成績(jī)。
基金支持:國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)資助項(xiàng)目(2011AA11A102)。
參考文獻(xiàn)
[1]Grobelnik M. Big-data computing: Creating revolutionary breakthroughs in commerce, science, and society [R/OL]. [2012-10-02]. /eswc2012_grobelnik_big_data/
[2]Barwick H. The “four Vs” of Big Data. Implementing Information Infrastructure Symposium [EB/OL]. [2012-10-02]. puterworld. com. au/article/396198/iiis_four_vs_big_data/
[3]IBM. What is big data? [EB/OL].[2012-10-02]./software/data/bigdata/
[4]孟小峰,慈祥. 大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展.2013.
[5]顧勝勤.大數(shù)據(jù)時(shí)代挑戰(zhàn)民航企業(yè)的管理與服務(wù)[J].行業(yè)觀察.2013.8:20.
[6]嚴(yán)霄鳳,張德馨.大數(shù)據(jù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展.2013,4(23):169.
[7]陶雪嬌,胡曉峰,劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào),2013,8(25):144-145.
關(guān)鍵詞:大數(shù)據(jù);高等教育;信息化
中圖分類(lèi)號(hào):G434 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1673-8454(2014)01-0008-02
一、引言
隨著云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的興起與發(fā)展,數(shù)據(jù)正以前所未有的速度飛快增長(zhǎng)和累積,大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨,整個(gè)學(xué)術(shù)界、工業(yè)界、政府都開(kāi)始關(guān)注大數(shù)據(jù)問(wèn)題。 2012 年 3 月 29 日 美國(guó)政府宣布了“大數(shù)據(jù)研究和發(fā)展倡議(Big Data Research and Development Initiative)”, 正式啟動(dòng)“大數(shù)據(jù)發(fā)展計(jì)劃”,并承諾政府將為此投資超2億美元,許多重要國(guó)家機(jī)構(gòu)都將參與其中。 2012 年 7 月 10 日 ,聯(lián)合國(guó)大數(shù)據(jù)政務(wù)白皮書(shū)《大數(shù)據(jù)促發(fā)展: 挑戰(zhàn)與機(jī)遇》,指出各國(guó)政府應(yīng)當(dāng)使用極豐富的數(shù)據(jù)資源,更好地響應(yīng)社會(huì)和經(jīng)濟(jì)指標(biāo)。隨著數(shù)據(jù)的不斷增多,海洋一般浩瀚的數(shù)據(jù)已成為一種戰(zhàn)略資源。大數(shù)據(jù)技術(shù)的目標(biāo)就是從這些數(shù)據(jù)中挖掘信息、判斷趨勢(shì)、 提高效益。大數(shù)據(jù)的挖掘和應(yīng)用可創(chuàng)造出超萬(wàn)億美元的價(jià)值, 將是未來(lái) IT 領(lǐng)域最大的市場(chǎng)機(jī)遇之一, 其作用堪稱(chēng)又一次工業(yè)革命。[1]
二、大數(shù)據(jù)的概念及特點(diǎn)
目前,大數(shù)據(jù)沒(méi)有一個(gè)公認(rèn)的定義,不同的定義基本都是從大數(shù)據(jù)的特征出發(fā)給出的。比如國(guó)際數(shù)據(jù)公司認(rèn)為大數(shù)據(jù)應(yīng)當(dāng)具有價(jià)值性,大數(shù)據(jù)的價(jià)值往往呈現(xiàn)稀疏性的特點(diǎn)。IBM認(rèn)為大數(shù)據(jù)必然具有真實(shí)性。維基百科對(duì)大數(shù)據(jù)的定義為:大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時(shí)間超過(guò)可容忍時(shí)間的數(shù)據(jù)集。大數(shù)據(jù)有四個(gè)典型的4V特點(diǎn),即數(shù)量(Volume)、多樣性(Variety)、速度(Velocity)和價(jià)值(Value)。
數(shù)量:是指數(shù)據(jù)規(guī)模超大。數(shù)量級(jí)別從TB(1TB=1024GB)級(jí)別,躍升到 PB(1PB=1024TB)、EB(1 EB = 1024 PB )乃至 ZB (1 ZB =1024 EB )級(jí)別。
多樣性:是指管理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)來(lái)自多種數(shù)據(jù)源如傳感器、智能設(shè)備, 數(shù)據(jù)種類(lèi)和格式?jīng)_破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇,包括文本、微博、音頻、視頻等等。
速度:是指處理數(shù)據(jù)快,包含大量或?qū)崟r(shí)數(shù)據(jù)分析處理的時(shí)間要求非常短,符合1秒定律。速度影響數(shù)據(jù)時(shí)延――從數(shù)據(jù)創(chuàng)建或獲取到數(shù)據(jù)可以訪問(wèn)的時(shí)間差。
價(jià)值:是指價(jià)值密度低,商業(yè)價(jià)值高。以視頻為例,連續(xù)不間斷的監(jiān)控過(guò)程中,可能有用的數(shù)據(jù)僅僅有一兩秒。
大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)庫(kù)也有明顯的區(qū)別,兩者在數(shù)據(jù)來(lái)源、數(shù)據(jù)處理方式和數(shù)據(jù)思維等方面都有很大的變化。正像孟小峰[2]所言,兩者的區(qū)別就是“池塘捕魚(yú)”和“大海捕魚(yú)”的區(qū)別,前者代表著傳統(tǒng)數(shù)據(jù)庫(kù)時(shí)代的數(shù)據(jù)管理方式,后者則對(duì)應(yīng)著大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理方式,其在數(shù)據(jù)規(guī)模、數(shù)據(jù)類(lèi)型、數(shù)據(jù)模式、數(shù)據(jù)對(duì)象、處理工具上都有巨大的差異。
三、大數(shù)據(jù)的關(guān)鍵技術(shù)
文件系統(tǒng):該系統(tǒng)提供最底層存儲(chǔ)能力的支持,是支撐上層應(yīng)用的基礎(chǔ)。Google公司最早開(kāi)發(fā)出了自己的文件系統(tǒng)GFS(Google file system),隨后微軟也開(kāi)發(fā)了自己的Cosmos,后來(lái)開(kāi)源也有了HDFS。
數(shù)據(jù)庫(kù)系統(tǒng):由于關(guān)系模型的分布式數(shù)據(jù)庫(kù)不能應(yīng)對(duì)大數(shù)據(jù)時(shí)代大規(guī)模的壓力,相應(yīng)地提出了許多新型數(shù)據(jù)庫(kù)系統(tǒng),如Google的Bigtable、Amazon的Dynamo等等,直到現(xiàn)在形成統(tǒng)一的NoSQL(not only SQL)。雖然NoSQL沒(méi)有準(zhǔn)確的定義,但一般認(rèn)為具有模式自由、簡(jiǎn)易備份、最終一致性、支持海量數(shù)據(jù)等特征。同時(shí),形成了對(duì)應(yīng)的索引與查詢技術(shù)。
數(shù)據(jù)分析:其上最著名的計(jì)算模型為Google的MapReduce,目前,Google公司針對(duì)MapReduce離線處理模式的不足,提出了基于Web數(shù)據(jù)級(jí)別的交互式數(shù)據(jù)分析系統(tǒng)Dremel,能夠?qū)崿F(xiàn)極短時(shí)間內(nèi)的海量數(shù)據(jù)分析。在離線與實(shí)時(shí)處理模式上,已經(jīng)出現(xiàn)了二者融合的趨勢(shì)。
大數(shù)據(jù)處理工具:Hadoop是目前最為流行的大數(shù)據(jù)處理平臺(tái),目前,將該平臺(tái)進(jìn)行改進(jìn),以便應(yīng)用到各種場(chǎng)景是研究的熱點(diǎn)之一。當(dāng)然,除了Hadoop,還有其他處理工具,這里就不一一提出。
四、大數(shù)據(jù)時(shí)代高校信息化面臨的挑戰(zhàn)
高校也是數(shù)據(jù)生產(chǎn)大戶,中國(guó)高校規(guī)模一般都比較大,一般萬(wàn)人以上的大學(xué)非常多,在高校里上學(xué)的學(xué)生從招生、學(xué)籍、選課、成績(jī)、飯?zhí)?、活?dòng)等會(huì)產(chǎn)生大量的數(shù)據(jù);教師的上課音視頻、課件、實(shí)驗(yàn)數(shù)據(jù)等也會(huì)有龐大的數(shù)據(jù);校務(wù)系統(tǒng)運(yùn)行、圖書(shū)館、微博、博客等都會(huì)產(chǎn)生很大的數(shù)據(jù);尤其重要的是科研和教學(xué)數(shù)據(jù),是高等教育的兩大核心功能的重要數(shù)據(jù)。在這個(gè)大數(shù)據(jù)的時(shí)代,只有用好這些數(shù)據(jù),才能更好地幫助教學(xué)、科研,做好招生推廣、學(xué)生管理等各個(gè)方面的工作,用好這些數(shù)據(jù),毋庸置疑將會(huì)大大提高高校的信息化水平。要用好大數(shù)據(jù),至少面臨以下幾個(gè)方面的挑戰(zhàn):
大數(shù)據(jù)集成與分析:大數(shù)據(jù)的多樣性特點(diǎn)決定了數(shù)據(jù)來(lái)源的廣泛性、復(fù)雜性,這種數(shù)據(jù)環(huán)境給大數(shù)據(jù)的處理帶來(lái)了很大的挑戰(zhàn),必須對(duì)多種數(shù)據(jù)來(lái)源進(jìn)行抽取集成,先進(jìn)行數(shù)據(jù)的清洗,經(jīng)過(guò)關(guān)聯(lián)和聚合,采用統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)這些數(shù)據(jù)。大數(shù)據(jù)分析無(wú)疑是整個(gè)大數(shù)據(jù)時(shí)代的核心所在,因?yàn)榇髷?shù)據(jù)的價(jià)值就產(chǎn)生于數(shù)據(jù)分析過(guò)程中。當(dāng)然,數(shù)據(jù)分析是基于集成處理后的數(shù)據(jù)作為數(shù)據(jù)分析的原始數(shù)據(jù)。數(shù)據(jù)分析一般是根據(jù)不用的應(yīng)用需求從數(shù)據(jù)中的部分或者全部進(jìn)行分析。傳統(tǒng)的分析技術(shù)如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析在大數(shù)據(jù)時(shí)代需要做出調(diào)整,主要原因是大數(shù)據(jù)時(shí)代的“大”字,具體的調(diào)整包括分析前數(shù)據(jù)的預(yù)處理、算法、評(píng)價(jià)質(zhì)量等等。
大數(shù)據(jù)的存儲(chǔ):需要研究低成本、高效率的數(shù)據(jù)存儲(chǔ)方式,眾所周知,低成本一般意味著低效率,但是在大數(shù)據(jù)時(shí)代,如果處理效率低下,則大數(shù)據(jù)毫無(wú)意義,因此,必須打破常規(guī),要處理好大數(shù)據(jù)的存儲(chǔ)。另外,還要做好大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)的管理問(wèn)題,因?yàn)榇鎯?chǔ)空間巨大,無(wú)疑給存儲(chǔ)硬件帶來(lái)壓力,同時(shí),對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行有序、高效的存儲(chǔ)管理也是面臨的挑戰(zhàn)。
大數(shù)據(jù)的融合與使用:數(shù)據(jù)不融合就發(fā)揮不出數(shù)據(jù)的大價(jià)值,大數(shù)據(jù)面臨的一個(gè)非技術(shù)性的重要問(wèn)題就是數(shù)據(jù)的融合。作為高等院校,大數(shù)據(jù)的融合應(yīng)該走在前列,必須徹底打通數(shù)據(jù)孤島,將各個(gè)業(yè)務(wù)充分整合,只有有效融合,才能形成高質(zhì)量的大數(shù)據(jù),才能發(fā)揮大數(shù)據(jù)時(shí)代高等教育信息化對(duì)學(xué)校發(fā)展的具體推動(dòng)作用。
五、大數(shù)據(jù)時(shí)代的應(yīng)對(duì)策略
面對(duì)大數(shù)據(jù)時(shí)代帶給我們的這些挑戰(zhàn),作為高等教育信息化從業(yè)人員,必須堅(jiān)持不懈地學(xué)習(xí),具體學(xué)習(xí)或者做好如下關(guān)鍵技術(shù)或工作:
我們要學(xué)數(shù)據(jù)時(shí)代的基礎(chǔ)平臺(tái)和支撐技術(shù),學(xué)數(shù)據(jù)時(shí)代的文件系統(tǒng),如Google的GFS系統(tǒng),開(kāi)源的HDFS、CloudStore系統(tǒng)等等,了解這些技術(shù),方便我們實(shí)現(xiàn)大數(shù)據(jù)低成本、高效率的存儲(chǔ),也方便我們進(jìn)行存儲(chǔ)的管理。學(xué)習(xí)這些技術(shù),將掌握大數(shù)據(jù)的基礎(chǔ)平臺(tái)與技術(shù)。
我們要學(xué)數(shù)據(jù)時(shí)代的數(shù)據(jù)分析技術(shù),前面提過(guò),大數(shù)據(jù)時(shí)代,傳統(tǒng)的數(shù)據(jù)分析方式如數(shù)據(jù)挖掘等需要調(diào)整,那么我們就要學(xué)習(xí)傳統(tǒng)的數(shù)據(jù)分析方式的調(diào)整與方法,研究和學(xué)數(shù)據(jù)時(shí)代的數(shù)據(jù)分析技術(shù)。
做好大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理,大數(shù)據(jù)時(shí)代數(shù)據(jù)管理就不是以前傳統(tǒng)的大型關(guān)系型數(shù)據(jù)庫(kù)那種管理方式,而是改變成為NoSQL為代表的新型數(shù)據(jù)模型的一類(lèi)技術(shù)。這種改變是因?yàn)殛P(guān)系型數(shù)據(jù)模型不能應(yīng)對(duì)大數(shù)據(jù)時(shí)代的種種挑戰(zhàn)。這種新型的數(shù)據(jù)模型就是為了迎合大數(shù)據(jù)時(shí)代的多樣性、異構(gòu)性等這些數(shù)據(jù)特征而出現(xiàn)的。當(dāng)然,新的數(shù)據(jù)模型是新的一套理論,是截然不同的理論。這就需要我們數(shù)據(jù)管理者積極學(xué)習(xí),應(yīng)對(duì)挑戰(zhàn)。同時(shí),要積極升級(jí)、改造相關(guān)存儲(chǔ)設(shè)備,以滿足大數(shù)據(jù)時(shí)代的要求。
積極推動(dòng)業(yè)務(wù)的深入融合,梳理業(yè)務(wù)數(shù)據(jù),形成“大數(shù)據(jù)”,然后利用這些“大數(shù)據(jù)”建設(shè)結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)分析平臺(tái),通過(guò)平臺(tái)能提供更加深入、更加全面的高質(zhì)量信息,這些信息能為學(xué)校領(lǐng)導(dǎo)進(jìn)行高質(zhì)量的決策提供依據(jù)。
總之,大數(shù)據(jù)時(shí)代的這些挑戰(zhàn),有些需要科研人員進(jìn)行研究,有些非技術(shù)挑戰(zhàn),需要我們積極努力,有效進(jìn)行數(shù)據(jù)的整合、業(yè)務(wù)的整合,充分利用科研人員的最新研究成果。?筅
參考文獻(xiàn):
[1]桑慶兵.大數(shù)據(jù)在高校的應(yīng)用與思考[J].南通紡織職業(yè)技術(shù)學(xué)院學(xué)報(bào),2013(2):84-87.
關(guān)鍵詞:大數(shù)據(jù);統(tǒng)計(jì)學(xué);數(shù)據(jù)分析;抽樣理論;理論
重構(gòu)隨著信息科學(xué)技術(shù)的高速度發(fā)展,當(dāng)代獲取和儲(chǔ)存數(shù)據(jù)信息的能力不斷增強(qiáng)而成本不斷下降,這為大數(shù)據(jù)的應(yīng)用提供了必要的技術(shù)環(huán)境和可能.應(yīng)用大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)愈來(lái)愈明顯,它的應(yīng)用能夠幫助人類(lèi)獲取真正有價(jià)值的數(shù)據(jù)信息.近年來(lái),專(zhuān)家學(xué)者有關(guān)大數(shù)據(jù)技術(shù)問(wèn)題進(jìn)行了大量的研究工作[1],很多領(lǐng)域也都受到了大數(shù)據(jù)分析的影響.這個(gè)時(shí)代將大數(shù)據(jù)稱(chēng)為未來(lái)的石油,它必將對(duì)這個(gè)時(shí)代和未來(lái)的社會(huì)經(jīng)濟(jì)以及科學(xué)技術(shù)的發(fā)展產(chǎn)生深遠(yuǎn)的意義和影響.目前對(duì)于大數(shù)據(jù)概念,主要是從數(shù)據(jù)來(lái)源和數(shù)據(jù)的處理工具與處理難度方面考慮,但國(guó)內(nèi)外專(zhuān)家學(xué)者各有各的觀點(diǎn),并沒(méi)有給出一致的精確定義.麥肯錫全球數(shù)據(jù)分析研究所指出大數(shù)據(jù)是數(shù)據(jù)集的大小超越了典型數(shù)據(jù)庫(kù)工具集合、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集,大數(shù)據(jù)被Gartner定義為極端信息管理和處理一個(gè)或多個(gè)維度的傳統(tǒng)信息技術(shù)問(wèn)題[23].目前得到專(zhuān)家們認(rèn)可的一種觀點(diǎn),即:“超大規(guī)?!笔荊B級(jí)數(shù)據(jù),“海量”是TB級(jí)數(shù)據(jù),而“大數(shù)據(jù)”是PB及其以上級(jí)別數(shù)據(jù)[2].
一些研究學(xué)者把大數(shù)據(jù)特征進(jìn)行概括,稱(chēng)其具有數(shù)據(jù)規(guī)模巨大、類(lèi)型多樣、可利用價(jià)值密度低和處理速度快等特征,同時(shí)特別強(qiáng)調(diào)大數(shù)據(jù)區(qū)別于其他概念的最重要特征是快速動(dòng)態(tài)變化的數(shù)據(jù)和形成流式數(shù)據(jù).大數(shù)據(jù)技術(shù)發(fā)展所面臨的問(wèn)題是數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和數(shù)據(jù)分析、數(shù)據(jù)顯示和數(shù)據(jù)安全等.大數(shù)據(jù)的數(shù)據(jù)量大、多樣性、復(fù)雜性及實(shí)時(shí)性等特點(diǎn),使得數(shù)據(jù)存儲(chǔ)環(huán)境有了很大變化[45],而大部分傳統(tǒng)的統(tǒng)計(jì)方法只適合分析單個(gè)計(jì)算機(jī)存儲(chǔ)的數(shù)據(jù),這些問(wèn)題無(wú)疑增加了數(shù)據(jù)處理和整合的困難.數(shù)據(jù)分析是大數(shù)據(jù)處理的核心過(guò)程,同時(shí)它也給傳統(tǒng)統(tǒng)計(jì)學(xué)帶來(lái)了巨大的挑戰(zhàn)[6].產(chǎn)生大數(shù)據(jù)的數(shù)據(jù)源通常情況下具有高速度性和實(shí)時(shí)性,所以要求數(shù)據(jù)處理和分析系統(tǒng)也要有快速度和實(shí)時(shí)性特點(diǎn),而傳統(tǒng)統(tǒng)計(jì)分析方法通常不具備快速和實(shí)時(shí)等特點(diǎn).基于大數(shù)據(jù)的特點(diǎn),傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)理論已經(jīng)不能適應(yīng)大數(shù)據(jù)分析與研究的范疇,傳統(tǒng)統(tǒng)計(jì)學(xué)面臨著巨大的機(jī)遇與挑戰(zhàn),然而為了適應(yīng)大數(shù)據(jù)這一新的研究對(duì)象,傳統(tǒng)統(tǒng)計(jì)學(xué)必須進(jìn)行改進(jìn),以繼續(xù)和更好的服務(wù)于人類(lèi).目前國(guó)內(nèi)外將大數(shù)據(jù)和統(tǒng)計(jì)學(xué)相結(jié)合的研究文獻(xiàn)并不多.本文對(duì)大數(shù)據(jù)時(shí)代這一特定環(huán)境背景,統(tǒng)計(jì)學(xué)的抽樣理論和總體理論的存在價(jià)值、統(tǒng)計(jì)方法的重構(gòu)及統(tǒng)計(jì)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)的重建等問(wèn)題進(jìn)行分析與研究.
1傳統(tǒng)意義下的統(tǒng)計(jì)學(xué)
廣泛的統(tǒng)計(jì)學(xué)包括三個(gè)類(lèi)型的統(tǒng)計(jì)方法:①處理大量隨機(jī)現(xiàn)象的統(tǒng)計(jì)方法,比如概率論與數(shù)理統(tǒng)計(jì)方法.②處理非隨機(jī)非概率的描述統(tǒng)計(jì)方法,如指數(shù)編制、社會(huì)調(diào)查等方法.③處理和特定學(xué)科相關(guān)聯(lián)的特殊方法,如經(jīng)濟(jì)統(tǒng)計(jì)方法、環(huán)境科學(xué)統(tǒng)計(jì)方法等[7].受收集、處理數(shù)據(jù)的工具和能力的限制,人們幾乎不可能收集到全部的數(shù)據(jù)信息,因此傳統(tǒng)的統(tǒng)計(jì)學(xué)理論和方法基本上都是在樣本上進(jìn)行的.或者即使能夠得到所有數(shù)據(jù),但從實(shí)際角度出發(fā),因所需成本過(guò)大,也會(huì)放棄搜集全部數(shù)據(jù).然而,選擇最佳的抽樣方法和統(tǒng)計(jì)分析方法,也只能最大程度還原總體一個(gè)特定方面或某些方面的特征.事實(shí)上我們所察覺(jué)到的數(shù)據(jù)特征也只是總體大量特征中的一小部分,更多的其他特征尚待發(fā)掘.總之,傳統(tǒng)統(tǒng)計(jì)學(xué)是建立在抽樣理論基礎(chǔ)上,以點(diǎn)帶面的統(tǒng)計(jì)分析方法,強(qiáng)調(diào)因果關(guān)系的統(tǒng)計(jì)分析結(jié)果,推斷所測(cè)對(duì)象的總體本質(zhì)的一門(mén)科學(xué),是通過(guò)搜集、整理和分析研究數(shù)據(jù)從而探索數(shù)據(jù)內(nèi)部存在規(guī)律的一門(mén)科學(xué).
2統(tǒng)計(jì)學(xué)是大數(shù)據(jù)分析的核心
數(shù)的產(chǎn)生基于三個(gè)要素,分別是數(shù)、量和計(jì)量單位.在用數(shù)來(lái)表示事物的特征并采用了科學(xué)的計(jì)量單位后,就產(chǎn)生了真正意義上的數(shù)據(jù),即有根據(jù)的數(shù).科學(xué)數(shù)據(jù)是基于科學(xué)設(shè)計(jì),通過(guò)使用觀察和測(cè)量獲得的數(shù)據(jù),認(rèn)知自然現(xiàn)象和社會(huì)現(xiàn)象的變化規(guī)律,或者用來(lái)檢驗(yàn)已經(jīng)存在的理論假設(shè),由此得到了具有實(shí)際意義和理論意義的數(shù)據(jù).從數(shù)據(jù)中獲得科學(xué)數(shù)據(jù)的理論,即統(tǒng)計(jì)學(xué)理論.科學(xué)數(shù)據(jù)是通過(guò)統(tǒng)計(jì)學(xué)理論獲得的,而統(tǒng)計(jì)學(xué)理論是為獲得科學(xué)數(shù)據(jù)而產(chǎn)生的一門(mén)科學(xué).若說(shuō)數(shù)據(jù)是傳達(dá)事物特征的精確語(yǔ)言,進(jìn)行科學(xué)研究的必備條件,認(rèn)知世界的重要工具,那么大數(shù)據(jù)分析就是讓數(shù)據(jù)最大限度地發(fā)揮功能,充分表達(dá)并有效滿足不同需求的基本要求.基于統(tǒng)計(jì)學(xué)的發(fā)展史及在數(shù)據(jù)分析中的作用,完成將數(shù)據(jù)轉(zhuǎn)化為知識(shí)、挖掘數(shù)據(jù)內(nèi)在規(guī)律、通過(guò)數(shù)據(jù)發(fā)現(xiàn)并解決實(shí)際問(wèn)題、預(yù)測(cè)可能發(fā)生的結(jié)果等是研究大數(shù)據(jù)的任務(wù),而這必然離不開(kāi)統(tǒng)計(jì)學(xué).以大數(shù)據(jù)為研究對(duì)象,通過(guò)數(shù)據(jù)挖掘、提取、分析等手段探索現(xiàn)象內(nèi)在本質(zhì)的數(shù)據(jù)科學(xué)必須在繼承或改進(jìn)統(tǒng)計(jì)學(xué)理論的基礎(chǔ)上產(chǎn)生.
統(tǒng)計(jì)數(shù)據(jù)的發(fā)展變化經(jīng)歷了一系列過(guò)程,從只能收集到少量的數(shù)據(jù)到盡量多地收集數(shù)據(jù),到科學(xué)利用樣本數(shù)據(jù),再到綜合利用各類(lèi)數(shù)據(jù),以至于發(fā)展到今天的選擇使用大數(shù)據(jù)的過(guò)程.而統(tǒng)計(jì)分析為了適應(yīng)數(shù)據(jù)可觀察集的不斷增大,也經(jīng)歷了相應(yīng)的各個(gè)不同階段,產(chǎn)生了統(tǒng)計(jì)分組法、大量觀察法、歸納推斷法、綜合指標(biāo)法、模型方程法和數(shù)據(jù)挖掘法等分析方法,并且借助計(jì)算機(jī)以及其他軟件的程度也越來(lái)越深.300多年來(lái),隨著數(shù)據(jù)量以指數(shù)速度的不斷增長(zhǎng),統(tǒng)計(jì)學(xué)圍繞如何搜集、整理和分析數(shù)據(jù)而展開(kāi),合理構(gòu)建了應(yīng)用方法體系,幫助各個(gè)學(xué)科解決了許多復(fù)雜問(wèn)題.現(xiàn)在進(jìn)入了大數(shù)據(jù)時(shí)代,統(tǒng)計(jì)學(xué)依舊是數(shù)據(jù)分析的靈魂,大數(shù)據(jù)分析是數(shù)據(jù)科學(xué)賦予統(tǒng)計(jì)學(xué)的新任務(wù).對(duì)于統(tǒng)計(jì)學(xué)而言,來(lái)自新時(shí)代的數(shù)據(jù)科學(xué)挑戰(zhàn)有可能促使新思想、新方法和新技術(shù)產(chǎn)生,這一挑戰(zhàn)也意味著對(duì)于統(tǒng)計(jì)學(xué)理論將面臨巨大的機(jī)遇.
3統(tǒng)計(jì)學(xué)在大數(shù)據(jù)時(shí)代下必須改革
傳統(tǒng)統(tǒng)計(jì)學(xué)是通過(guò)對(duì)總體進(jìn)行抽樣來(lái)搜索數(shù)據(jù),對(duì)樣本數(shù)據(jù)進(jìn)行整理、分析、描述等,從而推斷所測(cè)對(duì)象的總體本質(zhì),甚至預(yù)測(cè)總體未來(lái)的一門(mén)綜合性學(xué)科.從研究對(duì)象到統(tǒng)計(jì)結(jié)果的評(píng)判標(biāo)準(zhǔn)都是離不開(kāi)樣本的抽取,完全不能適應(yīng)大數(shù)據(jù)的4V特點(diǎn),所以統(tǒng)計(jì)學(xué)為適應(yīng)大數(shù)據(jù)技術(shù)的發(fā)展,必須進(jìn)行改革.從學(xué)科發(fā)展角度出發(fā),大數(shù)據(jù)對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)、整合、處理和分析,可以看成是一種新的數(shù)據(jù)分析方法.數(shù)據(jù)關(guān)系的內(nèi)在本質(zhì)決定了大數(shù)據(jù)和統(tǒng)計(jì)學(xué)之間必然存在聯(lián)系,大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的發(fā)展提出了挑戰(zhàn),體現(xiàn)在大樣本標(biāo)準(zhǔn)的調(diào)整、樣本選取標(biāo)準(zhǔn)和形式的重新確定、統(tǒng)計(jì)軟件有待升級(jí)和開(kāi)發(fā)及實(shí)質(zhì)性統(tǒng)計(jì)方法的大數(shù)據(jù)化.但是也提供了一個(gè)機(jī)遇,體現(xiàn)在統(tǒng)計(jì)質(zhì)量的提高、統(tǒng)計(jì)成本的下降、統(tǒng)計(jì)學(xué)作用領(lǐng)域的擴(kuò)大、統(tǒng)計(jì)學(xué)科體系的延伸以及統(tǒng)計(jì)學(xué)家地位的提升[7].
3.1大數(shù)據(jù)時(shí)代抽樣和總體理論存在價(jià)值
傳統(tǒng)統(tǒng)計(jì)學(xué)中的樣本數(shù)據(jù)來(lái)自總體,而總體是客觀存在的全體,可以通過(guò)觀測(cè)到的或經(jīng)過(guò)抽樣而得到的數(shù)據(jù)來(lái)認(rèn)知總體.但是在大數(shù)據(jù)時(shí)代,不再是隨機(jī)樣本,而是全部的數(shù)據(jù),還需要假定一個(gè)看不見(jiàn)摸不著的總體嗎?如果將大數(shù)據(jù)看成一個(gè)高維度的大樣本集合,針對(duì)樣本大的問(wèn)題,按照傳統(tǒng)統(tǒng)計(jì)學(xué)的方法,可以采用抽樣的方法來(lái)減少樣本容量,并且可以達(dá)到需要的精度;對(duì)于維度高的問(wèn)題,可以采取對(duì)變量進(jìn)行選擇、降維、壓縮、分解等方法來(lái)降低數(shù)據(jù)的復(fù)雜程度.但實(shí)際上很難做得到,大數(shù)據(jù)涵蓋多學(xué)科領(lǐng)域、多源、混合的數(shù)據(jù),各學(xué)科之間的數(shù)據(jù)融合,學(xué)科邊界模糊,各范疇的數(shù)據(jù)集互相重疊,合成一體,而且大數(shù)據(jù)涉及到各種數(shù)據(jù)類(lèi)型.因此想要通過(guò)抽樣而使數(shù)據(jù)量達(dá)到傳統(tǒng)統(tǒng)計(jì)學(xué)的統(tǒng)計(jì)分析能力范圍是一件相當(dāng)困難或是一件不可能的事.大量的結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)交織在一起,系統(tǒng)首先要認(rèn)清哪個(gè)是有價(jià)值的信息,哪個(gè)是噪聲,以及哪些不同類(lèi)型的數(shù)據(jù)信息來(lái)自于同一個(gè)地址的數(shù)據(jù)源,等等,傳統(tǒng)的統(tǒng)計(jì)學(xué)是無(wú)法做到的.在大數(shù)據(jù)時(shí)代下,是否需要打破傳統(tǒng)意義的抽樣理論、總體及樣本等概念和關(guān)系,是假設(shè)“樣本=總體”,還是“樣本趨近于總體”,還是不再使用總體和樣本這兩個(gè)概念,而重新定義一個(gè)更合適的概念,等等.人們?cè)撛鯓印鞍才拧背闃?、總體及樣本等理論,或人們?cè)撛鯓有拚闃?、總體、樣本的“公理化”定義,這個(gè)問(wèn)題是大數(shù)據(jù)時(shí)代下,傳統(tǒng)統(tǒng)計(jì)學(xué)面臨改進(jìn)的首要問(wèn)題.
3.2統(tǒng)計(jì)方法在大數(shù)據(jù)時(shí)代下的重構(gòu)問(wèn)題
在大數(shù)據(jù)時(shí)代下,傳統(tǒng)的高維度表達(dá)、結(jié)構(gòu)描述和群體行為分析方法已經(jīng)不能精確表達(dá)大數(shù)據(jù)在異構(gòu)性、交互性、時(shí)效性、突發(fā)性等方面的特點(diǎn),傳統(tǒng)的“假設(shè)-模型-檢驗(yàn)”的統(tǒng)計(jì)方法受到了質(zhì)疑,而且從“數(shù)據(jù)”到“數(shù)據(jù)”的統(tǒng)計(jì)模式還沒(méi)有真正建立,急切需要一個(gè)新的理論體系來(lái)指引,從而建立新的分析模型.去除數(shù)據(jù)噪聲、篩選有價(jià)值的數(shù)據(jù)、整合不同類(lèi)型的數(shù)據(jù)、快速對(duì)數(shù)據(jù)做出分析并得出分析結(jié)果等一系列問(wèn)題都有待于研究.大數(shù)據(jù)分析涉及到三個(gè)維度,即時(shí)間維度、空間維度和數(shù)據(jù)本身的維度,怎樣才能全面、深入地分析大數(shù)據(jù)的復(fù)雜性與特性,掌握大數(shù)據(jù)的不確定性,構(gòu)建高效的大數(shù)據(jù)計(jì)算模型,變成了大數(shù)據(jù)分析的突破口.科學(xué)數(shù)據(jù)的演變是一個(gè)從簡(jiǎn)單到復(fù)雜的各種形式不斷豐富、相互包容的過(guò)程,是一個(gè)循序漸進(jìn)的過(guò)程,而不是簡(jiǎn)單的由一種形式取代另一種形式.研究科學(xué)數(shù)據(jù)的統(tǒng)計(jì)學(xué)理論也是一樣,也是由簡(jiǎn)單到復(fù)雜的各種形式相互包容、不斷豐富的發(fā)展過(guò)程,而絕不是完全否定一種理論、由另一種理論形式所代替.大數(shù)據(jù)時(shí)代的到來(lái)統(tǒng)計(jì)學(xué)理論必須要進(jìn)行不斷的完善和發(fā)展,以適應(yīng)呈指數(shù)增長(zhǎng)的數(shù)據(jù)量的大數(shù)據(jù)分析的需要.
3.3如何構(gòu)建大數(shù)據(jù)時(shí)代下統(tǒng)計(jì)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)框架
大數(shù)據(jù)時(shí)代下,統(tǒng)計(jì)分析評(píng)價(jià)的標(biāo)準(zhǔn)又該如何變化?傳統(tǒng)統(tǒng)計(jì)分析的評(píng)價(jià)標(biāo)準(zhǔn)有兩個(gè)方面,一是可靠性評(píng)價(jià),二是有效性評(píng)價(jià),然而這兩種評(píng)價(jià)標(biāo)準(zhǔn)都因抽樣而生.可靠性評(píng)價(jià)是指用樣本去推斷總體有多大的把握程度,一般用概率來(lái)衡量.可靠性評(píng)價(jià)有時(shí)表現(xiàn)為置信水平,有時(shí)表現(xiàn)為顯著性水平[8].怎么確定顯著性水平一直是個(gè)存在爭(zhēng)議的問(wèn)題,特別是在模型擬合度評(píng)價(jià)和假設(shè)檢驗(yàn)中,因?yàn)楦髯詤⒄盏姆植碱?lèi)型不一樣,其統(tǒng)計(jì)量就不一樣,顯著性評(píng)價(jià)的臨界值也就不一樣,可是臨界值又與顯著性水平的高低直接相關(guān).而大數(shù)據(jù)在一定程度上是全體數(shù)據(jù),因此不存在以樣本推斷總體的問(wèn)題,那么在這種情況下,置信水平、可靠性問(wèn)題怎么確定?依據(jù)是什么?有效性評(píng)價(jià)指的是真實(shí)性,即為誤差的大小,它與準(zhǔn)確性、精確性有關(guān).通常準(zhǔn)確性是指觀察值與真實(shí)值的吻合程度,一般是無(wú)法衡量的,而精確性用抽樣分布的標(biāo)準(zhǔn)差來(lái)衡量.顯然,精確性是針對(duì)樣本數(shù)據(jù)而言的,也就是說(shuō)樣本數(shù)據(jù)有精確性問(wèn)題,同時(shí)也有準(zhǔn)確性問(wèn)題.抽樣誤差和非抽樣誤差都可能存在于樣本數(shù)據(jù)中,抽樣誤差可以計(jì)算和控制,但是非抽樣誤差只能通過(guò)各種方式加以識(shí)別或判斷[910].大多數(shù)情況下,對(duì)于樣本量不是太大的樣本,非抽樣誤差可以得到較好的防范,然而對(duì)于大數(shù)據(jù)的全體數(shù)據(jù)而言,沒(méi)有抽樣誤差問(wèn)題,只有非抽樣誤差問(wèn)題,也就是說(shuō)大數(shù)據(jù)的真實(shí)性只表現(xiàn)為準(zhǔn)確性.但是由于大數(shù)據(jù)特有的種種特性,使得大數(shù)據(jù)的非抽樣誤差很難進(jìn)行防范、控制,也很難對(duì)其進(jìn)行準(zhǔn)確性評(píng)價(jià).總之,對(duì)于大數(shù)據(jù)分析來(lái)說(shuō),有些統(tǒng)計(jì)分析理論是否還有意義,確切說(shuō)有哪些統(tǒng)計(jì)學(xué)中的理論可以適用于大數(shù)據(jù)分析,而哪些統(tǒng)計(jì)學(xué)中的理論需要改進(jìn),哪些統(tǒng)計(jì)學(xué)中的理論已不再適用于大數(shù)據(jù)統(tǒng)計(jì)研究,等等,都有待于研究.所以大數(shù)據(jù)時(shí)代的統(tǒng)計(jì)學(xué)必是在繼承中求改進(jìn),改進(jìn)中求發(fā)展,重構(gòu)適應(yīng)大數(shù)據(jù)時(shí)代的新統(tǒng)計(jì)學(xué)理論.
4結(jié)論
來(lái)自于社會(huì)各種數(shù)據(jù)源的數(shù)據(jù)量呈指數(shù)增長(zhǎng),大數(shù)據(jù)對(duì)社會(huì)發(fā)展的推動(dòng)力呈指數(shù)效應(yīng),大數(shù)據(jù)已是生命活動(dòng)的主要承載者.一個(gè)新事物的出現(xiàn),必然導(dǎo)致傳統(tǒng)觀念和傳統(tǒng)技術(shù)的變革.對(duì)傳統(tǒng)統(tǒng)計(jì)學(xué)來(lái)說(shuō),大數(shù)據(jù)時(shí)代的到來(lái)無(wú)疑是一個(gè)挑戰(zhàn),雖然傳統(tǒng)統(tǒng)計(jì)學(xué)必須做出改變,但是占據(jù)主導(dǎo)地位的依然會(huì)是統(tǒng)計(jì)學(xué),它會(huì)引領(lǐng)人類(lèi)合理分析利用大數(shù)據(jù)資源.大數(shù)據(jù)給統(tǒng)計(jì)學(xué)帶來(lái)了機(jī)遇和挑戰(zhàn),統(tǒng)計(jì)學(xué)家們應(yīng)該積極學(xué)習(xí)新事物,適應(yīng)新環(huán)境,努力為大數(shù)據(jù)時(shí)代創(chuàng)造出新的統(tǒng)計(jì)方法,擴(kuò)大統(tǒng)計(jì)學(xué)的應(yīng)用范圍.
參考文獻(xiàn):
[1]陳冬玲,曾文.頻繁模式挖掘中基于CFP的應(yīng)用模型[J]沈陽(yáng)大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,27(4):296300.
[3]卞友江.“大數(shù)據(jù)”概念考辨[J].新聞研究導(dǎo)刊,2013,35(5):2528.
[5]靳小龍,王元卓,程學(xué)旗.大數(shù)據(jù)的研究體系與現(xiàn)狀[J].信息通信技術(shù),2013(6):3543.
[6]覃雄派,王會(huì)舉,杜小勇,等.大數(shù)據(jù)分析:Rdbms與Mapreduce的競(jìng)爭(zhēng)與共生[J].軟件學(xué)報(bào),2012,23(1):32-45.
[7]游士兵,張佩,姚雪梅.大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)和機(jī)遇[J].珞珈管理評(píng)論,2013(2):165171.
[8]李金昌.大數(shù)據(jù)與統(tǒng)計(jì)新思維[J].統(tǒng)計(jì)研究,2014,31(1):1017.
進(jìn)入21 世紀(jì),人類(lèi)在信息存儲(chǔ)和處理能力方面不斷涌現(xiàn)技術(shù)性的突破,大數(shù)據(jù)(Big Data)一詞越來(lái)越多地被提及,人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)。大數(shù)據(jù)是繼云計(jì)算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。大數(shù)據(jù)時(shí)代的到來(lái),各行各業(yè)都面臨著對(duì)龐大而復(fù)雜的數(shù)據(jù)進(jìn)行有效管理的巨大挑戰(zhàn),人們?cè)絹?lái)越認(rèn)識(shí)到對(duì)自身產(chǎn)生和擁有的大數(shù)據(jù)進(jìn)行有效管理的重要性和迫切性,災(zāi)害檔案數(shù)據(jù)管理也不例外。隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)通訊技術(shù)的飛速發(fā)展,災(zāi)害管理信息化程度不斷提高,災(zāi)害檔案數(shù)字化、網(wǎng)絡(luò)化管理已成為網(wǎng)絡(luò)信息時(shí)代檔案管理工作的必然選擇。面對(duì)洶涌而來(lái)的大數(shù)據(jù),災(zāi)害檔案數(shù)據(jù)管理工作如何應(yīng)對(duì),是擺在我們面前一個(gè)亟需研究的課題。
一、大數(shù)據(jù)的概念
關(guān)于大數(shù)據(jù)的定義,最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的全球知名咨詢公司麥肯錫稱(chēng):大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行采集、存儲(chǔ)、管理和分析的數(shù)據(jù)集合。維基百科的定義:大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營(yíng)決策目的的資訊。還有學(xué)者認(rèn)為大數(shù)據(jù)指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)[1]??梢钥闯?,大數(shù)據(jù)由海量交易數(shù)據(jù)、海量交互數(shù)據(jù)和海量數(shù)據(jù)處理三大主要的技術(shù)趨勢(shì)匯聚而成[2]。
從本質(zhì)上看,大數(shù)據(jù)主要解決的是海量數(shù)據(jù)存儲(chǔ)、計(jì)算、挖掘和利用的問(wèn)題。其特點(diǎn)可概括為“ 4V”,一是規(guī)模性(Volume),數(shù)據(jù)容量巨大,大型數(shù)據(jù)集合一般在幾十TB至PB級(jí)的數(shù)據(jù)量;二是多樣性(Variety),數(shù)據(jù)類(lèi)別繁多,數(shù)據(jù)來(lái)自多種數(shù)據(jù)源,數(shù)據(jù)種類(lèi)和格式日漸豐富;三是高速性(Velocity),數(shù)據(jù)處理速度快,在數(shù)據(jù)量龐大的情況下,實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理;四是價(jià)值性(Value),數(shù)據(jù)真實(shí)性高,愈發(fā)需要有效的信息資源確保其真實(shí)性與安全性[3]??梢哉f(shuō),大數(shù)據(jù)時(shí)代是一個(gè)數(shù)據(jù)資源更加豐富的時(shí)代,是一個(gè)信息技術(shù)更加先進(jìn)的時(shí)代。
災(zāi)害檔案數(shù)據(jù)資源主要來(lái)自災(zāi)害管理和科研活動(dòng)產(chǎn)生的電子文件,按照來(lái)源和形成方式不同,可以分為數(shù)據(jù)庫(kù)文件、電子數(shù)據(jù)表、字處理文檔、電子郵件、掃描圖像、地理空間數(shù)字記錄、數(shù)字照片、網(wǎng)站及其相關(guān)文檔。災(zāi)害檔案數(shù)據(jù)具有分布性、多源性、異構(gòu)性等特點(diǎn)。從災(zāi)害檔案管理部門(mén)來(lái)看,災(zāi)害檔案資源主要集中在民政、水利、氣象、地震、國(guó)土、環(huán)保、測(cè)繪、軍隊(duì)、海洋等部門(mén),檔案數(shù)據(jù)源分散在不同部門(mén)、不同地點(diǎn),并由不同行業(yè)、不同單位和組織機(jī)構(gòu)所擁有。從災(zāi)害檔案內(nèi)容來(lái)看,包括災(zāi)情、氣象、遙感影像、基礎(chǔ)地理、專(zhuān)題地圖、涉災(zāi)行業(yè)、經(jīng)濟(jì)統(tǒng)計(jì)、現(xiàn)場(chǎng)多媒體等多種數(shù)據(jù)。近年來(lái),災(zāi)害檔案數(shù)據(jù)管理有了較大提高,但由于缺乏強(qiáng)有力的技術(shù)支持,檔案信息服務(wù)水平還比較落后,普遍存在管理意識(shí)薄弱、數(shù)字化建設(shè)不足、服務(wù)方式被動(dòng)、開(kāi)發(fā)利用欠缺等一系列的不足,利用信息技術(shù)進(jìn)行檔案數(shù)據(jù)分析、開(kāi)發(fā)、利用、交換、共享的水平還很低,沒(méi)有充分發(fā)揮檔案信息的憑證、參考和情報(bào)作用,無(wú)法滿足管理部門(mén)對(duì)災(zāi)害檔案信息的需求。
二、大數(shù)據(jù)技術(shù)在災(zāi)害檔案數(shù)據(jù)管理中的應(yīng)用優(yōu)勢(shì)
目前大數(shù)據(jù)研究成果最多的是大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)技術(shù)的特色在于它依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘,在金融、醫(yī)療、教育、軍事、電子商務(wù)甚至政府決策等幾乎所有的領(lǐng)域都有非常廣闊的應(yīng)用空間。隨著大數(shù)據(jù)時(shí)代的到來(lái),應(yīng)用大數(shù)據(jù)技術(shù)讓災(zāi)害檔案數(shù)據(jù)獲取、儲(chǔ)存、搜索、共享、分析,乃至可視化地呈現(xiàn),成為了可能,為災(zāi)害檔案數(shù)據(jù)管理提供新思路和新方法。
1.大數(shù)據(jù)技術(shù)對(duì)實(shí)現(xiàn)災(zāi)害檔案智能管理提供強(qiáng)大保障。大數(shù)據(jù)技術(shù)具有的可靠安全的數(shù)據(jù)存儲(chǔ)、方便快捷的云服務(wù)、超強(qiáng)的計(jì)算能力、諸多技術(shù)的集合體、良好的經(jīng)濟(jì)效益以及以用戶為中心的個(gè)性化服務(wù)等優(yōu)勢(shì),對(duì)實(shí)現(xiàn)災(zāi)害檔案“存儲(chǔ)數(shù)字化、管理自動(dòng)化、利用網(wǎng)絡(luò)化”智能管理提供保障。應(yīng)用大數(shù)據(jù)技術(shù)對(duì)分散于不同部門(mén)、不同地理位置的檔案數(shù)據(jù)資源進(jìn)行管理、傳輸、檢索和提供利用,滿足用戶對(duì)檔案信息的遠(yuǎn)程訪問(wèn)操作,包括信息查詢、檢索、統(tǒng)計(jì)、提取等,實(shí)現(xiàn)檔案數(shù)據(jù)資源的互聯(lián)互通和共享利用,將檔案“藏”和“用”的功能都提高到一個(gè)新的水平,對(duì)于充分發(fā)揮檔案數(shù)據(jù)資源的價(jià)值具有前所未有的推動(dòng)作用。
2.大數(shù)據(jù)技術(shù)對(duì)實(shí)現(xiàn)災(zāi)害檔案數(shù)據(jù)挖掘提供有力支持。數(shù)據(jù)越來(lái)越多。傳統(tǒng)的檔案管理以文檔管理為主,檔案基本處于被動(dòng)利用,沉淀的檔案沒(méi)有人去分析利用,也沒(méi)有技術(shù)工具去支撐挖掘和分析。大數(shù)據(jù)最核心的價(jià)值就在于對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析,只有通過(guò)分析,才能獲取更多智能的、深入的、有價(jià)值的信息。在大數(shù)據(jù)時(shí)代,檔案系統(tǒng)中除了大量的文檔之外,還有海量結(jié)構(gòu)化數(shù)據(jù),并且數(shù)據(jù)利用的效果要大于文檔利用效果。檔案部門(mén)在收集大數(shù)據(jù)之后,通過(guò)主動(dòng)調(diào)查利用者的需求,建立各種數(shù)據(jù)模型,對(duì)海量數(shù)據(jù)進(jìn)行聚類(lèi)、分類(lèi)、相關(guān)性分析,找到數(shù)據(jù)之間的關(guān)系,提高檔案價(jià)值,將原來(lái)的“死檔案”變成“活信息”,為災(zāi)害管理決策提供參考。
3.大數(shù)據(jù)技術(shù)對(duì)實(shí)現(xiàn)災(zāi)害檔案知識(shí)服務(wù)提供解決途徑,解決災(zāi)害檔案如何實(shí)現(xiàn)知識(shí)服務(wù),如何從浩如煙海的檔案數(shù)據(jù)中快速識(shí)別、選擇和有效利用檔案信息,為災(zāi)害管理部門(mén)提供知識(shí)服務(wù)和智力支持,發(fā)揮檔案的參考憑證、決策咨詢、評(píng)估依據(jù)作用。應(yīng)用大數(shù)據(jù)智能識(shí)別、傳感與適配等技術(shù),構(gòu)建基于基礎(chǔ)框架體系、大數(shù)據(jù)處理體系、過(guò)程管理體系、大數(shù)據(jù)分析與決策體系、交互體系的大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)[4]將成為有效的解決辦法和途徑。災(zāi)害檔案大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)搭建的是一個(gè)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策服務(wù)資源和服務(wù)能力共享、交易和協(xié)作的智慧平臺(tái),依據(jù)災(zāi)害管理不同行業(yè)、不同領(lǐng)域、不同需求的大數(shù)據(jù)處理需求,在平臺(tái)上實(shí)現(xiàn)數(shù)據(jù)、知識(shí)、資源、能力、服務(wù)、過(guò)程和任務(wù)等資源和能力的共享和協(xié)作。
三、大數(shù)據(jù)時(shí)代下災(zāi)害檔案數(shù)據(jù)管理的應(yīng)對(duì)策略
當(dāng)前,我國(guó)經(jīng)濟(jì)發(fā)展已進(jìn)入新常態(tài),認(rèn)識(shí)新常態(tài)、適應(yīng)新常態(tài)、引領(lǐng)新常態(tài),是當(dāng)前和今后一個(gè)時(shí)期中國(guó)經(jīng)濟(jì)發(fā)展的大邏輯,也是發(fā)展檔案事業(yè)的基本遵循。災(zāi)害檔案工作主動(dòng)適應(yīng)新常態(tài),需要分析發(fā)展新變化,順應(yīng)發(fā)展新趨勢(shì),這既是經(jīng)濟(jì)社會(huì)發(fā)展對(duì)災(zāi)害檔案管理提出的更高要求,也是檔案事業(yè)深化改革和持續(xù)發(fā)展的內(nèi)在需要。在大數(shù)據(jù)時(shí)代背景下,災(zāi)害檔案的產(chǎn)生主體、利用群體、生態(tài)環(huán)境都發(fā)生著新變化,災(zāi)害檔案數(shù)據(jù)管理應(yīng)用大數(shù)據(jù)技術(shù)分析、挖掘出龐大的檔案數(shù)據(jù)獨(dú)有的價(jià)值,從“被動(dòng)服務(wù)”向“主動(dòng)服務(wù)”轉(zhuǎn)變,還面臨著諸多挑戰(zhàn),需要從以下方面加以完善和提高。
1.建立高效有序的運(yùn)行機(jī)制。大數(shù)據(jù)建設(shè)是一項(xiàng)有序的、動(dòng)態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程,必須建立良好的運(yùn)行機(jī)制,以促進(jìn)建設(shè)過(guò)程中各個(gè)環(huán)節(jié)的正規(guī)有序,實(shí)現(xiàn)統(tǒng)籌協(xié)調(diào),搞好頂層設(shè)計(jì)。應(yīng)當(dāng)增強(qiáng)災(zāi)害檔案數(shù)據(jù)管理意識(shí),做好災(zāi)害檔案數(shù)據(jù)發(fā)展規(guī)劃,并將其納入國(guó)家綜合防災(zāi)減災(zāi)規(guī)劃中,建立災(zāi)害檔案數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范,構(gòu)建檔案數(shù)據(jù)管理系統(tǒng),實(shí)現(xiàn)災(zāi)害檔案數(shù)據(jù)有效組織、集中存儲(chǔ)、共享與服務(wù)。
2.制定科學(xué)規(guī)范的建設(shè)標(biāo)準(zhǔn)。災(zāi)害管理涉及部門(mén)多、領(lǐng)域多、專(zhuān)業(yè)復(fù)雜,各部門(mén)都是按照各自定義的內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行信息系統(tǒng)建設(shè),因此存在災(zāi)害檔案數(shù)據(jù)資源結(jié)構(gòu)不統(tǒng)一、標(biāo)準(zhǔn)不配套等問(wèn)題。沒(méi)有標(biāo)準(zhǔn)就沒(méi)有系統(tǒng),應(yīng)建立面向不同主題、覆蓋各個(gè)領(lǐng)域、不斷動(dòng)態(tài)更新的大數(shù)據(jù)建設(shè)標(biāo)準(zhǔn),為實(shí)現(xiàn)各級(jí)各類(lèi)信息系統(tǒng)的網(wǎng)絡(luò)互連、信息互通、資源共享奠定基礎(chǔ)。
3.搭建共享利用的服務(wù)平臺(tái)。我國(guó)的災(zāi)害管理涉及多個(gè)部門(mén),通過(guò)幾十年的努力,已經(jīng)積累了海量與防災(zāi)減災(zāi)相關(guān)的專(zhuān)題數(shù)據(jù),并建立了一些信息網(wǎng)絡(luò)系統(tǒng),部分開(kāi)展了信息共享,但絕大多數(shù)災(zāi)害管理相關(guān)數(shù)據(jù)還沒(méi)有實(shí)現(xiàn)有效共享和利用。數(shù)據(jù)只有不斷流動(dòng)和充分共享,才有生命力,所以應(yīng)在各專(zhuān)用數(shù)據(jù)庫(kù)建設(shè)的基礎(chǔ)上,通過(guò)數(shù)據(jù)集成,實(shí)現(xiàn)各級(jí)各類(lèi)信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。
4.培養(yǎng)高素質(zhì)的專(zhuān)業(yè)隊(duì)伍。災(zāi)害檔案大數(shù)據(jù)建設(shè)的每個(gè)環(huán)節(jié)都需要依靠專(zhuān)業(yè)人員完成。一方面,需要培養(yǎng)和造就一支懂指揮、懂技術(shù)、懂管理的大數(shù)據(jù)建設(shè)專(zhuān)業(yè)隊(duì)伍;另一方面,需要加強(qiáng)檔案管理人員對(duì)信息技術(shù)的掌握,加強(qiáng)檔案管理人員大數(shù)據(jù)相關(guān)知識(shí)的培訓(xùn)和輔導(dǎo),做好大數(shù)據(jù)背景下檔案管理的人才儲(chǔ)備。
【關(guān)鍵詞】大數(shù)據(jù);電子政務(wù);信息服務(wù)
1.大數(shù)據(jù)概述
目前對(duì)大數(shù)據(jù)還沒(méi)有標(biāo)準(zhǔn)的定義,一般認(rèn)為它是一種數(shù)據(jù)量很大、數(shù)據(jù)形式多樣化的非結(jié)構(gòu)化數(shù)據(jù)。維基百科定義為:大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。百度百科定義為:大數(shù)據(jù)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。從各種各樣類(lèi)型的數(shù)據(jù)中快速獲得有價(jià)值信息的能力,就是大數(shù)據(jù)技術(shù)。IBM 從三個(gè)基本特性角度來(lái)定義大數(shù)據(jù),即:“3V”:體量(Volume)、速度(Velocity)和多樣性(Variety)。也有人認(rèn)為大數(shù)據(jù)包括三個(gè)要素,即:大分析(Big Analytic)、大帶寬(Big Bandwidth)和大內(nèi)容(Big Con-tent)。
2.電子政務(wù)具有了“大數(shù)據(jù)”特征
近年來(lái)國(guó)內(nèi)外電子政務(wù)獲得了長(zhǎng)足的發(fā)展,很多政府部門(mén)正在嘗試將云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)等新技術(shù)應(yīng)用到電子政務(wù)中來(lái),隨著電子政務(wù)信息公開(kāi)、公眾參與、在線服務(wù)等功能的深入發(fā)展,用戶對(duì)政府電子化公共服務(wù)滿意度不斷提升,從而推進(jìn)了政府信息資源建設(shè)的步伐,電子政務(wù)在大數(shù)據(jù)時(shí)代已經(jīng)具備一定的大數(shù)據(jù)特征。首先,電子政務(wù)信息資源規(guī)模總量不斷增加,隨著政府電子化公共服務(wù)水平的提高,用戶參與電子政務(wù)的積極性日益提高,這也導(dǎo)致電子政務(wù)信息資源總量的激增。其次,電子政務(wù)的數(shù)據(jù)種類(lèi)繁多,有電子政務(wù)內(nèi)部公務(wù)處理的結(jié)構(gòu)化數(shù)據(jù),也有大量的來(lái)自于外部用戶反饋的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。最后,隨著電子政務(wù)個(gè)性化服務(wù)的深入開(kāi)展,用戶的個(gè)性化需求日益增多,政府部門(mén)必須根據(jù)用戶的服務(wù)需求做出相應(yīng)的處理,對(duì)大數(shù)據(jù)量的分析與信息潛在價(jià)值的挖掘?qū)⒉豢杀苊?。電子政?wù)的大數(shù)據(jù)特征主要體現(xiàn)在數(shù)據(jù)處理和信息服務(wù)兩個(gè)方面,數(shù)據(jù)處理是電子政務(wù)信息服務(wù)的前提和基礎(chǔ),用戶信息服務(wù)是數(shù)據(jù)處理效率的具體體現(xiàn),以下將重點(diǎn)分析大數(shù)據(jù)時(shí)代電子政務(wù)的數(shù)據(jù)處理和信息服務(wù)的具體特征。
3.大數(shù)據(jù)時(shí)代電子政務(wù)的數(shù)據(jù)處理
大數(shù)據(jù)時(shí)代的來(lái)臨對(duì)電子政務(wù)帶來(lái)了影響和挑戰(zhàn),數(shù)據(jù)處理是電子政務(wù)服務(wù)用戶的基礎(chǔ)和前提,為用戶提供個(gè)性化的電子化公共服務(wù)必須以快速髙效的數(shù)據(jù)處理為前提,在大數(shù)據(jù)時(shí)代用戶的信息需求日益?zhèn)€性化、復(fù)雜化、實(shí)時(shí)化,這必然要求電子政務(wù)的信息處理也必須適應(yīng)大數(shù)據(jù)的時(shí)代特征,創(chuàng)新電子政務(wù)數(shù)據(jù)處理方式。大數(shù)據(jù)時(shí)代的電子政務(wù)數(shù)據(jù)處理呈現(xiàn)出以下特征:
3.1復(fù)雜多樣的數(shù)據(jù)處理
傳統(tǒng)的電子政務(wù)數(shù)據(jù)處理在政府內(nèi)網(wǎng)主要處理一些標(biāo)準(zhǔn)化的公文數(shù)據(jù),在電子政務(wù)外網(wǎng)中主要處理數(shù)據(jù)格式和XML 格式的數(shù)據(jù),很多政府部門(mén)通過(guò)一系列國(guó)家標(biāo)準(zhǔn)等規(guī)范使這些數(shù)據(jù)格式和 XML 格式的數(shù)據(jù)實(shí)現(xiàn)了規(guī)范化和統(tǒng)一化,這使得傳統(tǒng)環(huán)境下電子政務(wù)數(shù)據(jù)處理基本以結(jié)構(gòu)化數(shù)據(jù)為主。隨著大數(shù)據(jù)時(shí)代的到來(lái),大數(shù)據(jù)的特性與優(yōu)勢(shì)在政府內(nèi)部日常工作和電子化公共服務(wù)中將顯現(xiàn)出其巨大的優(yōu)越性。用戶對(duì)的電子政務(wù)的需求也將呈現(xiàn)出個(gè)性化、多樣化等特點(diǎn),這必然使電子政務(wù)的信息資源呈現(xiàn)復(fù)雜化、多樣化的特點(diǎn),適應(yīng)社會(huì)的發(fā)展,滿足用戶的個(gè)性化需求,提供復(fù)雜多樣的數(shù)據(jù)處理將成為大數(shù)據(jù)時(shí)代電子政務(wù)數(shù)據(jù)處理的顯著特征。
3.2海量的數(shù)據(jù)存儲(chǔ)
信息環(huán)境下,信息產(chǎn)生的成本快速下降,產(chǎn)生的方式也多種多樣,存在于社會(huì)空間中的信息數(shù)據(jù)量迅猛增長(zhǎng),但大數(shù)據(jù)時(shí)代更會(huì)促使數(shù)據(jù)產(chǎn)生的范圍、方式、途徑發(fā)生翻天覆地的變化,人們的一舉一動(dòng)、一言一行、行為規(guī)律等都將產(chǎn)生出大量的半結(jié)構(gòu)化、非結(jié)構(gòu)化信息數(shù)據(jù),信息數(shù)據(jù)的組成結(jié)構(gòu)、類(lèi)型格式、存在形態(tài)等都愈加復(fù)雜。電子政務(wù)信息處理對(duì)這些復(fù)雜的數(shù)據(jù)進(jìn)行的應(yīng)用、存儲(chǔ)將有著極強(qiáng)的挑戰(zhàn)性,其不僅有技術(shù)問(wèn)題,也還包括社會(huì)問(wèn)題。
3.3智能化的數(shù)據(jù)分析
傳統(tǒng)的電子政務(wù)數(shù)據(jù)處理主要是通過(guò)結(jié)果化的公文處理、數(shù)據(jù)庫(kù)處理和網(wǎng)絡(luò)數(shù)據(jù)處理實(shí)現(xiàn)用戶對(duì)信息服務(wù)滿意的最大化。在大數(shù)據(jù)時(shí)代電子政務(wù)的數(shù)據(jù)處理范圍、方式、對(duì)象、目的將日趨個(gè)性化和智能化,比如根據(jù)用戶瀏覽政府門(mén)戶網(wǎng)站的痕跡和參與在線服務(wù)的偏好,通過(guò)智能化的數(shù)據(jù)分析,構(gòu)建出新的電子政務(wù)服務(wù)方案和策略。
4.大數(shù)據(jù)時(shí)代電子政務(wù)的信息服務(wù)
服務(wù)用戶是電子政務(wù)的最終目的,為用戶提供個(gè)性化的髙效的電子化公共服務(wù)是電子政務(wù)信息服務(wù)的根本目的。在大數(shù)據(jù)時(shí)代用戶的信息需求日益?zhèn)€性化、復(fù)雜化、實(shí)時(shí)化,這必然要求電子政務(wù)的信息服務(wù)也必須適應(yīng)大數(shù)據(jù)的時(shí)代特征,創(chuàng)新電子政務(wù)信息服務(wù)方式。電子政務(wù)的用戶服務(wù)一般包括信息公開(kāi)、公眾參與和在線服務(wù)三個(gè)方面,大數(shù)據(jù)時(shí)代的電子政務(wù)的信息公開(kāi)、公眾參與和在線服務(wù)呈現(xiàn)出以下特征:
4.1大數(shù)據(jù)時(shí)代的電子政務(wù)信息公開(kāi)
目前,政府門(mén)戶網(wǎng)站已經(jīng)逐漸成為各政府部門(mén)政務(wù)信息的主要平臺(tái),政務(wù)信息公開(kāi)是以網(wǎng)絡(luò)為工具進(jìn)行政務(wù)信息資源收集、傳播、貯存并將信息與公眾共享。政府部門(mén)應(yīng)按照《政府信息公開(kāi)條例》要求,建立政務(wù)公開(kāi)欄目,主動(dòng)各類(lèi)政務(wù)信息。在大數(shù)據(jù)時(shí)代,信息公開(kāi)的內(nèi)容依然應(yīng)按照《政府信息公開(kāi)條例》要求,而信息公開(kāi)內(nèi)容的頁(yè)面布局應(yīng)順應(yīng)大數(shù)據(jù)時(shí)代的特征發(fā)生改變,通過(guò)分析大量的用戶訪問(wèn)和瀏覽的行為數(shù)據(jù),分析用戶對(duì)政務(wù)信息公開(kāi)的內(nèi)容的偏好,重新組合頁(yè)面布局,實(shí)現(xiàn)個(gè)性化的政府信息公開(kāi)服務(wù)。
4.2大數(shù)據(jù)時(shí)代的電子政務(wù)公眾參與
目前,電子政務(wù)公眾參與的渠道日趨多樣化,主要的渠道有領(lǐng)導(dǎo)信箱、民意征集、留言板、網(wǎng)上、網(wǎng)上直播、在線調(diào)查、網(wǎng)上咨詢投訴、在線訪談、公眾論壇、政務(wù)微博等,隨著信息技術(shù)的快速發(fā)展,一些新技術(shù)、新網(wǎng)絡(luò)形態(tài)還將應(yīng)用到電子政務(wù)公眾參與中來(lái),換句話說(shuō)通過(guò)電子政務(wù)公眾參與獲得的用戶反饋信息會(huì)越來(lái)越多樣化、復(fù)雜化和個(gè)性化,這表明電子政務(wù)的公眾參與具備了“大數(shù)據(jù)”的特征,因此,大數(shù)據(jù)時(shí)代的公眾參與應(yīng)按照大數(shù)據(jù)時(shí)代的數(shù)據(jù)處理要求,通過(guò)處理海量的結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù),深入挖掘潛在價(jià)值,進(jìn)一步優(yōu)化電子政務(wù)的公眾參與服務(wù),從而提升用戶的滿意度和政府的公信力。
4.3大數(shù)據(jù)時(shí)代的電子政務(wù)在線服務(wù)
電子政務(wù)的在線服務(wù)功能是指通過(guò)政府網(wǎng)站整合政府各部門(mén)以及社會(huì)各種服務(wù)資源,完成或促進(jìn)社會(huì)公眾日常生活及企業(yè)經(jīng)營(yíng)決策活動(dòng)實(shí)際事項(xiàng)的能力。目前,電子政務(wù)的門(mén)戶網(wǎng)站要求能為用戶提供“一站式”的服務(wù)平臺(tái),即能夠?yàn)槊嫦虿煌?lèi)型的用戶群提供全生命周期應(yīng)用主題的信息和服務(wù),最大范圍的整合服務(wù)資源。由于電子政務(wù)的在線服務(wù)的用戶類(lèi)型多樣,需求各異,這必然要求電子政務(wù)在線服務(wù)能夠具備處理用戶個(gè)性化信息需求的能力,通過(guò)對(duì)海量個(gè)性化數(shù)據(jù)的處理,發(fā)掘出潛在的有價(jià)值的知識(shí)和規(guī)律,從而提升大數(shù)據(jù)時(shí)代的電子政務(wù)在線服務(wù)能力和服務(wù)質(zhì)量,獲得最大化的用戶滿意。 [科]
【關(guān)鍵詞】大數(shù)據(jù) 信息安全 數(shù)據(jù)安全
大數(shù)據(jù)被稱(chēng)為“未來(lái)的新石油”,在近幾年,迅速成為了科技界和企業(yè)界甚至世界各國(guó)政府關(guān)注的熱點(diǎn)。對(duì)于擁有數(shù)據(jù)的規(guī)模和運(yùn)用數(shù)據(jù)的能力將決定一個(gè)國(guó)家的國(guó)力,并且世界各國(guó)也加強(qiáng)了對(duì)數(shù)據(jù)的占有和控制,這些種種現(xiàn)象均表明“大數(shù)據(jù)時(shí)代”已然來(lái)臨。作為一個(gè)重要表示和關(guān)鍵資源,龐大的數(shù)據(jù)信息流動(dòng)于世界每一處角落,對(duì)于中國(guó)和世界的經(jīng)濟(jì)、政治、文化、社會(huì)、軍事、外交等都將產(chǎn)生重大的影響,然而,在信息技術(shù)和產(chǎn)業(yè)高速發(fā)展,呈現(xiàn)出空前繁榮景象的同時(shí),危害信息安全的事件也在不斷發(fā)生,形式非常嚴(yán)峻,隨著數(shù)據(jù)量的劇增,對(duì)海量數(shù)據(jù)進(jìn)行安全防護(hù)變得十分困難,分布式處理的數(shù)據(jù)也提高了數(shù)據(jù)泄露的風(fēng)險(xiǎn)。因此,在信息安全正在成為制約大數(shù)據(jù)技術(shù)發(fā)展瓶頸的時(shí)代背景下,筆者認(rèn)為,對(duì)于我國(guó)既是機(jī)遇又是挑戰(zhàn)。
一、數(shù)據(jù)驅(qū)動(dòng)的時(shí)代
那么,大數(shù)據(jù)的定義是什么,研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。而麥肯錫全球研究所給出的定義是:一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類(lèi)型和價(jià)值密度低四大特征。下面筆者對(duì)這四個(gè)特征進(jìn)行闡述。
1.龐大的數(shù)據(jù)量。隨著云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)網(wǎng)絡(luò)等技術(shù)的高速發(fā)展,網(wǎng)絡(luò)數(shù)據(jù)量也隨之急劇增加,如今原先的TB級(jí)別已躍升至PB(1000TB)甚至是ZB(1000PB)級(jí)別。據(jù)統(tǒng)計(jì),目前人類(lèi)生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB,歷史上人類(lèi)說(shuō)過(guò)的所有的話的數(shù)據(jù)量大約為5EB。這種數(shù)量級(jí)的數(shù)據(jù)已無(wú)法通過(guò)主流軟硬件工具對(duì)其進(jìn)行提取、分析和處理。
2.數(shù)據(jù)處理速度。大數(shù)據(jù)計(jì)算需要非常強(qiáng)大的計(jì)算能力,而分布式計(jì)算則提供了一種不錯(cuò)的解決方案。這種方案是利用服務(wù)器的大量集群來(lái)提升計(jì)算能力。目前有許多大型互聯(lián)網(wǎng)企業(yè)都擁有自己的分布式計(jì)算中心,擁有大量的服務(wù)器。
3.數(shù)據(jù)類(lèi)型多樣。在大數(shù)據(jù)時(shí)代,相比于傳統(tǒng)的數(shù)據(jù)庫(kù)管理,數(shù)據(jù)來(lái)源更加多樣,例如移動(dòng)網(wǎng)絡(luò)、數(shù)據(jù)、物聯(lián)網(wǎng)、平板電腦等。數(shù)據(jù)類(lèi)型也被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),而非結(jié)構(gòu)化數(shù)據(jù)漸漸成為主流,也就是音頻、視頻、圖片等信息慢慢替代了原有的以文本為主的結(jié)構(gòu)化數(shù)據(jù)。這些海量信息分散在世界各地具有很強(qiáng)的開(kāi)放性。
4.價(jià)值密度低。在數(shù)據(jù)總量非常巨大的情況下,人們對(duì)其中于自身有力的數(shù)據(jù)提取就顯得十分困難。那么,如何在價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比的大背景下,通過(guò)高效的算法對(duì)數(shù)據(jù)進(jìn)行“精煉”是世界各國(guó)以及企業(yè)爭(zhēng)奪的制高點(diǎn)。
大數(shù)據(jù)正成為國(guó)家和企業(yè)的核心資產(chǎn),現(xiàn)實(shí)生活中,大數(shù)據(jù)的應(yīng)用比比皆是,網(wǎng)絡(luò)商城通過(guò)大數(shù)據(jù)分析用戶的購(gòu)物習(xí)慣,投其所好推送商品,提升購(gòu)物成功率,警局通過(guò)數(shù)據(jù)分析預(yù)測(cè)犯罪發(fā)生概率,防微杜漸。對(duì)大數(shù)據(jù)的擁有規(guī)模,運(yùn)用能力,將影響著一個(gè)國(guó)家的綜合國(guó)力,或者一個(gè)企業(yè)的核心競(jìng)爭(zhēng)力。
二、大數(shù)據(jù)背景下信息安全防護(hù)的幾點(diǎn)建議
1.重視大數(shù)據(jù)安全技術(shù)研發(fā)
在云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等新興技術(shù)快速發(fā)展的環(huán)境下,不能照搬傳統(tǒng)的信息安全技術(shù),我國(guó)應(yīng)該加大對(duì)大數(shù)據(jù)安全保障關(guān)鍵技術(shù)研發(fā)的資金投入,提高數(shù)據(jù)安全技術(shù)產(chǎn)品質(zhì)量。筆者認(rèn)為安全防護(hù)與實(shí)時(shí)監(jiān)控這兩個(gè)方面是保護(hù)大數(shù)據(jù)信息安全的重要手段。安全防護(hù)在保護(hù)數(shù)據(jù)安全,防止數(shù)據(jù)遭受網(wǎng)絡(luò)攻擊上起到至關(guān)作用;而實(shí)時(shí)監(jiān)測(cè)技術(shù)主要負(fù)責(zé)在盡量短的時(shí)間內(nèi)檢測(cè)出系統(tǒng)漏洞以及各類(lèi)黑客行為。因此,我國(guó)在此領(lǐng)域還需要相應(yīng)的投入。此外,可引入輔助技術(shù),例如數(shù)據(jù)匿名保護(hù)技術(shù)、數(shù)字水印技術(shù)[4]等來(lái)提高數(shù)據(jù)安全性。
2.提高鑒別數(shù)據(jù)來(lái)源的能力
在數(shù)據(jù)收集中要對(duì)所有數(shù)據(jù)的可信度和真實(shí)性進(jìn)行嚴(yán)格監(jiān)控,可以通過(guò)鑒別數(shù)據(jù)來(lái)源出處的方法,將任何惡意數(shù)據(jù)或虛假信息拒之門(mén)外。另外,采用對(duì)抗式機(jī)器學(xué)習(xí)以及文件統(tǒng)計(jì)等方式來(lái)防止惡意插入數(shù)據(jù)有不錯(cuò)效果。
3.應(yīng)用大數(shù)據(jù)技術(shù)提供安全防護(hù)
雖然大數(shù)據(jù)給當(dāng)今世界信息安全帶來(lái)不小挑戰(zhàn),但是也為其提供了新機(jī)遇。大數(shù)據(jù)分析可以很好的識(shí)別出網(wǎng)絡(luò)中的異常流量,從而找出數(shù)據(jù)風(fēng)險(xiǎn)點(diǎn)。通過(guò)分析整合網(wǎng)絡(luò)攻擊行為所遺留的蛛絲馬跡,來(lái)有效識(shí)別釣魚(yú)攻擊、詐騙網(wǎng)站以及防止黑客入侵,使得應(yīng)對(duì)信息安全威脅更有針對(duì)性。
4.提高公民信息安全意識(shí)
我國(guó)公民在長(zhǎng)期和平的環(huán)境下淡化了對(duì)信息安全風(fēng)險(xiǎn)的防范,缺乏保密意識(shí),社交網(wǎng)絡(luò)的普遍使用也導(dǎo)致了人們信息安全意識(shí)的匱乏。因此,各級(jí)、各類(lèi)黨政機(jī)關(guān)、企事業(yè)單位、高校和其他組織應(yīng)該充分參與到信息安全素養(yǎng)培養(yǎng)中來(lái)。國(guó)家的法律保障是前提,要做到有法可依,促進(jìn)信息安全教育正規(guī)化建設(shè);學(xué)校及其他教育機(jī)構(gòu)應(yīng)開(kāi)設(shè)與信息安全素養(yǎng)有關(guān)課程,使學(xué)生未來(lái)遭遇信息安全威脅時(shí)能從容應(yīng)對(duì);各級(jí)單位在聘請(qǐng)相關(guān)從業(yè)人員時(shí)要加強(qiáng)信息安全意識(shí)的培養(yǎng),提升組織的自律性。
四、結(jié)語(yǔ)
大數(shù)據(jù)不僅帶了更多的安全風(fēng)險(xiǎn),同時(shí)也提供了新機(jī)遇。利用大數(shù)據(jù)技術(shù)更好的刻畫(huà)網(wǎng)絡(luò)異常行為,找出風(fēng)險(xiǎn)來(lái)源,這既能在大數(shù)據(jù)時(shí)代背景下帶來(lái)巨大商業(yè)價(jià)值,也能大大降低大數(shù)據(jù)所帶來(lái)的安全風(fēng)險(xiǎn)。另外,從國(guó)家到個(gè)人能夠?qū)π畔踩@方面引起重視,將對(duì)數(shù)據(jù)安全這一行業(yè)的發(fā)展起到巨大推動(dòng)作用。
參考文獻(xiàn):
[1]陳明奇,姜禾,張娟.大數(shù)據(jù)時(shí)代的美國(guó)信息網(wǎng)絡(luò)安全新戰(zhàn)
略分析[J].信息網(wǎng)絡(luò)安全,2012,8.
[2]Big data research and development initiative[EB
/OL].[2015 - 12- 15]. http: / / itlaw.wikia.
com / wiki / Big _ Data _ Research _ and _Devel-
opment_Initiative.
本課題為浙江省注冊(cè)會(huì)計(jì)師協(xié)會(huì)2014年度注冊(cè)會(huì)計(jì)師業(yè)務(wù)研究成果,榮獲三等獎(jiǎng)。
摘要:作為智力服務(wù)型企業(yè),人力資源是會(huì)計(jì)師事務(wù)所最重要的資本。在大數(shù)據(jù)時(shí)代,如何發(fā)揮其數(shù)據(jù)收集、分析和預(yù)測(cè)特長(zhǎng),有效挖掘和利用人力資源數(shù)據(jù),用大數(shù)據(jù)提升人力資源管理“智慧”,是會(huì)計(jì)師事務(wù)所面臨的一項(xiàng)新課題。本文結(jié)合會(huì)計(jì)師事務(wù)所人力資源管理現(xiàn)狀,探討了如何依托大數(shù)據(jù)創(chuàng)新會(huì)計(jì)師事務(wù)所的人力資源管理。
關(guān)鍵詞 :大數(shù)據(jù) 會(huì)計(jì)師事務(wù)所 人力資源管理
“大數(shù)據(jù)”這一概念是最近幾年流行起來(lái)的,但它的影響卻早已開(kāi)始。大數(shù)據(jù)的應(yīng)用正促使著生產(chǎn)、信息交流方式等各方面的變革,這些變革也引起了管理所用規(guī)范的變革,而作為管理學(xué)科中重要領(lǐng)域的人力資源管理尤受影響。德勤會(huì)計(jì)師事務(wù)所最新的《2014年全球人力資本趨勢(shì):競(jìng)爭(zhēng)21世紀(jì)人才》報(bào)告指出,人力資源部逐漸變成一個(gè)數(shù)據(jù)驅(qū)動(dòng)型部門(mén),其關(guān)注點(diǎn)正在從數(shù)據(jù)報(bào)告轉(zhuǎn)換為數(shù)據(jù)分析,成功利用分析和大數(shù)據(jù)的企業(yè)將會(huì)在執(zhí)行他們的人才戰(zhàn)略上領(lǐng)先于同行。因此,探索大數(shù)據(jù)對(duì)人力資源管理的影響及其應(yīng)用,對(duì)于會(huì)計(jì)師事務(wù)所來(lái)說(shuō)顯得十分必要。
一、大數(shù)據(jù)及其對(duì)人力資源管理的影響
1.大數(shù)據(jù)的定義及特征
關(guān)于“大數(shù)據(jù)”尚無(wú)一個(gè)公認(rèn)的定義,目前基本上都是通過(guò)對(duì)大數(shù)據(jù)特征的闡述和歸納試圖給出其定義。在諸多定義中,比較有代表性的是4V定義,即認(rèn)為大數(shù)據(jù)需滿足四個(gè)特點(diǎn):第一,規(guī)模性(Volu me)。
由于數(shù)據(jù)信息成倍增長(zhǎng),數(shù)據(jù)量級(jí)從MB、GB、TB(1024GB)發(fā)展至PB(1024TB)乃至ZB(10242PB)等,可謂海量、巨量乃至超量。第二,多樣性(Variety)。數(shù)據(jù)類(lèi)型不僅包括傳統(tǒng)的關(guān)系數(shù)據(jù)類(lèi)型(即結(jié)構(gòu)化數(shù)據(jù)),而且愈來(lái)愈多地包括網(wǎng)頁(yè)、圖片、視頻、圖像與位置信息等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。第三,高速性或?qū)崟r(shí)性(Velocity),即數(shù)據(jù)流往往高速傳播,信息是連續(xù)的、實(shí)時(shí)的。4.價(jià)值性(Value)。大數(shù)據(jù)的價(jià)值往往呈現(xiàn)出稀疏性的特點(diǎn),也就是說(shuō),數(shù)據(jù)量的分母太大,對(duì)企業(yè)或個(gè)人決策有價(jià)值的信息占總量的比例卻很小。
2.大數(shù)據(jù)時(shí)代人力資源管理的機(jī)遇與挑戰(zhàn)
大數(shù)據(jù)的發(fā)展所引起的技術(shù)、思維方式等方面的變革將對(duì)當(dāng)前企業(yè)管理實(shí)踐的發(fā)展產(chǎn)生十分重要的影響,而作為管理實(shí)踐中一個(gè)重要領(lǐng)域的人力資源管理也將會(huì)因此面臨更多機(jī)遇與挑戰(zhàn)。
其機(jī)遇在于:首先,人力資本競(jìng)爭(zhēng)優(yōu)勢(shì)將大大提升。大數(shù)據(jù)時(shí)代,率先利用大數(shù)據(jù)進(jìn)行選才、育才、用才、留才的企業(yè),會(huì)使自己的人力資本競(jìng)爭(zhēng)優(yōu)勢(shì)大大提升,進(jìn)而在自己所處行業(yè)領(lǐng)域內(nèi)處于領(lǐng)先地位。其次,人力資源管理工作更加科學(xué)化。人力資源管理者可以借助新興電子信息技術(shù),科學(xué)地進(jìn)行薪酬管理等工作,提升人力資源管理效率,實(shí)現(xiàn)更高效化管理。第三,人力資源管理更加規(guī)范化。大數(shù)據(jù)時(shí)代,人力資源管理工作會(huì)更多借助于先進(jìn)的技術(shù)平臺(tái)獲取數(shù)據(jù)并進(jìn)行數(shù)據(jù)分析,有具體的工作流程可循,工作更加規(guī)范化。第四,人力資源管理邊界的突破。在大數(shù)據(jù)時(shí)代,一個(gè)掌握著大量有效數(shù)據(jù)的企業(yè)的人力資源管理還可以向外提供服務(wù),這也可以成為企業(yè)效益的一個(gè)新的增長(zhǎng)點(diǎn)。
其挑戰(zhàn)在于:首先,企業(yè)組織結(jié)構(gòu)將面臨變革。大數(shù)據(jù)時(shí)代,互聯(lián)網(wǎng)時(shí)代那種去中心化的自組織、自協(xié)調(diào)的管理要求會(huì)變得越來(lái)越強(qiáng)烈,這是當(dāng)前很多企業(yè)的組織結(jié)構(gòu)所不能適應(yīng)的,企業(yè)的組織結(jié)構(gòu)將面臨一定的沖擊。其次,數(shù)據(jù)分析人才短缺。管理大數(shù)據(jù)所需的數(shù)據(jù)整理、分析和報(bào)告技能在傳統(tǒng)人力資源管理者中尚欠缺,很多企業(yè)必須招聘、培養(yǎng)能夠操作人力資源數(shù)據(jù)工作的人員。第三,投入成本巨大。支撐大數(shù)據(jù)應(yīng)用的設(shè)備、技術(shù)的采購(gòu)與研發(fā)以及數(shù)據(jù)的收集、分析與使用都需要投入大量的人、財(cái)、物,這對(duì)任何企業(yè)都將會(huì)是一個(gè)龐大的成本投入,考驗(yàn)著企業(yè)的前瞻規(guī)劃能力、創(chuàng)新能力和變革勇氣。
二、找出管理短板,為大數(shù)據(jù)運(yùn)用厘清思路
相對(duì)于現(xiàn)代企業(yè)先進(jìn)的人力資源管理水平而言,人力資源管理工作在事務(wù)所中的地位尚未得到重視,甚至被忽視,很多事務(wù)所的人力資源管理工作仍然沿用比較粗放的管理方式,存在某些管理短板。
1.人力資源管理體系尚不完善
目前,多數(shù)事務(wù)所的人力資源管理體系尚不健全。如在人力資源規(guī)劃方面,很多事務(wù)所都還處于傳統(tǒng)人事型管理階段;在員工招聘上缺乏合理的人才測(cè)評(píng)方法;在員工培訓(xùn)上,培訓(xùn)方式大多是大課面授式,內(nèi)容也多限于執(zhí)業(yè)人員繼續(xù)教育;在績(jī)效考核上仍沿用改制前的考核體系和方法等。
2.人力資源管理團(tuán)隊(duì)專(zhuān)業(yè)性不強(qiáng)
由于受事務(wù)所規(guī)模等限制,大部分中小事務(wù)所的人力資源與行政部門(mén)仍然合署辦公,人力資源工作人員的專(zhuān)業(yè)化程度不足,多數(shù)事務(wù)所的人力資源管理者被長(zhǎng)期捆綁于初級(jí)基礎(chǔ)工作,難以滿足互聯(lián)網(wǎng)時(shí)代的企業(yè)發(fā)展要求。
3.人力資源管理信息化水平不高
當(dāng)前,雖然一些事務(wù)所已獨(dú)立開(kāi)發(fā)或購(gòu)買(mǎi)了人力資源管理系統(tǒng),但因?yàn)閷?duì)人力資源管理工作重視程度不夠,事務(wù)所的人力資源管理信息化存在諸多問(wèn)題,如企業(yè)信息化建設(shè)所需要的專(zhuān)業(yè)技術(shù)人員比重不足;人力資源管理者的信息水平技術(shù)較低;現(xiàn)有管理系統(tǒng)的功能實(shí)用性不強(qiáng)、操作復(fù)雜、靈活性不夠,與人力資源管理者的期望差距較大等。
三、樹(shù)立大數(shù)據(jù)思維,推動(dòng)人力資源管理創(chuàng)新
作為智力密集型行業(yè),人力資源是注冊(cè)會(huì)計(jì)師行業(yè)最為重要的資本。因此,借鑒“大數(shù)據(jù)”理念,探索事務(wù)所人力資源的大數(shù)據(jù)運(yùn)用,將能夠有效挖掘和利用數(shù)據(jù)資源,彌補(bǔ)不足,提升管理“智慧”,幫助我們做出更加理性的決策。
1.構(gòu)建大數(shù)據(jù)系統(tǒng),優(yōu)化人力資源管理體系
將大數(shù)據(jù)應(yīng)用到事務(wù)所人力資源管理工作中,就需要先建立人力資源數(shù)據(jù)處理系統(tǒng),搭載人力資源管理工作的大數(shù)據(jù)平臺(tái)。
依托大數(shù)據(jù)構(gòu)建起的事務(wù)所人力資源管理系統(tǒng)應(yīng)具備四大平臺(tái)和功能維度,即基礎(chǔ)數(shù)據(jù)平臺(tái)、人力資源業(yè)務(wù)運(yùn)作平臺(tái)、自助服務(wù)平臺(tái)和信息處理平臺(tái)?;A(chǔ)數(shù)據(jù)平臺(tái)以人力資源數(shù)據(jù)庫(kù)為核心,既有數(shù)據(jù)獲取和挖掘功能,又能提供統(tǒng)一的信息整合,實(shí)現(xiàn)人力資源各項(xiàng)業(yè)務(wù)工作的信息共享,是其他三個(gè)平臺(tái)的核心支撐平臺(tái)。人力資源業(yè)務(wù)運(yùn)作平臺(tái)是一種智能化的業(yè)務(wù)支撐平臺(tái),通過(guò)它能夠?qū)崿F(xiàn)對(duì)招聘、培訓(xùn)、績(jī)效考核、薪酬管理等各項(xiàng)業(yè)務(wù)的具體管理。自助服務(wù)平臺(tái)是數(shù)據(jù)解釋平臺(tái),它能通過(guò)可視化、圖標(biāo)、圖像、檢索等方法向數(shù)據(jù)使用者展示任何使用者有權(quán)限看到的數(shù)據(jù)。信息處理平臺(tái)主要提供數(shù)據(jù)集成和分析工作,一方面將原始數(shù)據(jù)進(jìn)行抽取、清洗和貯存,另一方面對(duì)集成后的數(shù)據(jù)進(jìn)行分析,使數(shù)據(jù)產(chǎn)生價(jià)值。
這四個(gè)平臺(tái)之間是互相支撐與配合的,它們共同構(gòu)成了一個(gè)自下而上、點(diǎn)面結(jié)合的人力資源管理系統(tǒng),從而能夠?qū)⑷肆Y源管理者對(duì)于提升事務(wù)所核心競(jìng)爭(zhēng)力的深層價(jià)值最大限度地釋放出來(lái)。
2.運(yùn)用大數(shù)據(jù)思維,指導(dǎo)人力資源管理決策
“大數(shù)據(jù)的核心就是預(yù)測(cè)”(維克托·邁爾-舍恩伯格等,2013)。數(shù)據(jù)信息也許十分龐雜,只是一個(gè)個(gè)的數(shù)據(jù)點(diǎn),但在數(shù)據(jù)處理技術(shù)十分成熟的大數(shù)據(jù)時(shí)代,只要有明確的目標(biāo)、正確的管理方式和管理理念,“點(diǎn)”上的數(shù)據(jù)就能形成邏輯鏈條,冰冷的數(shù)據(jù)就會(huì)有溫度,就能從一大堆數(shù)據(jù)中得出有價(jià)值、規(guī)律性的結(jié)論,可謂數(shù)據(jù)里面有“真知”。因此,事務(wù)所在堅(jiān)持以人為本理念的基礎(chǔ)上,樹(shù)立大數(shù)據(jù)思維,發(fā)揮大數(shù)據(jù)的預(yù)測(cè)特長(zhǎng),通過(guò)增加人力資源數(shù)據(jù)來(lái)驅(qū)動(dòng)決策,讓數(shù)據(jù)說(shuō)話、讓事實(shí)說(shuō)話,將有助于人力資源戰(zhàn)略制定和人力資源決策的科學(xué)性。
3.結(jié)合大數(shù)據(jù)特點(diǎn),充實(shí)人本管理的實(shí)質(zhì)內(nèi)容
人力資源管理與其他非人力資源管理工作的根本區(qū)別在于,它與員工個(gè)人須臾不可分離,任何人或組織要使用人力資源,都要經(jīng)由員工個(gè)人“積極主動(dòng)”的配合才能實(shí)現(xiàn)。因此,人力資源管理工作是否“以人為本”,是否能夠最大限度地發(fā)揮員工主體能動(dòng)性和創(chuàng)造性,是判斷工作成功與否的核心標(biāo)準(zhǔn)。
在大數(shù)據(jù)時(shí)代,事務(wù)所應(yīng)繼續(xù)堅(jiān)持并強(qiáng)化人本管理思想,從滿足員工多層次、多元化需求出發(fā),改變一些傳統(tǒng)的、不合現(xiàn)時(shí)的管理模式,將員工職業(yè)發(fā)展與事務(wù)所發(fā)展相統(tǒng)一,以獲取競(jìng)爭(zhēng)優(yōu)勢(shì)為目標(biāo),提倡全員參與的民主管理,建立擁有系統(tǒng)化科學(xué)方法、富于人文藝術(shù)、充滿權(quán)變管理色彩的人力資源管理系統(tǒng)。
4.注重大數(shù)據(jù)的應(yīng)用,改進(jìn)人力資源管理方式
在大數(shù)據(jù)時(shí)代,人力資源的一些關(guān)鍵問(wèn)題都能利用大數(shù)據(jù)得到更好地改進(jìn),從而避免單純僅憑觀點(diǎn)和經(jīng)驗(yàn)進(jìn)行管理的方式。
(1)人力資源數(shù)據(jù)獲取與使用方式的改進(jìn)。時(shí)下,很多大中型事務(wù)所都用了傳統(tǒng)人力資源管理系統(tǒng),通過(guò)這些方法,事務(wù)所可以收集到不少數(shù)據(jù),但是,這些數(shù)據(jù)只是結(jié)構(gòu)化數(shù)據(jù),而大量的非結(jié)構(gòu)化數(shù)據(jù)卻難以獲取,借助大數(shù)據(jù)技術(shù)可以彌補(bǔ)這一不足。除此之外,大數(shù)據(jù)所擁有的強(qiáng)大數(shù)據(jù)分析能力可使人力資源管理者從碎片化的數(shù)據(jù)中發(fā)現(xiàn)更多的有用信息,從而提升人力資源數(shù)據(jù)的價(jià)值。
(2)人員招聘方式的改進(jìn)。如何招聘到自己想要的人才一直是事務(wù)所招聘時(shí)面臨的一個(gè)難題,這一個(gè)難題在大數(shù)據(jù)時(shí)代或許將大有改觀?;ヂ?lián)網(wǎng)時(shí)代,每個(gè)人都在網(wǎng)絡(luò)上留下了大量數(shù)據(jù),其中包含著他的生活軌跡、社交言行等個(gè)人信息。事務(wù)所可以利用大數(shù)據(jù)信息交叉驗(yàn)證技術(shù),分析這些信息間的關(guān)聯(lián)度,實(shí)現(xiàn)自動(dòng)化尋找自己想要的人才和想要應(yīng)聘本事務(wù)所的人才。
(3)員工培訓(xùn)與開(kāi)發(fā)方式的改進(jìn)。大數(shù)據(jù)在改進(jìn)員工培訓(xùn)方式上的作用也是顯而易見(jiàn)的。在進(jìn)行培訓(xùn)體系的設(shè)計(jì)時(shí),事務(wù)所可以利用大數(shù)據(jù)技術(shù)分析員工基本情況,找出員工能力、知識(shí)和技能的差距,從而更合理地設(shè)計(jì)培訓(xùn)層次和培訓(xùn)課程。另外,互聯(lián)網(wǎng)時(shí)代,大多數(shù)員工都開(kāi)始或積極準(zhǔn)備著通過(guò)在線學(xué)習(xí)來(lái)提升自己的工作技能,事務(wù)所可以通過(guò)大數(shù)據(jù)分析員工在線學(xué)習(xí)時(shí)產(chǎn)生的海量數(shù)據(jù),從而找出員工的培訓(xùn)需求以及喜歡的學(xué)習(xí)方式。
四、結(jié)語(yǔ):?jiǎn)拘殉了臄?shù)據(jù)
作為高端服務(wù)業(yè)的注冊(cè)會(huì)計(jì)師行業(yè)應(yīng)認(rèn)識(shí)到大數(shù)據(jù)帶來(lái)的這種變化,積極制定利用大數(shù)據(jù)參與競(jìng)爭(zhēng)的明確戰(zhàn)略,對(duì)合適的技術(shù)架構(gòu)和能力進(jìn)行安排部署,促進(jìn)管理水平、業(yè)務(wù)能力的真正提高。當(dāng)然,這不是僅憑一兩家事務(wù)所的能力就可以實(shí)現(xiàn)的,“在大數(shù)據(jù)的背景下,多家事務(wù)所之間開(kāi)展數(shù)據(jù)合作,并且共同享受大數(shù)據(jù)帶來(lái)的‘豐盛大餐’,將成為事務(wù)所之間新的合作形態(tài)?!保S光松,2013)因此,它是對(duì)整個(gè)注冊(cè)會(huì)計(jì)師行業(yè)的戰(zhàn)略規(guī)劃能力、創(chuàng)新能力和變革勇氣的考驗(yàn)。從這方面來(lái)看,喚醒沉睡的數(shù)據(jù)需要首先喚醒行業(yè)內(nèi)對(duì)大數(shù)據(jù)的重視。
參考文獻(xiàn)
[1]維克托·邁爾-舍恩伯格,肯尼斯·庫(kù)克耶.盛楊燕,周濤譯.大數(shù)據(jù)時(shí)代[M].浙江:浙江人民出版社,2013:16
[2]黃光松.大數(shù)據(jù)時(shí)代下的會(huì)計(jì)師事務(wù)所[N].中國(guó)會(huì)計(jì)報(bào),2013(13)
[3]姜奇平.大數(shù)據(jù)時(shí)代到來(lái)[J].互聯(lián)網(wǎng)周刊,2012(1)
大數(shù)據(jù)時(shí)代的來(lái)臨,計(jì)算機(jī)技術(shù)的普及程度以及互聯(lián)網(wǎng)的發(fā)展速度持續(xù)加速,在這一前提下社會(huì)各領(lǐng)域各行業(yè)也基本上實(shí)現(xiàn)了數(shù)字化與信息化發(fā)展。為了促進(jìn)工作效率的進(jìn)一步提升,大數(shù)據(jù)時(shí)代下計(jì)算機(jī)信息處理技術(shù)得到了更加廣泛的應(yīng)用。本文對(duì)大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理技術(shù)進(jìn)行了分析,并探討了未來(lái)信息處理技術(shù)的發(fā)展前景。
【關(guān)鍵詞】大數(shù)據(jù) 計(jì)算機(jī)技術(shù) 信息處理技術(shù)
在大數(shù)據(jù)時(shí)代之下,社會(huì)各行業(yè)的經(jīng)營(yíng)發(fā)展也開(kāi)始邁向了數(shù)字化與信息化,數(shù)據(jù)信息量日益增加,人們對(duì)于信息的處理能力也在持續(xù)提升,促進(jìn)了社會(huì)經(jīng)濟(jì)的快速發(fā)展,也在很大程度上實(shí)現(xiàn)了社會(huì)資源的最優(yōu)化配置。在新時(shí)代新形勢(shì)下,數(shù)據(jù)信息資源的內(nèi)容必將更為豐富和多元化,因此我們應(yīng)當(dāng)努力促進(jìn)計(jì)算機(jī)信息處理技術(shù)在實(shí)踐中的應(yīng)用能力,推動(dòng)計(jì)算機(jī)信息處理技術(shù)的進(jìn)一步發(fā)展,以符合日益增長(zhǎng)的技術(shù)需求。
1 大數(shù)據(jù)的定義
在今天,大數(shù)據(jù)已經(jīng)真正成為一個(gè)非常關(guān)鍵且受到社會(huì)各行業(yè)普遍關(guān)注的概念,之所以稱(chēng)其為“大數(shù)據(jù)”,其必然包含了龐大的數(shù)據(jù)信息量,同時(shí)對(duì)于數(shù)據(jù)信息的處理也以更加現(xiàn)代化的方式來(lái)進(jìn)行。對(duì)“大數(shù)據(jù)”這一概念,不同的機(jī)構(gòu)紛紛給出了定義,比如需要新處理模式才能夠具備更強(qiáng)大的決策力、洞察力以及流程優(yōu)化能力的海量、高增長(zhǎng)率與多樣化的信息資產(chǎn)。而百度百科上針對(duì)大數(shù)據(jù)的解釋是,不能在可承受的時(shí)間范圍內(nèi)憑借常規(guī)軟件工具予以捕捉、管理以及處理的數(shù)據(jù)集合。雖然不同機(jī)構(gòu)對(duì)于大數(shù)據(jù)提出的定義存在一定的差異性,但我們依舊能夠從中找到某些共同點(diǎn),即是大數(shù)據(jù)對(duì)于數(shù)據(jù)信息的處理水平要求較高,這也是它的一個(gè)突出特點(diǎn)。
2 大數(shù)據(jù)時(shí)代下的計(jì)算機(jī)信息處理技術(shù)
2.1 信息獲取與信息加工
信息獲取與信息加工之間存在某種程度的聯(lián)系,在進(jìn)行信息處理的過(guò)程中,信息獲取是至關(guān)重要的,只有對(duì)信息的有效收集,計(jì)算機(jī)才可以順利開(kāi)展整理、歸檔以及傳播工作。所以,信息采集是信息加工的前提和基礎(chǔ)。技術(shù)人員在信息采集的過(guò)程中還應(yīng)當(dāng)對(duì)采集流程予以監(jiān)控,確保數(shù)據(jù)信息的可靠性。采集作業(yè)完成后將數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫(kù)內(nèi),以便于信息的查詢和服務(wù)。信息加工指的是借助于信息處理系統(tǒng)對(duì)采集到的信息或存儲(chǔ)的數(shù)據(jù)信息實(shí)施整理加工,從而方便使用者更加快捷的進(jìn)行檢索,現(xiàn)階段國(guó)內(nèi)常見(jiàn)的信息加工技術(shù)主要有高效的信息索引技術(shù)以及數(shù)據(jù)挖掘技術(shù),此類(lèi)技術(shù)的發(fā)展和不斷完善能夠加快數(shù)據(jù)的獲取速度,促進(jìn)信息數(shù)據(jù)加工的效率。
2.2 信息存儲(chǔ)技術(shù)
信息存儲(chǔ)技術(shù)指的是把獲取且進(jìn)行加工之后的數(shù)據(jù)信息依靠互聯(lián)網(wǎng)技術(shù)存儲(chǔ)在數(shù)據(jù)庫(kù)之內(nèi)。信息存儲(chǔ)技術(shù)主要借助數(shù)據(jù)庫(kù)的功能,數(shù)據(jù)庫(kù)在很大程度上決定了信息的調(diào)用以及利用效率,因此必須要強(qiáng)調(diào)數(shù)據(jù)庫(kù)的建設(shè)工作,不斷提升數(shù)據(jù)庫(kù)的直接調(diào)取信息的能力,促進(jìn)信息利用率的提升。大數(shù)據(jù)時(shí)代背景下,數(shù)據(jù)信息的一個(gè)突出特征便是數(shù)量龐大,類(lèi)型多元化,科學(xué)的應(yīng)用信息存儲(chǔ)技術(shù)能夠幫助我們更加高效的處理好現(xiàn)階段信息存儲(chǔ)的缺陷,能夠改變信息存儲(chǔ)的復(fù)雜化情況,還可以促進(jìn)信息存儲(chǔ)效率的提升,降低資金成本。現(xiàn)階段,信息處理技術(shù)通常來(lái)說(shuō)是應(yīng)用分布式數(shù)據(jù)存儲(chǔ)技術(shù),它可以實(shí)現(xiàn)更快速的信息處理,屬于國(guó)內(nèi)目前應(yīng)用較為普遍的信息存儲(chǔ)技術(shù)。
2.3 信息安全技術(shù)
安全一直以來(lái)都是大數(shù)據(jù)時(shí)代下的核心問(wèn)題之一,信息系統(tǒng)之間要確保數(shù)據(jù)信息的安全管理,就應(yīng)當(dāng)更加全方位的對(duì)信息系統(tǒng)實(shí)施控制,把全部存在聯(lián)系的數(shù)據(jù)信息進(jìn)行整合,推動(dòng)計(jì)算機(jī)網(wǎng)絡(luò)安全技術(shù)的更快發(fā)展。為了保證信息安全,必須要切實(shí)做好安全體系的建設(shè),加大相關(guān)專(zhuān)業(yè)技術(shù)人才的培養(yǎng)力度,同時(shí)還必須要對(duì)涉及到的安全技術(shù)問(wèn)題予以深入研究,對(duì)目前已有的技術(shù)不斷更新優(yōu)化。安全技術(shù)管理人員必須要意識(shí)到,安全技術(shù)的進(jìn)步與發(fā)展是大數(shù)據(jù)時(shí)代信息安全的基本保障。因?yàn)閿?shù)據(jù)量的龐大,在安全監(jiān)控過(guò)程中往往會(huì)存在一定的漏洞,信息安全技術(shù)的主要任務(wù)便是盡可能的消除漏洞。
2.4 信息傳輸技術(shù)
信息傳輸一般來(lái)說(shuō)有數(shù)據(jù)的上傳與下載等類(lèi)型,在生活和工作中它可以說(shuō)是信息分享的最廣泛的形式。人們把數(shù)據(jù)信息上傳到互聯(lián)網(wǎng)中與其他人分享,這就必須要借助于信息傳輸技術(shù),而當(dāng)我們?cè)谙螺d互聯(lián)網(wǎng)上的資源時(shí),下載的過(guò)程也屬于信息傳輸技術(shù)實(shí)際應(yīng)用的過(guò)程。所以要確保數(shù)據(jù)信息的高效安全傳輸,降低廣大用戶利用數(shù)據(jù)信息所等待的時(shí)間,必須要進(jìn)一步發(fā)展信息傳輸技術(shù),同時(shí)應(yīng)當(dāng)注重信息傳輸過(guò)程中的安全穩(wěn)定,在確保信息傳輸安全的前提下促進(jìn)數(shù)據(jù)信息傳輸效率的提升。唯有信息傳輸與信息安全技術(shù)的互補(bǔ),才能夠最終實(shí)現(xiàn)數(shù)據(jù)信息的有效利用。
3 計(jì)算機(jī)信息處理技術(shù)的發(fā)展前景
計(jì)算機(jī)信息處理技術(shù)的發(fā)展和應(yīng)用為人們的工作和社會(huì)生活提供了非常大的便利性,更加關(guān)鍵的在于計(jì)算機(jī)信息處理技術(shù)能夠反作用于社會(huì)經(jīng)濟(jì),可以有效的推動(dòng)社會(huì)經(jīng)濟(jì)的持續(xù)健康發(fā)展。因此各個(gè)行業(yè)都非常關(guān)注這一技術(shù)的實(shí)踐應(yīng)用。計(jì)算機(jī)信息處理技術(shù)在很大程度上轉(zhuǎn)變了過(guò)去人們工作或生活中的制約因素,從其實(shí)際的發(fā)展情況來(lái)說(shuō),計(jì)算機(jī)信息處理技術(shù)還能夠朝著更加先進(jìn)的趨勢(shì)發(fā)展。在目前我國(guó)城市化建設(shè)的進(jìn)程中,現(xiàn)代人的生活節(jié)奏與工作節(jié)奏都在加快,唯有更加科學(xué)的應(yīng)用和創(chuàng)新計(jì)算機(jī)處理技術(shù),才能夠促進(jìn)人們生活和工作效率的提升。比如說(shuō)部分行業(yè)由于尚未高效的應(yīng)用計(jì)算機(jī)信息處理技術(shù),導(dǎo)致成本造價(jià)的提升,還可能會(huì)造成資源的浪費(fèi)等問(wèn)題。另外,計(jì)算機(jī)處理技術(shù)還可以整頓產(chǎn)業(yè)內(nèi)部結(jié)構(gòu),促進(jìn)內(nèi)部結(jié)構(gòu)的科學(xué)規(guī)劃,讓其在信息時(shí)代下能夠持續(xù)健康的發(fā)展。在未來(lái),唯有更高效科學(xué)的應(yīng)用計(jì)算機(jī)信息處理技術(shù),在有效處理我們生活或工作中的問(wèn)題時(shí),才能夠在日益激烈的市場(chǎng)競(jìng)爭(zhēng)環(huán)境中搶占先機(jī),進(jìn)而促進(jìn)整個(gè)社會(huì)產(chǎn)業(yè)的良性發(fā)展。
4 結(jié)語(yǔ)
總而言之,計(jì)算機(jī)信息處理技術(shù)的應(yīng)用能夠極大的促進(jìn)現(xiàn)代人實(shí)踐工作中信息搜索與交換的有效性提升,為具備利用價(jià)值的信息資源帶來(lái)了更大的存儲(chǔ)空間,進(jìn)一步的實(shí)現(xiàn)社會(huì)資源的優(yōu)化配置。社會(huì)中各行業(yè)在其自身發(fā)展時(shí)必須要遵循信息處理技術(shù)的應(yīng)用原則,不斷優(yōu)化和提升信息采集、存儲(chǔ)、安全與索引技術(shù),確保社會(huì)產(chǎn)業(yè)在應(yīng)用計(jì)算機(jī)信息處理技術(shù)的基礎(chǔ)上得以更加穩(wěn)定快速的發(fā)展。
參考文獻(xiàn)
[1]鄭鑫淼.“大數(shù)據(jù)”時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)的分析[J].科技創(chuàng)新導(dǎo)報(bào),2016(17):72-73.
[2]黃國(guó)賢.“大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù)[J].電子技術(shù)與軟件工程,2016(19):211.
級(jí)別:統(tǒng)計(jì)源期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:省級(jí)期刊
榮譽(yù):中國(guó)期刊全文數(shù)據(jù)庫(kù)(CJFD)
級(jí)別:省級(jí)期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:統(tǒng)計(jì)源期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:省級(jí)期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)