軟件技術(shù)在大數(shù)據(jù)中的應(yīng)用

前言：想要寫(xiě)出一篇引人入勝的文章？我們特意為您整理了軟件技術(shù)在大數(shù)據(jù)中的應(yīng)用范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。

摘要：大數(shù)據(jù)時(shí)代下計(jì)算機(jī)軟件的開(kāi)發(fā)與應(yīng)用，已經(jīng)覆蓋到人們生活的方方面面，包括利用網(wǎng)絡(luò)計(jì)算機(jī)軟件，開(kāi)展基礎(chǔ)設(shè)施、教育、科研等領(lǐng)域的業(yè)務(wù)服務(wù)。在開(kāi)展多種計(jì)算機(jī)軟件功能服務(wù)的過(guò)程中，主要將計(jì)算機(jī)服務(wù)器、數(shù)據(jù)庫(kù)等進(jìn)行結(jié)合，促進(jìn)不同網(wǎng)絡(luò)平臺(tái)之間數(shù)據(jù)信息的傳輸、共享，以提高計(jì)算機(jī)軟件及大數(shù)據(jù)信息的利用效率。

關(guān)鍵詞：計(jì)算機(jī)軟件技術(shù)；大數(shù)據(jù)；應(yīng)用；研究

1概述

1.1計(jì)算機(jī)軟件的主要內(nèi)容

計(jì)算機(jī)軟件包含系統(tǒng)軟件、應(yīng)用軟件兩方面內(nèi)容，其中系統(tǒng)軟件是本身存在于計(jì)算機(jī)系統(tǒng)內(nèi)的軟件，如Windowsmediaplayer、Windows文本、Office辦公軟件等；而應(yīng)用軟件則是基于系統(tǒng)平臺(tái)，構(gòu)建用于日常事務(wù)處理的應(yīng)用程序。在網(wǎng)絡(luò)計(jì)算機(jī)軟件的開(kāi)發(fā)過(guò)程中，需要根據(jù)不同用戶(hù)的業(yè)務(wù)功能需求，設(shè)置軟件的登錄界面、功能端口與交互模式，以保證各項(xiàng)網(wǎng)絡(luò)事務(wù)的及時(shí)處理。因此大數(shù)據(jù)計(jì)算、網(wǎng)絡(luò)云存儲(chǔ)技術(shù)等，被用于計(jì)算機(jī)軟件的功能開(kāi)發(fā)、數(shù)據(jù)處理中，以網(wǎng)絡(luò)云平臺(tái)為基礎(chǔ)，進(jìn)行企事業(yè)單位數(shù)據(jù)信息的搜集、分類(lèi)、統(tǒng)計(jì)分析與存儲(chǔ)。從而滿(mǎn)足不同用戶(hù)多項(xiàng)業(yè)務(wù)辦理的需求。

1.2大數(shù)據(jù)技術(shù)的主要內(nèi)容及其發(fā)展?fàn)顩r

大數(shù)據(jù)技術(shù)主要依托Hadoop分布式系統(tǒng)架構(gòu)、HDFS分布式文件存儲(chǔ)、Hive數(shù)據(jù)倉(cāng)庫(kù)，以及Spark應(yīng)用程序、云計(jì)算管理平臺(tái)，對(duì)網(wǎng)絡(luò)中存在的海量數(shù)據(jù)信息，進(jìn)行采集、分類(lèi)、預(yù)處理與存儲(chǔ)。其中Hadoop分布式系統(tǒng)架構(gòu)，主要包含HDFS、MapReduce等功能模塊，能夠部署在配置較低的計(jì)算機(jī)硬件上，對(duì)網(wǎng)絡(luò)中的海量數(shù)據(jù)信息進(jìn)行輸入/輸出控制，HDFS有著較高的數(shù)據(jù)吞吐量和容錯(cuò)性。而MapReduce則主要用于1TB以上大規(guī)模數(shù)據(jù)集的的并行運(yùn)算，通常MapReduce應(yīng)用程序被運(yùn)行在分布式系統(tǒng)中，每個(gè)服務(wù)器上可以運(yùn)行成百上千個(gè)并行計(jì)算集群。MapReduce數(shù)據(jù)處理平臺(tái)，通常會(huì)從Hive數(shù)據(jù)倉(cāng)庫(kù)獲取自身需要的分布式數(shù)據(jù)/文件內(nèi)容，之后自動(dòng)完成海量數(shù)據(jù)任務(wù)的并行計(jì)算。最后Spark應(yīng)用程序框架、云計(jì)算管理平臺(tái)，是與Hadoop分布式系統(tǒng)相似的數(shù)據(jù)處理引擎，主要通過(guò)內(nèi)存分布數(shù)據(jù)集、Web軟件服務(wù)模式，為企業(yè)提供遠(yuǎn)程的數(shù)據(jù)訪(fǎng)問(wèn)、軟件功能服務(wù)。企業(yè)只需要訪(fǎng)問(wèn)網(wǎng)絡(luò)云服務(wù)平臺(tái)，而無(wú)需下載或購(gòu)買(mǎi)軟件，就能夠完成后臺(tái)數(shù)據(jù)信息的查詢(xún)、優(yōu)化迭代與存儲(chǔ)。因此在大數(shù)據(jù)虛擬化技術(shù)快速發(fā)展的形勢(shì)下，企事業(yè)單位、教育及科研機(jī)構(gòu)，可以通過(guò)虛擬化硬件資源的支持，構(gòu)建起數(shù)據(jù)信息共享的云計(jì)算平臺(tái)，對(duì)海量的數(shù)據(jù)信息進(jìn)行收集、處理與存儲(chǔ)，而且用戶(hù)、云計(jì)算管理平臺(tái)之間，能夠通過(guò)不同程序語(yǔ)言的轉(zhuǎn)換來(lái)完成信息交流。

2大數(shù)據(jù)技術(shù)環(huán)境下的發(fā)展方向

在大數(shù)據(jù)及云計(jì)算技術(shù)指導(dǎo)下，計(jì)算機(jī)軟件開(kāi)發(fā)與設(shè)計(jì)，主要與虛擬化數(shù)據(jù)處理、云存儲(chǔ)、信息安全等技術(shù)進(jìn)行結(jié)合，不斷完善計(jì)算機(jī)軟件的數(shù)據(jù)信息搜集、處理與傳輸功能，以及多種業(yè)務(wù)的服務(wù)功能。在虛擬化數(shù)據(jù)信息處理的過(guò)程中，服務(wù)器會(huì)利用網(wǎng)絡(luò)生成的虛擬代碼，對(duì)云計(jì)算虛擬化平臺(tái)中的虛擬資源進(jìn)行統(tǒng)一管理，從而完成企事業(yè)單位等機(jī)構(gòu)的數(shù)據(jù)自由調(diào)度、業(yè)務(wù)功能服務(wù)。

2.1計(jì)算機(jī)軟件與虛擬化數(shù)據(jù)處理技術(shù)的結(jié)合

隨著大數(shù)據(jù)虛擬化技術(shù)、移動(dòng)互聯(lián)網(wǎng)絡(luò)的發(fā)展，企事業(yè)單位、基礎(chǔ)服務(wù)部門(mén)和科研機(jī)構(gòu)，開(kāi)始依托大數(shù)據(jù)虛擬化技術(shù)，進(jìn)行自身內(nèi)部資源、服務(wù)項(xiàng)目的優(yōu)化配置與管理，以滿(mǎn)足不同用戶(hù)多樣化的數(shù)據(jù)信息獲取、業(yè)務(wù)辦理需求。近年來(lái)，政府行政部門(mén)、教育機(jī)構(gòu)、醫(yī)療機(jī)構(gòu)等，紛紛構(gòu)建起自身的虛擬化信息共享云平臺(tái)，結(jié)合某一應(yīng)用程序的顯示界面控制技術(shù)，進(jìn)行多種功能服務(wù)場(chǎng)景的搭建。用戶(hù)在海量數(shù)據(jù)信息訪(fǎng)問(wèn)的過(guò)程中，后臺(tái)服務(wù)器會(huì)對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)資源，進(jìn)行篩選、統(tǒng)計(jì)分析與處理，并對(duì)用戶(hù)的數(shù)據(jù)或功能服務(wù)訪(fǎng)問(wèn)作出響應(yīng)。

2.2計(jì)算機(jī)軟件與云計(jì)算管理、存儲(chǔ)技術(shù)的結(jié)合

云計(jì)算管理技術(shù)、云存儲(chǔ)技術(shù)等，是大數(shù)據(jù)信息平臺(tái)的最重要技術(shù)，其主要通過(guò)不同網(wǎng)絡(luò)接口協(xié)議的整合，進(jìn)行計(jì)算機(jī)軟件中海量數(shù)據(jù)信息的自由訪(fǎng)問(wèn)與傳輸。云計(jì)算管理平臺(tái)是基于Linux系統(tǒng)內(nèi)核的虛擬服務(wù)器，可以通過(guò)虛擬化硬件資源、服務(wù)器等的搭建，為多種計(jì)算機(jī)軟件提供數(shù)據(jù)信息處理、功能的運(yùn)行支持。而云存儲(chǔ)技術(shù)則是相對(duì)于計(jì)算機(jī)硬件的數(shù)據(jù)存儲(chǔ)技術(shù)，其主要借助于網(wǎng)絡(luò)中的云服務(wù)器，對(duì)企事業(yè)單位、基礎(chǔ)服務(wù)部門(mén)、科研機(jī)構(gòu)的數(shù)據(jù)資源，進(jìn)行快速的讀取、上傳與存儲(chǔ)。

2.3計(jì)算機(jī)軟件與信息安全技術(shù)的結(jié)合

大數(shù)據(jù)時(shí)代數(shù)據(jù)信息傳輸、共享的安全性，成為企事業(yè)單位等機(jī)構(gòu)開(kāi)展數(shù)據(jù)資源處理、管理，以及多種業(yè)務(wù)功能訪(fǎng)問(wèn)時(shí)，所關(guān)注的重要問(wèn)題。計(jì)算機(jī)軟件存在著大量的私人信息，包括用戶(hù)賬號(hào)、密碼、數(shù)據(jù)訪(fǎng)問(wèn)與下載痕跡等，因此在計(jì)算機(jī)軟件的開(kāi)發(fā)設(shè)計(jì)過(guò)程中，通常會(huì)與信息安全技術(shù)進(jìn)行結(jié)合，在計(jì)算機(jī)軟件中采取公鑰或私鑰對(duì)稱(chēng)、非對(duì)稱(chēng)加密技術(shù)、鏈路加密技術(shù)、端到端加密技術(shù)等，對(duì)整個(gè)鏈路傳輸?shù)臄?shù)據(jù)信息進(jìn)行報(bào)文數(shù)據(jù)包加密/解密，來(lái)保障不同行業(yè)軟件訪(fǎng)問(wèn)、數(shù)據(jù)使用的安全性。

3大數(shù)據(jù)中計(jì)算機(jī)軟件的實(shí)際應(yīng)用

3.1企業(yè)數(shù)據(jù)信息管理

當(dāng)前企事業(yè)單位對(duì)網(wǎng)絡(luò)數(shù)據(jù)信息的管理，通常由軟件公司結(jié)合企業(yè)的數(shù)據(jù)處理、業(yè)務(wù)服務(wù)需求，進(jìn)行海量數(shù)據(jù)處理、傳輸與共享軟件的開(kāi)發(fā)。一般會(huì)針對(duì)不同企業(yè)生產(chǎn)銷(xiāo)售、產(chǎn)品質(zhì)量的要求，對(duì)企業(yè)內(nèi)部的財(cái)務(wù)、生產(chǎn)銷(xiāo)售、經(jīng)營(yíng)管理等信息進(jìn)行分類(lèi)整合，篩選出具有代表性的樣本數(shù)據(jù)，在移動(dòng)交互平臺(tái)頁(yè)面中進(jìn)行顯示，以滿(mǎn)足用戶(hù)多樣化的消費(fèi)與服務(wù)需求。特別在網(wǎng)絡(luò)商鋪逐漸增多的情況下，企業(yè)可以依托網(wǎng)絡(luò)電商平臺(tái)的大數(shù)據(jù)技術(shù)，進(jìn)行自身生產(chǎn)銷(xiāo)售數(shù)據(jù)、業(yè)務(wù)服務(wù)數(shù)據(jù)的智能化管理。之后根據(jù)客戶(hù)的信息瀏覽喜好，通過(guò)計(jì)算機(jī)軟件平臺(tái)向用戶(hù)推薦相應(yīng)的商品購(gòu)買(mǎi)鏈接、服務(wù)信息，進(jìn)而在激烈的市場(chǎng)競(jìng)爭(zhēng)中占據(jù)主動(dòng)位置。

3.2商業(yè)通信

網(wǎng)絡(luò)通信領(lǐng)域的發(fā)展，需要SPSS、感知評(píng)估系統(tǒng)APP等軟件的支持，才能夠完成一系列數(shù)據(jù)過(guò)濾、解析與傳輸工作。當(dāng)前中國(guó)移動(dòng)、中國(guó)電信等地區(qū)運(yùn)營(yíng)商，已經(jīng)開(kāi)始使用SPSS軟件、感知評(píng)估系統(tǒng)APP軟件等平臺(tái)，進(jìn)行網(wǎng)絡(luò)通信數(shù)據(jù)的智能識(shí)別、過(guò)濾、匹配與運(yùn)算處理，并主動(dòng)生成批量的Excel數(shù)據(jù)表格，大大提升電信公司數(shù)據(jù)源保護(hù)、數(shù)據(jù)解析處理的工作效率。該計(jì)算機(jī)軟件可以通過(guò)修改配置文件，使用不同省市地區(qū)網(wǎng)絡(luò)數(shù)據(jù)的處理需求，且數(shù)據(jù)識(shí)別、解析、匹配與加密的算法較為方便，可以實(shí)現(xiàn)網(wǎng)絡(luò)通信過(guò)程中的數(shù)據(jù)傳輸與優(yōu)化。

3.3數(shù)字化教學(xué)

大數(shù)據(jù)計(jì)算機(jī)軟件在數(shù)字化智能教學(xué)中的應(yīng)用，主要通過(guò)智慧校園網(wǎng)絡(luò)、云計(jì)算管理平臺(tái)、后臺(tái)數(shù)據(jù)庫(kù)、感知設(shè)備等的構(gòu)建，為學(xué)生提供更加多元化的教育教學(xué)資源。教師可以借助于計(jì)算機(jī)軟件技術(shù)，搜集網(wǎng)路中的教學(xué)數(shù)據(jù)資源，對(duì)課程教材中抽象的概念、實(shí)現(xiàn)原理等知識(shí)點(diǎn)，運(yùn)用文字、圖片、視頻或音頻的形式進(jìn)行展現(xiàn)，以最大程度提高學(xué)生的課堂學(xué)習(xí)積極性，加深學(xué)生對(duì)某一專(zhuān)業(yè)理論知識(shí)的認(rèn)知與理解。而教務(wù)管理部門(mén)也可以通過(guò)智能感知設(shè)備，對(duì)教師或?qū)W生的教學(xué)進(jìn)度、學(xué)習(xí)狀況等進(jìn)行了解，利用大數(shù)據(jù)平臺(tái)挖掘有用的數(shù)據(jù)內(nèi)容，來(lái)為師生提供多種智能化的服務(wù)。

4結(jié)語(yǔ)

大數(shù)據(jù)信息時(shí)代到來(lái)后，企事業(yè)單位、教育部門(mén)、基礎(chǔ)服務(wù)部門(mén)的業(yè)務(wù)數(shù)據(jù)越來(lái)越多，TB、1PB逐漸成為數(shù)據(jù)衡量與傳輸?shù)闹饕獑挝唬瑐鹘y(tǒng)單一化的信息處理、傳輸模式，已難以適應(yīng)商業(yè)社會(huì)中企業(yè)決策、業(yè)務(wù)開(kāi)展需求。因此將計(jì)算機(jī)軟件、大數(shù)據(jù)云計(jì)算平臺(tái)進(jìn)行結(jié)合，用戶(hù)通過(guò)訪(fǎng)問(wèn)網(wǎng)絡(luò)云存儲(chǔ)平臺(tái)，能更加方便快捷地調(diào)取、使用數(shù)據(jù)資源，以完成一系列的數(shù)據(jù)信息獲取、業(yè)務(wù)辦理的活動(dòng)。

參考文獻(xiàn)

[1]計(jì)春風(fēng).大數(shù)據(jù)時(shí)代計(jì)算機(jī)軟件技術(shù)的開(kāi)發(fā)與應(yīng)用探討[J].科技與創(chuàng)新,2018,(24).

[2]關(guān)麗.大數(shù)據(jù)時(shí)代背景下計(jì)算機(jī)軟件技術(shù)的應(yīng)用[J].電子技術(shù)與軟件工程,2019,(02).

[3]柴繼貴.淺談?dòng)?jì)算機(jī)軟件技術(shù)在大數(shù)據(jù)時(shí)代的應(yīng)用[J].科技資訊,2018,(36).

作者：胡江偉 單位：山東理工職業(yè)學(xué)院