導語：網(wǎng)絡傳播中信息利用一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

一數(shù)據(jù)采掘和知識發(fā)現(xiàn)技術

在某種意義上說目前我們不是缺少信息，而是被信息淹沒了。在因特網(wǎng)上有無窮的信息和數(shù)據(jù)。目前的數(shù)據(jù)庫系統(tǒng)和搜索引擎可以高效地實現(xiàn)數(shù)據(jù)的統(tǒng)計、查詢等功能，但是無法發(fā)現(xiàn)數(shù)據(jù)中存在的關系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預測未來的發(fā)展趨勢，缺乏挖掘數(shù)據(jù)背后隱藏的有用的信息、知識、新聞、或新聞線索的手段，導致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。人們需要有新的、更有效的手段對各種大量數(shù)據(jù)進行挖掘以發(fā)揮其潛能，數(shù)據(jù)挖掘正是在這樣的應用需求環(huán)境下產生并迅速發(fā)展起來的，它的出現(xiàn)為自動和智能地把海量的數(shù)據(jù)轉化為知識、有用的信息、新聞、或新聞線索提供了手段。

數(shù)據(jù)采掘與知識發(fā)現(xiàn)(KDD)一詞首次出現(xiàn)在1989年8月舉行的第11屆國際聯(lián)合人工智能學術會議上。知識發(fā)現(xiàn)(KnowledgeDiscovery)研究的主要目標是采用有效的算法，從大量現(xiàn)有或歷史數(shù)據(jù)集合中發(fā)現(xiàn)并找出最初未知、但最終可理解的有用知識，并用簡明的方式顯示出來。

數(shù)據(jù)采掘(DataMining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的原始數(shù)據(jù)中，提取隱含在其中的、先前未知的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)采掘在一些文獻中有些相近似的名稱，如數(shù)據(jù)開采、發(fā)現(xiàn)知識(KDD)、知識采掘、知識抽取、知識考察、數(shù)據(jù)融合(DataFusion)等。

知識發(fā)現(xiàn)是一個從數(shù)據(jù)中提取出有效的、新穎的、潛在有用的并能最終被人理解的知識、有用的信息、新聞、或新聞線索的過程。知識發(fā)現(xiàn)是從數(shù)據(jù)庫和中發(fā)現(xiàn)知識的整個過程，而數(shù)據(jù)挖掘是整個過程中的一個步驟。因為數(shù)據(jù)挖掘是知識發(fā)現(xiàn)整個過程中最重要的步驟，所以我們通常將知識發(fā)現(xiàn)和數(shù)據(jù)挖掘作為同義詞使用而不加區(qū)分。

數(shù)據(jù)采掘的工具目前，國外有許多研究機構、公司和學術組織從事數(shù)據(jù)采掘工具的研制和開發(fā)。這些工具主要采用基于人工智能的技術，包括決策樹、規(guī)則歸納、神經元網(wǎng)絡、可視化、模糊建模、簇聚等，另外也采用了傳統(tǒng)的統(tǒng)計方法。

知識發(fā)現(xiàn)技術可以幫助我們從網(wǎng)上大量的原始數(shù)據(jù)和信息海洋中，挖掘出能反映其中規(guī)律的知識提供新聞工作者和網(wǎng)民。

在知識發(fā)現(xiàn)的基礎上可以構成虛擬知識共享系統(tǒng)。虛擬團體是一個分布式的組織，它的成員是一組在網(wǎng)絡上協(xié)同工作的同行，他們依靠網(wǎng)絡的支持相互合作、共享知識，可以快速有效地解決問題。新聞工作者之間、網(wǎng)民之間，新聞工作者與網(wǎng)民之間可以構成虛擬團體，進行交互式信息傳播，進行新聞、信息、知識的交流與共享。

虛擬知識共享系統(tǒng)包括：(1)先進的知識獲取技術。幫助成員搜索、處理知識，從中提煉專家經驗。(2)支持多用戶的Web開發(fā)，以使成員定制自己的Web站點。(3)可以自適應團體需求的自組織式的新聞、信息、知識存儲。

二XML

HTML是目前因特網(wǎng)上廣泛應用的標記語言。其優(yōu)點是非常簡單；固定的樣式；簡易且標準的連接；支持表格；編程簡單。但是也存在難以擴展；交互性差；語義性差；單向的超鏈接：鏈路丟失后不能自動糾正；動態(tài)內容需要下載的部件太多；致使搜索引擎返回的結果過多；缺乏對雙字節(jié)或多國文字的支持等不足。尤其是目前基于HTML的搜索引擎存在著返回結果太多，檢索精度差的弊端。而XML可以有效地克服這些不足。

XML句法可標注出文檔的結構和目的，這樣就可縮小檢索范圍，提高提高檢索精度。例如，用戶想購買二手車，就可將查詢限制為用于描述“汽車銷售”的標識中。

XM能幫助人們辨別模糊詞義。自然語言中的詞經常多義、多指，網(wǎng)絡信息檢索系統(tǒng)不能分辨哪一種意思是查詢中的，哪一種是文檔中的。XML有助于解決詞義模糊問題，提高檢索的準確性。如，用戶使用“brown”作檢索詞，他有可能想查找由DonaldBrown所寫的論文，由BrownUniversity出版的論文，或有關brownbear的論文。如果用戶明確想查詢[author]Brown[/author]，[university]Brown[/university]，還是[subject]brown[/subject]，就會提高檢索準確性。

XML使得能用結構相鄰關系來替代物理相鄰關系進行檢索結果相關性排序。XML可允許利用非文本數(shù)據(jù)，如數(shù)值數(shù)據(jù)、地理位置、溫度值等進行檢索。

三智能搜索引擎技術

目前，計算機信息檢索功能已經從基本的布爾檢索、截詞檢索、鄰近檢索、短語檢索、字段檢索發(fā)展為高級的加權檢索、自然語言檢索、相關信息反饋檢索、模糊檢索和概念檢索。網(wǎng)絡信息檢索核心工具是搜索引擎。

搜索引擎的目的是幫助新聞工作者和受眾尋找信息資源。在因特網(wǎng)環(huán)境下，其典型實現(xiàn)是基于關鍵詞匹配的信息檢索機制。搜索引擎主要由四部分組成：搜索器，索引器，檢索器，用戶接口。搜索器的功能是在互聯(lián)網(wǎng)中發(fā)現(xiàn)和搜索信息。它要盡可能快、盡可能多地搜集各種類型的信息，同時還要定期更新已有信息，避免死連接和無效連接。索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表，建立起自己的物理索引數(shù)據(jù)庫。一個搜索引擎的有效性在很大程度取決于索引的質量。檢索器的功能是根據(jù)用戶的查詢在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，并實現(xiàn)某種用戶相關性反饋機制。用戶接口的作用是輸入用戶查詢、顯示查詢結果，提供用戶相關性反饋機制。

搜索引擎的工作原理搜索引擎起源于傳統(tǒng)的信息全文檢索理論，即計算機程序通過掃描每一篇文章中的每一個詞，建立以詞為單位的倒排文件，檢索程序根據(jù)檢索詞在每一篇文章中出現(xiàn)的頻率和每一個檢索詞在一篇文章中出現(xiàn)的概率，對包含這些檢索詞的文章進行排序，最后輸出排序的結果。互聯(lián)網(wǎng)搜索引擎除了需要有全文檢索系統(tǒng)之外，還要有所謂的“蜘蛛”(SPIDER)系統(tǒng)，即能夠從互聯(lián)網(wǎng)上自動收集網(wǎng)頁的數(shù)據(jù)搜集系統(tǒng)。蜘蛛將搜集所得的網(wǎng)頁內容交給索引和檢索系統(tǒng)處理，就形成了我們常見的互聯(lián)網(wǎng)搜索引擎系統(tǒng)。當然，一個完整的搜索引擎系統(tǒng)還需要有一個搜索結果的頁面生成系統(tǒng)，也就是要把檢索結果高效地組裝成互聯(lián)網(wǎng)頁面。當系統(tǒng)的訪問量(PAGEVIEW)變大時，頁面生成系統(tǒng)往往會成為整個系統(tǒng)的瓶頸。與傳統(tǒng)的信息檢索理論研究不同，搜索引擎的用戶看重的是系統(tǒng)的穩(wěn)定性、速度、易用性和返回的信息量及相關度。

據(jù)專家評測，目前主要的搜索引擎返回的相關結果的比率不足45%，其原因是現(xiàn)有的Internet搜索引擎擁有極少量的知識，并且是面向最一般的用戶模型。不劃分知識領域，不對用戶建立任何描述以及使用關鍵詞匹配的交互方式，都限制了搜索引擎的使用效率。由此提出了智能搜索引擎的概念。

智能搜索引擎應具有的特點新一代中文智能搜索引擎是一個基于漢語語法、詞的上下文和語義等中文信息處理技術，自動收集、識別Internet網(wǎng)上的WWW和News信息，智能化地提取摘要和關鍵詞、建立索引、提供查詢和對不良信息的監(jiān)控、報警功能和網(wǎng)絡信息自動發(fā)現(xiàn)和查詢系統(tǒng)。它以加權的啟發(fā)式搜索算法控制信息資源的搜集，采用了一種加權的啟發(fā)式搜索算法，系統(tǒng)根據(jù)用戶配置的領域導向詞和資源服務器所在地域信息，以啟發(fā)式函數(shù)計算每個URL的權值，并選擇權值高的URL優(yōu)先訪問。

智能搜索引擎可以根據(jù)互聯(lián)網(wǎng)本身的鏈接結構對相關網(wǎng)站用自動方法進行分類，再加上結構嚴謹，萃取精華的開放式信息目錄，為每一個查詢迅速提供準確的結果。

智能搜索引擎可以預期用戶的需求，并可有效地抑制關鍵詞的多義性。如Eastman、Kodak都在嘗試在它們的Intranet中使用更加智能化、知識化和專業(yè)化的搜索引擎。目前比較成功的智能搜索引擎有FSA，Eloise，InFind，CompassWare和FAQFinder。

InFind是一個類似于元搜索引擎的產品，但支持自然語言、模糊檢索，可將結果自動去重、聚類，并可返回對所有搜索引擎并發(fā)查詢的結果，其檢索結果根據(jù)分類排列。

芝加哥大學人工智能實驗室開發(fā)的FAQFinder。它是一個具有問答式界面的智能搜索引擎。在獲知用戶問題后，它查詢FAQ文件以給出比較合適的回答。FAQFinder的內核由五個互聯(lián)聯(lián)系的技術環(huán)節(jié)構成：(1)基于統(tǒng)計方法建立FAQ文件。這是由FAQFinder中的工具Smart完成的。(2)用一個由簡單名詞和動詞短語構成的文法樹分析用戶的查詢，以得到一個用于支持內容匹配的描述。(3)問題識別者(QuestionRecognizer)操作文法樹以辨識問題從屬的類別。(4)使用語義網(wǎng)分析與概念匹配技術，找出與用戶查詢最近似的問題。(5)FAQFinder將得到的匹配返回給用戶。如果沒有近似的匹配，則將使用一個啟發(fā)式的策略。

智能搜索引擎還可以采用協(xié)同式檢索方法。該方法一般用于一個特定的用戶（如一個或一組新聞工作者、一個新聞媒體、一個或一組受眾）。協(xié)同式方法有時又稱為公眾學習方法，它將其他用戶的反應反饋給當前的用戶。系統(tǒng)不去計算分類項目的相似程度，而是計算用戶之間的相似程度。協(xié)同式方法不分析分類項目的內容。協(xié)同式方法一般用于非文本化的數(shù)據(jù)，如電影、音樂等，但是也有的系統(tǒng)將其用于文本數(shù)據(jù)的挖掘，如新聞過濾等。已有一些系統(tǒng)用于電子郵件處理、會議時序安排、電子新聞過濾和娛樂節(jié)目推薦。

與智能搜索引擎技術相關的還有信息智能“推”技術和個性化檢索技術。

基于網(wǎng)民和新聞工作者訪問互聯(lián)網(wǎng)的特點，在用戶拉取信息的搜索過程中，根據(jù)其輸入的關鍵詞，通過機器學習，可以識別和預測其興趣或偏好，從而有針對性、及時地向網(wǎng)民和新聞工作者主動推送相關知識和最新信息、新聞和新聞線索。推送的形式可采用頻道式推送、郵件式推送、網(wǎng)頁式推送或專用式推送。目前已有構造Web訪問模式樹(WAPtree)的算法，可從大量信息訪問日志中挖掘用戶訪問信息的模式。也可從用戶訪問文檔的超鏈接來預測用戶的訪問偏好，其知識發(fā)現(xiàn)采用關聯(lián)性法則。

個性化檢索要求能夠網(wǎng)絡信息檢索系統(tǒng)能夠學習網(wǎng)民和新聞工作者的興趣、適應其興趣的變化并提出檢索建議。一般采用分布式Agent技術，例如在客戶機上運行用戶接口Agent，表示用戶個性化模式，在服務器上運行信息檢索管理Agent，相當于中介信息檢索服務器，實現(xiàn)與各引擎的交互，用戶Agent用戶開始一項個性化查詢quest，通過與個性化模式庫中模式的類比學習，產生凈化了的個性化檢索模式，提交信息Agent協(xié)調模塊選擇相關信息檢索。返回的檢索結果通過信息濾波，送交顯示模塊，新聞工作者和網(wǎng)民通過瀏覽返回的結果，確認是否為感興趣的文檔，若為感興趣的文檔，就提交相關反饋文檔模塊并進行聚類，產生個性化模式，同時存入該用戶的個性化模式庫中，如果用戶不滿意，也可以將確認結果提交給強化學習模塊，進行交互學習，進一步凈化檢索結果。

參考文獻：

1匡文波。網(wǎng)絡媒體概論，清華大學出版社，2001年4月

2匡文波。網(wǎng)絡傳播學概論，高等教育出版社，2001年10月