什么是并行搜索技術(shù)

并行搜索引擎(又稱集成搜索引擎、元搜索引擎、大型搜索引擎)是一種可同時檢索多個搜索引擎，并以統(tǒng)一的檢索界面返回檢索結(jié)果的檢索工具，其結(jié)構(gòu)模型如圖1 所示。Metacrawler 是世界上第1 個并行搜索引擎，它使用幾大頂級搜索引擎(Google, hoo, About 等)進(jìn)行并行搜索，返回最相關(guān)的檢索結(jié)果，從而使網(wǎng)頁檢索更容易。并行搜索引擎通過其轉(zhuǎn)換功能，將檢索用詞轉(zhuǎn)換為搜索引擎可接受的形式，并提交給搜索引擎，用于查找匹配記錄、進(jìn)行記錄去重及檢索結(jié)果整合。由于并行搜索引擎能協(xié)同檢索多個搜索引擎，忽略其數(shù)據(jù)來源的結(jié)構(gòu)差異，剔除相互之間的重復(fù)記錄，并檢驗(yàn)檢索結(jié)果信息的有效性，因此可獲得高質(zhì)量的檢索效果。

圖1 并行搜索引擎的基本結(jié)構(gòu)模型
與獨(dú)立搜索引擎相比，并行搜索引擎有4 個優(yōu)勢：
(1)檢索信息擴(kuò)大對Internet 的覆蓋范圍。研究表明，Internet 數(shù)據(jù)增長速度比獨(dú)立引擎索引網(wǎng)絡(luò)數(shù)據(jù)的速度快很多，導(dǎo)致主流的獨(dú)立搜索引擎對Internet 的覆蓋范圍逐步下降，而并行搜索引擎可以緩解該矛盾。
(2)提高信息檢索的擴(kuò)展性。使用并行搜索引擎檢索網(wǎng)絡(luò)信息比使用集中化的獨(dú)立搜索引擎更容易得到擴(kuò)展。
(3)并行檢索可以同時使用多個搜索引擎。用戶只需要提交一次查詢就可以使用多個獨(dú)立引擎，不必熟悉每個獨(dú)立引擎的檢索界面，且并行搜索引擎可以對檢索結(jié)果進(jìn)行排序和冗余處理。
(4)提高檢索效率。有時并行搜索的檢索速度低于單個獨(dú)立搜索引擎，但并行檢索可以獲得較大的結(jié)果集，為用戶提供更有效的檢索信息。一些學(xué)者認(rèn)為未來的網(wǎng)絡(luò)檢索服務(wù)將由許多各自覆蓋的小部分互連網(wǎng)的專業(yè)引擎協(xié)同提供。通用大型檢索系統(tǒng)的任務(wù)將由并行搜索引擎代替。相對一些成熟的獨(dú)立搜索引擎而言，并行搜索引擎仍然
存在缺陷。由于并行搜索引擎基本沒有自己管理的檢索信息，因此無法獲得檢索信息的描述信息，且其檢索質(zhì)量還部分依賴于為其提供服務(wù)的獨(dú)立搜索引擎，具體體現(xiàn)在：
(1)并行搜索引擎可能不支持某些高級檢索功能，比如高級布爾檢索等。
(2)并行搜索引擎不會返回所有檢索結(jié)果，例如，它只是將每個搜索引擎最相關(guān)的檢索結(jié)果返回給用戶，若某個獨(dú)立搜索引擎在規(guī)定時間內(nèi)沒有響應(yīng)，則忽略它的檢索結(jié)果。
(3)因?yàn)楠?dú)立搜索引擎之間一般都有重復(fù)紀(jì)錄出現(xiàn)，所以并行搜索引擎必須面對信息冗余問題。文獻(xiàn)[4]提出基于Agent 的方法，包含自然語言分析器、查詢定制、網(wǎng)頁收回、網(wǎng)頁過濾、網(wǎng)頁排序和用戶選項(xiàng)Agent來解決上述問題。本文基于網(wǎng)格的并行搜索引擎，參考文獻(xiàn)的思想來解決并行搜索引擎的一些問題。