淺談搜索引擎的體系結構 |
發布時間: 2012/9/17 14:41:19 |
在網站優化公司呆了這么久,也總結了一些知識,和大家分享一下:搜索引擎的結構清晰,分工明確。按照各自的功能劃分,分為以下4大系統:
(1)下載系統;
(2)分析系統;
(3)索引系統;
(4)查詢系統;
其中下載系統負責從萬維網上下載各種類型的網頁,并且保持對萬維網變化的同步。
分析系統負責抽取下載系統得到的網頁數據,并進行PageRank和分詞計算。
索引系統負責將分析系統處理后網頁對象索引入庫。
查詢系統負責分析用戶提交的查詢請求,然后從索引庫中檢索出相關網頁并將網頁排序后,以查詢結果的形式返回給用戶。
從細節上看,網頁從開始到最后都是網頁。而在搜索引擎的內部會有兩種不同的形式,一種以網頁庫的方式存儲;一種成為網頁對象被存儲在索引庫中。搜索引擎的主要數據來自網頁,網頁處理能力是搜索引擎面對的主要挑戰,下載系統和索引系統分別會進行一些關于數據存的相關知識的介紹。 本文出自:億恩科技【www.laynepeng.cn】 |