對SEO優(yōu)化的深層認知SEOER的研究對象就是搜索引擎,因此深入了解搜索引擎工作原理很有必要,網(wǎng)上也有很多介紹這方面的文章,但能稱得上詳細、形象、深入地進行剖析的少之又少。當然,筆者的博文可能也完全達不到所謂的詳細、形象、深入三面俱到,但筆者會盡可能詳盡、深入地闡述各個原理,以便對這些原理能有更深層次的認知。
一、抓取:其實在抓取前面還有一個過程沒有描述在內(nèi),那就是爬行,也就是搜索引擎程序發(fā)現(xiàn)新網(wǎng)址的過程,只是這個過程大多伴隨著抓取,除非你的這個URL上的內(nèi)容沒有什么價值(垃圾內(nèi)容、重復內(nèi)容、文字過少內(nèi)容等)而被搜索引擎抓取程序直接跳過。搜索引擎爬行程序以數(shù)據(jù)表中已存在或新提交的鏈接順藤摸瓜式地進行爬行以不斷發(fā)現(xiàn)新的URL,抓取程序在分析并確定該URL的頁面內(nèi)容有價值后,便將其整個頁面抓取下來放入到龐大的信息數(shù)據(jù)表中。新抓取的內(nèi)容在進入信息數(shù)據(jù)表時,并不是一股腦地堆積在那,而是按照信息數(shù)據(jù)庫中表的字段(如:網(wǎng)頁URL、title、描述、正文內(nèi)容、抓取時間、導出鏈接等)分門別類地將信息存儲起來,以便滿足后期的數(shù)據(jù)索引操作。
一、抓取:其實在抓取前面還有一個過程沒有描述在內(nèi),那就是爬行,也就是搜索引擎程序發(fā)現(xiàn)新網(wǎng)址的過程,只是這個過程大多伴隨著抓取,除非你的這個URL上的內(nèi)容沒有什么價值(垃圾內(nèi)容、重復內(nèi)容、文字過少內(nèi)容等)而被搜索引擎抓取程序直接跳過。搜索引擎爬行程序以數(shù)據(jù)表中已存在或新提交的鏈接順藤摸瓜式地進行爬行以不斷發(fā)現(xiàn)新的URL,抓取程序在分析并確定該URL的頁面內(nèi)容有價值后,便將其整個頁面抓取下來放入到龐大的信息數(shù)據(jù)表中。新抓取的內(nèi)容在進入信息數(shù)據(jù)表時,并不是一股腦地堆積在那,而是按照信息數(shù)據(jù)庫中表的字段(如:網(wǎng)頁URL、title、描述、正文內(nèi)容、抓取時間、導出鏈接等)分門別類地將信息存儲起來,以便滿足后期的數(shù)據(jù)索引操作。

