如何面對搜尋引擎有以下三個重點項目

1、讓搜尋引擎找到網址（URL）：

搜尋引擎如何在茫茫網海中找到你的網站？透過外部連結方式，在連結中找到我們的網址，例如：www.abc.com 或 www.abc.com/product.htm ，並抓取此網址的網頁內容，所以面對搜尋引擎的第一步便是讓搜尋引擎找到網址。

2、抓取網頁內容：

搜尋引擎將找到的網址透過抓取方式，將網頁內容資料抓回搜尋引擎資料庫，網站內的所有資料，包含：網頁、文字、圖片、影片檔案、等等內容，都可能會被抓取，除非透過robots.txt 的方式設定特定網址Disallow才能禁止抓取。但即使使用robots.txt 禁止抓取網頁，但網址仍可能存在搜尋引擎清單中，那是因為網站內的所有網址可能透過外部連結或內部連結中被搜尋引擎看到。

3、索引及收錄：

當完成以上找到網址及抓取網頁內容這兩個步驟後，資料變儲存在搜尋引擎資料庫中，搜尋引擎會將資料內容排列重組成可索引狀態，等待任何人在搜尋框內輸入關鍵字後，便可以列出顯示網頁內容，要禁止索引該網頁內容，可在該網頁內head區塊加入noindex的指令，要注意到noindex並無法禁止抓取，只能禁止索引，要禁止抓取需使用robots.txt，所以建議這兩個方式合併使用，效果比較明顯。