熊蓋站 - 首頁

《  Plurk Twitter 》   

» 您尚未 登入 | 註冊 | 說明 | 娛樂中心 | 點歌 | 聊天留言 | 最新 | 精華 | 論壇 | 資訊 | 首頁 | 影音模式

以文本方式查看主題

-  熊蓋站 (http://localhost/phpwind//index.php)
--  軟體資訊 (http://localhost/phpwind//thread.php?fid=19&page=)
--  【教學】避免被各大搜尋系統搜尋到的方法 (http://localhost/phpwind//read.php?fid=19&tid=6494)
--  作者：kowe
--  發佈時間：2005 06 8 7:29 AM

--  【教學】避免被各大搜尋系統搜尋到的方法


這是一個保密檔案的方法喔!
首先請在你的空間裡面新增一個robots.txt
然後txt檔案的名稱請用小寫喔!就是"robits.txt",不要命名成"ROBITS.TXT"
請看以下的說明

這是一個範例
User-agent: *
Disallow: /cyberworld/map/
Disallow: /tmp/
Disallow: /foo.html

1.User-agent:的參數
輸入User-Agent: *
表示不接受任何的Robot抓取
輸入User-Agent: 123crawler
表示只有不接受123crawler這個Robot的抓取，但接受其他的Robot抓取
2.Disallow:的參數
輸入Disallow: /
表示根目錄下所有的網頁都不接受抓取
輸入Disallow: /aaa
表示只有aaa這個目錄下的網頁不接受抓取

v 最新文章        熊蓋站為自由討論論壇，所有個人行為或言論不代表本站立場。文章內容如有涉及侵權請聯絡我們，將立即刪除相關文章資料        v 精華文章

               

奇摩搜尋
完全比對 或 模糊比對

線上收看： 景點即時影像 | 線上查詢： 火車時刻表最上方

    Powered by 熊蓋站  Code © 2005-2017 Plurk Twitter 
讀取秒數Time 0.016313 second(s),query:2 Gzip enabled
   現在時間是 2024-11-30 21:04