華宇網絡科技
HUAYU NERWORK
13262320613

溫州網站建設公司須知Robots.txt文件是什么

發表時間:2019-06-24 09:25

robots.txt是搜索引擎看見的第一個文件,可以通過定義這個文件告訴搜索引擎哪些內容可以抓取、哪些內容不能抓取。

當一個搜索引擎訪問網站的時候,首先查看網站根目錄下有沒有robots.txt這個文件,如果有,搜索引擎會按照robots.txt文件里面的指令抓取網站;如果沒有,搜索引擎會沿著網站的鏈接進行抓取,這時抓取是沒有規律的,不想讓搜索引擎抓取的內容也有可能被抓取。


掃描查看手機版網站

會員登陸 | 網站鑒賞 | 法律公告 | 聯系我們 | 網站地圖 | 意見反饋
溫州做網站 溫州網站制作 溫州網站建設 溫州專業做網站 百度SEO優化 溫州網絡推廣 華宇網絡                   咨詢熱線:13262320613
Copyright ?2009-2019 All Rights Reserved 溫州華宇網絡科技有限公司 版權所有