6、什么是Robots？Robots.txt文件放在哪里?

發(fā)布時(shí)間:2019-11-12 19:49:23 瀏覽人數(shù): 10672 次

答：搜索引擎通過一種程序robot（又稱spider），自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。

可以在網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt，在這個(gè)文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。

robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說，當(dāng)robots訪問一個(gè)網(wǎng)站（比如http://www.abc.com）時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個(gè)文件，如果機(jī)器人找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

資料來源網(wǎng)絡(luò)，僅供學(xué)習(xí)交流，如您發(fā)現(xiàn)本文中有涉嫌抄襲，請(qǐng)發(fā)送郵件至：[email protected]，一經(jīng)查實(shí)，本站將立刻刪除涉嫌侵權(quán)內(nèi)容。

上一篇：7、什么是外鏈？如何做？
下一篇：5、什么是sitemap？

關(guān)于我們

廣東耐思智慧科技有限公司