一(yī)、先了解什麽是robots文件？

　　Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網站中(zhōng)不想被搜索引擎收錄的部分(fēn)或者指定搜索引擎隻收錄特定的部分(fēn)。

　　二、robots功能用途是什麽？

　　robots協議用來告知(zhī)搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取;可以屏蔽一(yī)些網站中(zhōng)比較大(dà)的文件，如：圖片，音樂，視頻(pín)等，節省服務器帶寬;可以屏蔽站點的一(yī)些死鏈接。方便搜索引擎抓取網站内容;設置網站地圖連接，方便引導蜘蛛爬取頁面。

　　三、Robots.txt文件的作用是什麽？

　　一(yī)般來說出于安全的考慮，在網站seo優化時寫入robots.txt文件，實際上就是告訴搜索引擎蜘蛛，網站上哪些内容允許抓取，哪些内容不允許抓取，這樣做可以提高搜索引擎的抓取效率，增加搜索引擎對網站的友好度。

　　四、Robots文件可以屏蔽的内容是什麽？

　　1、圖片目錄圖片是構成網站的主要組成元素。随着現在建站越來越方便，大(dà)量CMS建站。就存在大(dà)量的沒有用到的圖片，建議你應該在robots.txt文件中(zhōng)進行屏蔽，通常的網站圖片目錄是：imags。或者img;

　　2、網站模闆目錄如上面圖片目錄中(zhōng)所說，CMS的強大(dà)和靈活，網站的模闆目錄跟網站的内容主題不符，不利于集中(zhōng)網站的相關度。模闆目錄的文件目錄是：templets

　　3、CSS、JS目錄的屏蔽這個經常看見我(wǒ)們有些網站的css文件和js被收錄了，想要被收錄的文章沒被收錄，這對seo無用文件卻收錄，确實沒有這個必要，也不利于集中(zhōng)網站的相關度。

　　4、屏蔽雙頁面的内容大(dà)家都知(zhī)道DEDECMS可以使用靜态和動态URL進行同一(yī)篇内容的訪問，如果你生(shēng)成全站靜态了，那你必須屏蔽動态地址的URL鏈接。這裏有兩個好處：

　　1)、搜索引擎對靜态的URL比動态的URL更友好、更容易收錄;

　　2)、防止靜态、動态URL能訪問同一(yī)篇文章而被搜索引擎判爲重複内容。

　　3)、模闆緩存目錄很多CMS程序都有緩存目錄，這種緩存目錄的好處我(wǒ)想不用說大(dà)家也清楚了吧，可以非常有效的提升網站的訪問速度，減少網站帶寬，對用戶體(tǐ)驗也是很好的。不過，這樣的緩存目錄也有一(yī)定的缺點，那就是會讓搜索引擎進行重複的抓取，一(yī)個網站中(zhōng)内容重複也是大(dà)祭，對網站百害而無一(yī)利，很多使用CMS建站的朋友都沒有注意到，必須要引起重視。

　　4)被删除的目錄死鏈過多，對搜索引擎優化來說，是緻命的。

　　五、網站robots.txt文件生(shēng)成方法

　　首先登錄網站後台，選擇“我(wǒ)的站點”，在右側的欄目中(zhōng)找到“編輯”，然後找到需要做robots的頁面，點擊進去(qù)（如下(xià)圖所示）：

　　以上内容就是合肥網站推廣小(xiǎo)通幹貨分(fēn)享的robots文件用途和生(shēng)成方法，爲了寫這篇文章，小(xiǎo)通可是研究了一(yī)個星期關于robots文件的内容，就是希望能實實在在幫助到大(dà)家，大(dà)家可以動手操作嘗試，不動手操作，不認真研究，你始終邁不過這個坎，如果您覺得這篇文章對您有所幫助，可以高擡貴手，收藏我(wǒ)們的網站吧，再此感謝。