鄭州網站優化,鄭州品牌推廣,鄭州網站建設公司,朗創網絡營銷歡迎您 ! 聯系我們|收藏本站|網站地圖

                  朗創網絡

                  幫助企業快速提升網絡營銷業績專注網站建設,SEO關鍵詞排名,一切用數據說話 !

                  咨詢電話:400-880-6422

                  您的位置: 朗創網絡營銷 > SEO資訊 >

                  SEO優化的Robots.txt高級使用技巧

                  作者: 未知 來源: 朗創網絡營銷 發布日期: 2018-09-21 14:57:21
                  信息摘要:
                  您會應用robots.txt seo優化的robots.txt高級應用程序技能嗎?下面的徐州朗創網絡向您介紹robots.txt的高級應用程序。 Front / in? Be careful in the front / in the bow / in front robots.txt使用要點 在介紹高

                    您會應用robots.txt seo優化的robots.txt高級應用程序技能嗎?下面的徐州朗創網絡向您介紹robots.txt的高級應用程序。

                    

                    robots.txt使用要點

                    在介紹高級應用程序之前,讓我們先看看使用robots.txt的要點:

                    1.每個域名,無論它是否是子域名,最多可以有一個robots.txt文件,可以放在網站根目錄中。YourName.com的robots.txt對abc.youname.com沒有任何限制。

                    2.每個協議都可以有robots.txt。例如,http://yourname.com和https://yourname.com可以各有一個robots.txt。

                    3.每個端口可以有一個robots.txt。例如,http://yourname.com和http://yourname.com:8080可以各有一個robots.txt。

                    4.文件名必須是小寫。不可能是robots.txt。

                    5.用戶代理的名稱和用戶代理的大小寫、允許、不允許、爬行延遲、站點地圖指示符都是不敏感的.

                    6.robots.txt中包含的URL區分大小寫。通過區分大小寫,可以有效地排除索引。

                    “允許”和“不允許”的URL必須是不包括協議、域名和端口的路徑。

                    7.不允許:http://yourname.com/abc.htm錯了。更改為“不允許”:/abc.htm

                    8.Sitemap必須包含以HTTP或HTTPS開頭的完整URL。

                    9.txt不是死鎖提交工具。如果要刪除死鎖索引,則應登錄到搜索引擎網站管理員平臺提交。

                    10.txt只差于robots.txt,在這個文件中沒有任何區別,也就是說,是否要做這個排除。刪除robots.txt意味著爬行對漫游完全開放。

                    11.robots.txt只是一個紳士,而不是一個惡棍。歷史上有許多違反robots.txt的行為。網站想在著陸后發布機密信息。

                    12.如果要嚴格防止搜索引擎索引,建議不使用索引標記。但百度不支持。

                    13.Google和百度不支持爬行延遲,而Yandex和Bing則支持。Yandex還支持主機指示符來表示首選域名。

                    14.符號#用于注釋。以下內容將被忽略。

                    

                    合并多個用戶代理

                    如果你有不止一個討厭的機器人爬上你的網頁來消耗你的資源,你可以通過拒絕(當然,假設他們是紳士)來阻止他們。您可以通過用戶代理立即阻止它們。

                    User Agent: bad-bot-a

                    User Agent: bad-bot-b

                    Not allowed: /

                    當您有多個用戶代理時,這篇文章很有用,每個用戶代理都很復雜,但都是相同的。

                    User Agent: bad-bot-a

                    User Agent: bad-bot-b

                    Not allowed: /XXX

                    省略以下200行,以便使robots.txt簡潔。

                    無形通配符*

                    我要說的是通配符*。它代表任何長度的字符。請注意,在每一行“允許”、“不允許”之后都有一個不可見的*。

                    也就是說,如果您寫的是“不允許”:/cat/,下面的內容將影響所有URL,以/cat/開頭,例如:

                    http://yourname.com/cat/abc.htm

                    http://yourname.com/cat/abc.html

                    http://yourname.com/cat/abc/

                    但也有例外,即在允許和不允許之后沒有作業。例如,這個官方的例子。

                    User Agent: *

                    Not allowed: / Cyber World / Map / # this is an infinite virtual URL space

                    #網絡映射器可以訪問任何頁面

                    User agents: network maps

                    It is not allowed to:

                    

                    為每個用戶-代理自定義站點地圖

                    “國際seo不完全介紹”一文指出了在seo上使用目錄進行多語種網站布局的問題。由于百度等中國搜索引擎對泰文、挪威文甚至英文和法文都不感興趣,讓百度蜘蛛在非中文網頁上爬行會造成大量資源浪費,這不僅會影響索引,還會影響排名。為此,我們可以使用“不允許”來阻止其他輔助頁。

                    然而,對于站點地圖指示器,它并不針對特定的用戶代理。無論你的Sitemap語句出現在哪里,它對所有搜索引擎都是有效的。

                    如果我們希望一些搜索引擎只訪問特定的站點地圖,我們該怎么辦?除了在網站管理員平臺上提交網站地圖之外,我們還可以在robots.txt中實現它們。不要忘記,Sitemap文件也是一個資源,我們也可以阻止它與不允許。假設我們有一個全語言的Sitemap-all-lang.xml和一個用于中文內容的sitemap-zh.xml。我們可以這樣做:

                    User Agent: *

                    Not allowed: / sitemap-zh.xml

                    User Agent:

                    Not allowed: / sitemap-all-lang.xml

                    Sitemap:http:/yourdomain.com/sitemap-zh.xml

                    Sitemap:http:/yourdomain.com/sitemap-all-lang.xml

                    這樣,中文網站地圖只對百度可見,而整個語言地圖只對百度外的蜘蛛可見。

                    

                    地圖太大了。我該怎么辦?

                    我們知道搜索引擎通常會限制站點地圖的大小和它們包含的URL的數量。例如,百度將5萬URL和10 MB文件的大小限制為一個站點地圖文件。在這種情況下,您可以在robots.txt中給出多個站點地圖文件的URL。除了此拆分之外,還可以使用Sitemap索引文件。

                    可以索引多個站點映射。

                    其他主流搜索引擎也承認這種索引格式。

                    然后問題就出現了,即使有很多大文件,傳輸也會變得非常低效。為了解決這個問題,我們可以對GZIP站點地圖進行壓縮。壓縮工具,如7-zip可以壓縮文件。需要注意的是,在壓縮之前,您的單個站點地圖文件仍然必須小于10 MB,并且包含少于50,000個URL。

                    以上是robots.txt的高級應用技能,您可以在此高級技能的基礎上設置您的網站。如果你不明白,你可以直接聯系徐州seo幫你建立。

                   

                  咨詢熱線

                  400-880-6422
                  国产—久久香蕉国产线看观看