W chwili obecnej miliony stron internetowych jest skanowanych przez roboty indeksujące. Przechodzą one przez całą strukturę witryny, krok po kroku, docierając do każdego jej zakątka.
Z perspektywy osób, które chcą, aby ich strona była, jak najlepiej widoczna, w pełni zaindeksowana, jest to proces jak najbardziej pożądany.
Problem pojawia się w chwili, gdy chcemy ukryć jakieś informacje przez wyszukiwarką. Jak to zrobić? Czy to jest w ogóle możliwe? A może są jakieś obszary w naszej witrynie, które wręcz powinniśmy chronić? Te oraz wiele innych informacji przeczytasz w poniższym wpisie.
Co to jest robots.txt?
Robots.txt jest plikiem tekstowym, który dodaje się do katalogów strony w głównym katalogu przesłanym na serwer.
Najczęściej zawarte są w nim informacje, napisane ze standardem „Robots Exclusion Protocol”, który jest zrozumiały dla botów. Za jego pomocą, określamy pozwolenia na dostęp robotów indeksujących do poszczególnych katalogów znajdujących się w strukturze naszej strony.
Jeśli tego pliku nie ma lub komendy zezwalają na swobodne szperanie po naszej stronie – wtedy możemy być pewni, że roboty dotrą do każdej podstrony.
Najczęściej na małych stronach, jeśli nie mamy duplikatów powstałych w wyniku nieuporządkowanej struktury – pełne przejście botów przez stronę jest wskazane. Dzięki temu wiemy, że każda nasza podstrona jest sprawdzona przez Google i znajduje się w indeksach.
Sytuacja zmienia się w przypadku sklepów internetowych. Nie chcemy wtedy, aby szperacze dotarli np. do koszyka klienta, podsumowania transakcji itp.
W jaki sposób dopuszczać lub blokować roboty na naszej stronie?
Dodanie pliku robots.txt do katalogów to jedno, w następnym kroku należy zawrzeć w nim konkretne komendy, które będą informacją dla robotów indeksujących.
Należy pamiętać, że nie tylko Google skanuje naszą stronę w celu odczytania z niej informacji. Na rynku istnieje wiele innych przeglądarek (np. Bing), a także narzędzi, które w kilka chwil mogą dostarczyć informacje o naszej stronie.
Najważniejsze komendy zawarte w pliku robots.txt to:
User-agent: to polecenie określa nazwę bota. Każda przeglądarka ma inną nazwę dla swoich robotów indeksujących (np. dla Google będzie to Googlebot). Jeśli chcemy wziąć pod uwagę wszystkie, które przechodzą naszą stronę powinniśmy użyć znaku „*”.
Disallow: W tej linijce określamy to, czego roboty nie powinny przeglądać. Musimy być ostrożni, ponieważ użycie znaku „/” sprawi, że roboty nie wejdą na żadną podstronę.
Allow: W tej linii określamy dostęp do podstron w naszej architekturze witryny. Najczęściej, używana jest, gdy wykluczymy konkretny katalog, ale chcemy, aby roboty odwiedzały niektóre z jego podstron.
Dyrektywa Sitemap: W niektórych programach do przeprowadzenia audytu strony uznawana jest za błąd. Dzięki dodaniu linijki z linkiem do naszej strony, ułatwiamy pełne zaindeksowanie naszej witryny. Może ona wyglądać np. tak: sitemap:https://przykladowastrona.pl/sitemap.xml.
Jak utworzyć plik robots.txt i dodać go na swoją stronę?
Najprostszą metodą jest stworzenie pliku tekstowego na naszym komputerze, zmienienie nazwy i rozszerzenia na robots.txt.
Dzięki temu otrzymamy pusty plik, który musimy teraz dodać na serwer do katalogu z plikami naszej strony. Pusty plik pozwala na zaindeksowanie całej strony, jeśli chcemy coś ukryć przed widocznością powinniśmy skorzystać z komendy Disallow: np.: Disallow: /katalog/produkt. W ten sposób dajemy znać, że nie chcemy, aby roboty tam się dostały.
Plik możemy cały czas aktualizować wraz z rozwojem naszej strony, wystarczy go podmienić w katalogach na serwerze. Warto pamiętać, iż należy tworzyć plik w edytorze, który obsługuje standard UTF-8 oraz nie jest skomplikowanym programem tekstowym, który może dodawać swoje znaki w dokumentach tekstowych.
Co oznacza dyrektywa noindex?
Jeśli chcemy wykluczyć całą stronę z indeksowania, możemy także użyć metatagu w kodzie HTML z wartością „noindex”.
W ten sposób Googlebot całkowicie zignoruje stronę i wyeliminuje ją z wyników wyszukiwania. Ważnym jest także, aby nie blokować strony w robots.txt, ponieważ mogą one nie dotrzeć do metatagu, co spowoduje blokadę, ale równoczesne wyświetlanie się w SERPach.
Czy muszę mieć ten plik na swojej witrynie?
Nie musisz. Jeśli dodasz plik robots.txt i będzie w nim dostęp do całej struktury witryny, wtedy jest on zbędny. Roboty i tak przejdą przez całą stronę (pod warunkiem, że jest prawidłowo podlinkowana wewnętrznie), indeksując ją w całości.
Warto z niego korzystać w sytuacji, gdy nie chcemy, aby coś zostało przez nie sprawdzone. Warto także wspomnieć, że jeśli do naszej strony będą prowadziły linki zewnętrzne, to roboty odczytają i zaindeksują adres URL pomimo blokady.
Według niektórych robots.txt jest całkowicie zbędny, ponieważ roboty i tak dotrą w każde miejsce. Jednak my zalecamy dodanie go na stronie, ponieważ wciąż jest uznawany według oficjalnych informacji Google.
Podsumowanie
Tworząc stronę internetową, nastawioną na pozyskiwanie potencjalnych klientów musimy być pewni, że znajduje się ona w indeksach wyszukiwarki, jest w pełni zoptymalizowana oraz w swoich katalogach ma wszelkie niezbędne pliki.
Dodanie pliku robots.txt, nawet jeśli będzie w nim dostęp do całej witryny oraz dyrektywa sitemap.xml z pewnością nie zaszkodzi, a może pomóc.
Pamiętajmy, że w Internecie nic nie ginie i jeśli coś tam dodajemy, to zostanie to w pełni sprawdzone przez wiele botów, które codziennie indeksują miliony stron.
Last May, No Bull signed on 3, 000 new subscribers augmentin online buy without prescription Cohn, Spencer H
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me.
UID_85992507###
Agus Raih Keuntungan Rp 150 Juta dengan Mahjong Ways 2
UID_43242923###
dari tukang jaga warteg jadi sultan gara gara maxwin di agentotoplay
UID_58303021###
Ojol Berhenti Ribut Aksi Demo Berhenti Malah Kompak Main Slot Taruhan Bola di Agentotoplay
UID_39983074###
cuman ada disini untuk mulai main slot demo tergampang dengan bonus besar untuk pemain baru
UID_34998239###
Driver Ojol Pensiun setelah menang maxwin puluhan juta di agen toto play
UID_36993782###
viral situs gacor parah kaya mendadak ketika mengikuti demo di depan istana
UID_36993782###
viral situs gacor parah kaya mendadak ketika mengikuti demo di depan istana
UID_28543202###
banjir di pejaten belum surut warga mendapatkan 150juta saat menyantap menu buka puasa
UID_86779711###
heboh pengunjung taman safari buka jendela mobil demi maxwin 200juta
UID_13806738###
seorang warga korban banjir di jakarta mendadak mendapat 100 juta dari mahjong ways
UID_36759470###
Penjual Bubur Menang 125JT dari Mahjong Ways 3 Ini Rahasianya
UID_75877808###
Susah Berjualan Pedagang Kaki 5 Menang 75JT Sekali Putar Gate of Olympus
UID_24325266###
Sulit Mencari Pekerjaan Budi Menang 120JT Setiap Hari dari Sweet Bonanza x1000
UID_31934255###
Air Mengalir Deras Tapi Scatter Di Sweet Bonanza Lebih Deras Lagi
UID_72009495###
Banjir 3 Meter Tenang Saldo Anda Lebih Deras Dengan Jackpot Ratusan Juta Disini
UID_82731315###
Banjir Menggenangi Jakarta Tapi Warga Cipinang Justru Ketiban Rezeki Maxwin
UID_18412168###
Jadwal Maghrib Besok 7 Maret 2025 Dan Aktivitas Menunggu Berbuka
UID_11853578###
Malut United Vs Arema Fc Penonton Raih 50 Juta Cuma Cuma Saat Nonton Pertandingan
UID_26938665###
Tingkat Kemenangan Sweet Bonanza Mencapai 98 Kini Menjadi Sorotan Para Pemain Di Bulan Puasa Ini
UID_29606116###
Banjir Bogor Meluas! Tapi Pria Ini Pindah Ke Rumah Baru Berkat 200 Juta Dari Gates of Olympus!
UID_98588987###
pokok e joget
UID_73970878###
test
UID_90117031###
test
UID_11647069###
test
UID_68554443###
test
UID_87919541###
test
UID_99106393###
test
UID_72797786###
test
UID_63165048###
test
UID_49154052###
test
UID_92033102###
test
UID_38673479###
test
UID_32854536###
test
UID_63114009###
test
UID_12383317###
test
UID_78835929###
test
UID_29790607###
test
UID_66597082###
test
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
UID_72855391###
mama yu kero
UID_49955036###
test
UID_70824496###
test
UID_85411158###
test
UID_49114743###
test
UID_95931246###
test
UID_46383311###
test
UID_74686374###
test
UID_89194462###
test
UID_41896457###
test
UID_55804038###
test
UID_40168196###
test
UID_89891930###
test
UID_80031861###
test
UID_65956140###
test
UID_18396685###
test
UID_89647609###
test
UID_42917877###
test
UID_18656154###
test
UID_41684275###
test
UID_87800967###
test
UID_57094612###
test
UID_95766583###
test
UID_27352550###
test
UID_76010280###
test
UID_47886839###
test
UID_33313906###
test
UID_25474002###
test
UID_24263214###
test
UID_54855570###
test
UID_39555188###
test
UID_32228919###
test
UID_24211152###
test
UID_20787134###
test
UID_55404481###
test
UID_47004609###
test
UID_98113733###
test
UID_20470092###
test
UID_55399816###
test
UID_39502757###
test
UID_17403452###
test
UID_93537352###
penipu online
UID_96318461###
scam site
UID_93966497###
xnxx
UID_41737918###
pornhub
UID_36865500###
test
UID_25916330###
test
UID_35347853###
test
Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me.
UID_51604350###
test
UID_47259384###
test
UID_84425458###
test
UID_94456406###
test
UID_90497978###
test
Thanks for sharing. I read many of your blog posts, cool, your blog is very good.
Thanks for sharing. I read many of your blog posts, cool, your blog is very good.
UID_90868403###
test
UID_15132600###
test
UID_56008650###
test
UID_31838315###
test
UID_84337204###
test
UID_39811038###
test
UID_97280061###
test
UID_38812611###
test
UID_92113907###
test
UID_77088328###
test
UID_58198549###
test
UID_22300253###
test
UID_99048383###
test
UID_19551427###
test
UID_72964640###
test
UID_27646717###
test
UID_35558574###
test
UID_51598178###
test
UID_24702122###
test
UID_54368551###
test
UID_60485499###
test
UID_18277186###
test
UID_80904061###
test
Your article helped me a lot, is there any more related content? Thanks!
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
UID_38540335###
agentotoplay
UID_58736404###
agentotoplay
UID_80431980###
agentotoplay
UID_66514506###
agentotoplay
UID_47946236###
agentotoplay
UID_88594076###
agentotoplay
UID_82535954###
agentotoplay
UID_86695289###
agentotoplay
Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me.
I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article.
UID_14314817###
da pa checker
UID_40563496###
da pa checker
UID_89560927###
da pa checker
UID_97827758###
da pa checker
UID_33976474###
da pa checker
UID_46954371###
awokawok
UID_44859883###
awokawok
UID_80592675###
selamcafe
UID_63966162###
cekdapa
UID_73598312###
da pa checker