Stone Forum
New Have you ever seen or experienced a page indexed which i

 
Nieuw onderwerp plaatsen   Reageren    Stone Forum // Voorbeeld Forum
Vorige onderwerp :: Volgende onderwerp  
Auteur Bericht
breckjensen



Geregistreerd op: 18 Okt 2017
Berichten: 91

BerichtGeplaatst: 06-12-2017 14:32:12    Onderwerp: New Have you ever seen or experienced a page indexed which i Reageren met citaat
Hello All,

We use robots file and meta robots tags for blocking website or website pages to block bots from crawling. Mostly robots.txt will be used for website and expect all the pages to not getting indexed. But there is a condition here that any page from website can be indexed by Google even the site is blocked from robots.txt; because crawler may find the page link somewhere on internet as stated here at last paragraph. I wonder if this really the case where some webpages have got indexed.

And even we use meta tags at page level; do we need to block from robots.txt file? Can we use both techniques at a time?

Please help.
Thanks!

I didn't find the right solution from the Internet.

References:
https://moz.com/community/q/have-you-ever-seen-or-experienced-a-page-indexed-which-is-actually-blocked-from-a-website-which-is-blocked-by-robots-txt

storytelling video
Terug naar boven
Profiel bekijken Stuur privébericht
Nieuw onderwerp plaatsen   Reageren    Stone Forum // Voorbeeld Forum Tijden zijn in GMT + 1 uur
Pagina 1 van 1

 
Ga naar:  
Je mag geen nieuwe onderwerpen plaatsen in dit subforum
Je mag geen reacties plaatsen in dit subforum
Je mag je berichten niet bewerken in dit subforum
Je mag je berichten niet verwijderen in dit subforum
Je mag niet stemmen in polls in dit subforum


Wilt u geen reclame op dit forum en genieten van extra voordelen? Klik dan vlug hier voor meer informatie!
 
Powered by phpBB and Andrew Charron
immo op Realo
Maak snel, eenvoudig en gratis uw eigen forum: Gratis Forum