Priamo z Googlu:
Meta tagy sú skvelým spôsobom, ako môžu správcovia webu poskytovať vyhľadávačom informácie o svojich stránkach. Meta tagy možno použiť na poskytnutie informácií všetkým druhom klientov a každý systém spracuje iba metaznačky, ktorým rozumie, a ostatné ignoruje.
Ak chcete úplne zablokovať všetky vyhľadávače:
Prečo?
Možno je to trochu súkromná adresa URL na vašom webe, ale nie je chránená tak, aby ju vyhľadávací robot nemohol vidieť. Rovnako ako v prípade, že stránka vyžaduje prihlásenie, aby bola stránka viditeľná, je aj tak blokovaná vyhľadávacím robotom. Ale ak je to len zahmlená adresa URL, ktovie, ako sa vyhľadávacie roboty obiehajú, takže možno budete chcieť zabrániť indexovaniu.
Ďalším častým výsledkom sú výsledky vyhľadávania. Je čudné, že výsledok vyhľadávania je možno, že sú výsledkami vyhľadávania. Témy WordPress to zvyčajne zahŕňajú:
Trochu by som to mohol zmeniť a povedať robotom, že môžete sledovať nasledujúce odkazy, ktoré vám pomôžu pokračovať v indexovaní webu, ale túto stránku neindexujte konkrétne.
Ostatné
Vyhľadávacie nástroje zvyknú používať popisnú značku pre textový obsah vedľa :
Na stránke Google nájdete ďalšie, ktoré sa špecificky týkajú Google, napríklad schopnosť zastaviť používateľské rozhranie špecifické pre Google, ako napríklad ich „vyhľadávacie pole s odkazom na web“.