Tieši no Google:
Meta tagi ir lielisks veids, kā tīmekļa pārziņi sniedz meklētājprogrammām informāciju par viņu vietnēm. Meta tagus var izmantot, lai sniegtu informāciju visu veidu klientiem, un katra sistēma apstrādā tikai viņiem saprotamos meta tagus un pārējos ignorē.
Ja vēlaties pilnībā bloķēt visas meklētājprogrammas:
Kāpēc?
Varbūt tas ir nedaudz privāts URL jūsu vietnē, taču tas nav aizsargāts tā, ka meklēšanas robots to nevarētu redzēt. Tāpat kā tad, ja lapai ir jāpiesakās, lai to redzētu, tik un tā tiek bloķēts meklēšanas robots. Bet, ja tas ir tikai neskaidrs URL, kas zina, kā meklēšanas roboti pārvietojas, tāpēc jūs varētu vēlēties novērst indeksēšanu.
Meklēšanas rezultāti ir vēl viens izplatīts. Dīvaini, ka meklēšanas rezultāti, iespējams, ir meklēšanas rezultāti. WordPress tēmas parasti ietver šo:
Es varētu to nedaudz mainīt un pateikt robotiem, hei, jūs varat sekot šeit esošajām saitēm, lai palīdzētu turpināt vietnes indeksēšanu, taču īpaši neindeksējiet šo lapu.
Citi
Meklētājprogrammas teksta saturam mēdz izmantot apraksta tagu blakus :
Skatiet Google lapu, lai skatītu citas Google specifiskās lapas, piemēram, iespēju apturēt Google specifiskas lietotāja saskarnes, piemēram, viņu vietņu saišu meklēšanas lodziņu.