robtos.txt

Jack_Pot

Aktives Mitglied
Thread Starter
Dabei seit
06.12.2006
Beiträge
113
Reaktionspunkte
1
Ich habe eine Frage: Wenn man für die Suchmaschine
ein rotobts.txt zur Verfügung stellt, wühlen dann die
Spam-Crawler auch alles durch? Ist es sinnvoller ohne zu
arbeiten? (Emailadressen sind alle codiert…)
 
robots.txt enthält nur Empfehlungen für Spider.
Es muss sich niemand daran halten.

Ich denke, die Frage ob Spam-Crawler sowas in deinem Sinne auswerten, kannst Du dir selber beantworten ;)
 
Ja danke Mudda, das habe ich mir so gedacht.
 
Zurück
Oben Unten