Pro und Contra robots.txt

[Shrike]

Hi,

wie wichtig erachtet ihr robots.txt? Ich habe mir mal die Richtlinien von Googles Webmasters angetan und beim
"Crawler-Zugriff" kann man sich ja problemlos eine robots.txt erstellen lassen für seine Website.

Vielerorts gehört "..kannste vergessen..."

Zugreifen tun die Crawler ja sowieso, die robots.txt sagt nochmal explizit das sie es dürfen und man kann Sachen ausschließen...

Ich würde hier mal gerne pro und contra zu robots.txt eröffnen...

LG E

[Hotze]

Was ist daran schlimm eine einfache .txt zu erstellen? Schaden wird es nicht, von daher ist es doch eigentlich egal.

[/aquila]

problem ist das sich nicht alle crawler dran halten, aber haben sollte sie man trotzdem

[Shrike]

Na ja, also wenn's egal ist kann man's auch lassen...

aber egal: alles zulassen in der robots.txt oder gewisse Einschränkungen?

[Hotze]

Musst Du wissen. Alles zulassen und das was Du nicht im Netz sehen willst, verbieten.

[Shrike]

Is' klar...

Um nochmal Mißverständnisse auszuschließen - was man mit der robots.txt macht is' klar.

Es geht um Sinn und Unsinn dieser kleinen Textdatei.

/aquila erwähnte ja bereits, das sich nicht alle Crawler dran halten...

Soweit ich weiß tun's aber alle großen Suchmaschinen

[sägezahn]

Meiner Erfahrung nach ist es nicht egal - nahezu alle Crawler, die auf meiner Seite aufgetaucht sind, halten sich an die Angaben im robots.txt. Ansonsten hat Hotze ja bereits alles gesagt. Lass halt Google und evtl. Yahoo deine Seite indizieren und die restlichen sperrst du aus, da sie ohnehin nicht von Bedeutung sind.

[Rupp]

Also meine Seite wurde von Google geindext, obwohl die robots.txt eigtl. allen crawlern den gesamtzugriff verboten hatte und zwar von Anfang an. Seit bestehen des Webspace (war quasi bei der default-config des Webspace dabei).

[Kümmelkorn]

aber egal: alles zulassen in der robots.txt oder gewisse Einschränkungen?

Wenn du alles zulässt, kannst du die Datei weglassen – denn weglassen = alles zulassen!

Falls du Einschränkungen machen willst, ist die robots.txt der einzige Weg und schon allein deshalb sinnvoll. Oder siehst du eine alternative? (nein, nicht-online-stellen zählt nicht!)