robots.txt für Internet Archive anlegen

[AppleLiebhaber]

Moin,
aus gegebenen Anlass muss ich eine seit mehreren Jahren existierende Website aus dem Internet-Archive entfernen. (https://archive.org/web/) Dies geht mit einem Eintrag in der robots.txt.
Das Problem ist, dass die Homepage sowohl über www. als auch über http://homepage.de aufgerufen werden kann und mein Eintrag nur den www. Eintrag blockiert.

Kann die robots.txt entsprechend erweitert werden? Oder wie kann ich eine robots.txt für http://homepage.de anlegen?

 

[Difool]

z.B.: via einem htaccess-rewrite-Eintrag mit 301.
Redirect von non-www auf www:

//Redirect von http://meine-seite.de auf http://www.meine-seite.de:
RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\.meine-seite\.de$ [NC]
RewriteRule ^(.*)$ http://www.meine-seite.de/$1 [L,R=301]

 

[AppleLiebhaber]

z.B.: via einem htaccess-rewrite-Eintrag mit 301.
Redirect von non-www auf www:

//Redirect von http://meine-seite.de auf http://www.meine-seite.de:
RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\.meine-seite\.de$ [NC]
RewriteRule ^(.*)$ http://www.meine-seite.de/$1 [L,R=301]

Perfekt, hat funktioniert. Vielen vielen Dank!

 

[AppleLiebhaber]

Mist, ich sehe gerade, dass die Lösung sich mit der Wordpress-Anmeldung beißt.
Bei abgeändertem htaccess-rewrite Eintrag kann ich mich nicht mehr anmelden, ich bekomme immer eine "Blocked" Meldung. Auch das Ergänzen um weitere Einträge (wie hier beschrieben http://one-docs.com/guides/en/wordpress-login-blocked/) funktioniert leider nicht.

 

[Difool]

Das scheint ein Problem seitens deines Hosters zu sein – es werden die benötigten Cookies für die Anmeldung bei deinem Wordpress nicht richtig oder gar nicht gesetzt.
Deswegen dieser Zusatz von one.com für die htaccess.

Setze diesen Zusatz für die "Test-Cookies" mal unter den default-Eintrag in der Wordpress htaccess:
siehe > http://one-docs.de/GermanGuide/wordpress/blocked-nach-login/

 

[deipua]

Füge einfach folgendes IfModule in die .htaccess ein:

<IfModule mod_rewrite.c>
RewriteCond %{HTTP_USER_AGENT} (ia_archiver) [NC]
RewriteRule ^(.*)$ - [F,L]
</IfModule>