link folgen und suchen

[Erika]

Sagt mal, wie folgt man via php einem Link, um dann nach einem bestimmten Inhalt suchen zu können?
Ich möchte eine gespeicherte Linkliste nutzen.

Erika

 

[Erika]

Ich möchte ausschließlich auf einer begrenzten Auswahl von websites suchen können. Die Mailsucher machen es doch vor, dass es möglich ist. Warum dann nicht auch nach anderem string suchen können?
Helft mir mal auf die Sprünge.

 

[Jakob]

Hallo,

Suchmaschinen basteln würde ich nur selbst, wenn es was ganz außergewöhnliches ist. Ansonsten nimm doch ein vorgefertigtes Skript. Ich finde die Planet Search ganz gut und es ist kostenlos.

 

[Erika]

Eine Suche auf meinen Seiten hab ich schon integriert. Darum geht es nicht.

Also ich hab bspw. eine Sammlung von Musikseiten - fremden also - und in diesen möchte ich suchen können, ohne google und co zu benutzen, und zwar allen gleichzeitig.

So: folge den links 'www.fremdseite.de ...' aus der txt-Datei und lese sie und folge deren links und suche nach dem wort 'irgendwas'.

Erika

 

[dms]

Zum Auslesen der Seiten würde ich Snoopy verwenden. Damit kannst Du Dein Script bequem als Browser tarnen, über Proxy's zugreifen und auch Post-Daten senden.

http://snoopy.sourceforge.net/

Der Rest sollte dann so ablaufen:
Volltextsuche kannst Du mit regulären Ausdrücken umsetzen, z.B. mit der Funktion preg_match()

Wenn Du auf der ausgelesenen Seite den Links folgen willst musst Du ebenfalls per regulärem Ausdruck alle Verweise in der Seite filtern. Die kannst Du dann wieder mit Snoopy anfordern.

Bei vielen Seiten wäre es aber sinnvoller das ganze in regelmässigen Abständen per Cronjob durchlaufen zu lassen und in einer DB oder als Textfiles zu speichern.

 

[Jakob]

Was spricht dagegen, die auswärtigen Verzeichnisse gleich mit der Suchmaschine mit durchsuchen zu lassen. fopen() usw. geht doch genauso.