Lexikon

Crawler

Crawler sind Programme, die zwecks Automatisierung von wiederkehrenden Aktionen programmiert wurden. So durchsucht ein Webcrawler im Internet alle Dokumente nach vorgegebenen Inhalten um diese zu indexieren. Positive Beispiele für Webcrawler sind die von Suchmaschinen: Diese durchsuchen Websites nach (neuen) Inhalten um sie bei den Suchergebnissen schnell und nach Relevanz sortiert auszugeben. Ohne Crawler bzw. Indexierung wäre die Ausgabe einer Suchanfrage unmöglich, da theoretisch und vereinfacht ausgedrückt das ganze Internet im Moment der Anfrage durchsucht werden müsste.

Ein negatives Beispiel sind Webcrawler die das Internet nach E-Mailadressen durchsuchen um diese für Spamzwecke zu verwenden oder zu verkaufen. Daher sollte man E-Mailadressen nicht als auslesbaren Text mit Link auf einer Website platzieren. Alternativ kann man serverseitige Onlineformulare nutzen, bei der die zu empfangende E-Mailadresse nicht im Quellcode einsehbar ist. Eine weitere Möglichkeit ist die Verschlüsselung von E-Mailadressen mittels Skriptsprachen wie PHP.