Robots.txt

Eine Datei im Stammverzeichnis (root) einer Website. Die Suchroboter finden darin eine Anleitung, welche Seiten nicht indexiert werden sollen oder welchen Links nicht gefolgt werden soll. Die Angaben sind nicht verbindlich, aber die großen Suchmaschinen halten sich in der Regel daran.