robots.txt

robots.txt: So steuerst du Crawler – inkl. GPTBot & Google-Extended

⚡️ TL;DR Crawling ≠ Indexierung: robots.txt steuert, ob ein Crawler eine URL besucht – nicht, ob sie im Index landet. Eine per robots.txt gesperrte URL kann trotzdem indexiert werden und in Suchergebnissen erscheinen – oft ohne…