Instrukce pro roboty - robots.txt
Balíček Instrukce pro roboty slouží ke správě souboru robots.txt, který určuje, jak mohou vyhledávací roboti (např. Google nebo Seznam) procházet obsah webu.
Pomocí tohoto nastavení můžete definovat, které části webu mají roboti indexovat a které naopak ignorovat.
Typické využití:
- omezení přístupu robotů do administrativních nebo neveřejných částí webu,
- zabránění indexaci technických nebo duplicitních stránek,
- nastavení pravidel pro procházení jednotlivých sekcí webu.
Správná konfigurace souboru robots.txt pomáhá vyhledávačům lépe pochopit strukturu webu a efektivněji indexovat jeho obsah.
