Kontrola robots.txt

Pokud máte zájem o kontrolu robots.txt souboru, můžete si ji nastavit v Nastavení projektu. Collabim ji pro vás bude každý týden kontrolovat, zda se něco nezměnilo.

 

Vidíte zde, kdy proběhla poslední kontrola a zda je soubor v pořádku.

Pro ukončení kontrol složky robots.txt stačí do řádku vložit prázdnou adresu.

K čemu slouží Robots.txt?