Generatore robots.txt

Crea un robots.txt con più blocchi user-agent, regole Allow/Disallow, opzionale Crawl-delay, Host e righe Sitemap. L’anteprima si aggiorna mentre digiti.

Blocchi User-agent

Generale

URL delle Sitemap (uno per riga) Host (opzionale; usato da alcuni crawler)

Note: Host è rispettato da alcuni crawler (es. Yandex). Crawl-delay non è usato da Google ma può esserlo da altri. I wildcard * e $ sono ampiamente supportati (non nello RFC principale).

Anteprima (robots.txt)

Tester URL

User-agent URL o percorso

Promemoria: robots.txt è pubblicamente accessibile ed è un avviso per i crawler corretti; non è un meccanismo di controllo degli accessi.

Commenti (0)

Condividi la tua opinione вЂ” per favore, sii cortese e resta in tema.

Non ci sono ancora commenti. Lascia un commento e condividi la tua opinione!

Accedi per commentare

Password

Hai dimenticato la password? Crea account

Asted Cloud