Si está administrando un entorno similar a una producción y desea evitar que los robots indiquen el tráfico, es habitual agregar un archivo robots.txt en la raíz de su sitio web para no permitirlo todo . En lugar de crear un archivo de texto plano de dos líneas, puede hacer esto solo con nginx:
location = /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: *\nDisallow: /\n";
}Agregue esto a su administración de configuración según lo determine el entorno, o agréguelo a mano, y no se preocupe más si Google podría comenzar a transmitir su sitio de desarrollo al mundo.
