No, un robot. txt no es necesario para un sitio web. Si un bot llega a su sitio web y no tiene uno, simplemente rastreará su sitio web e indexará las páginas como lo haría normalmente. … el archivo txt solo es necesario si desea tener más control sobre lo que se rastrea.
¿Qué pasa si no tienes txt de robots?
robots. txt es completamente opcional. Si tiene uno, los rastreadores que cumplen con los estándares lo respetarán, si no tiene ninguno, todo lo que no está prohibido en los elementos HTML-META (Wikipedia) es rastreable. El sitio se indexará sin limitaciones.
¿Puedo borrar el texto de robots?
Necesitas eliminar ambas líneas de tus robots. archivo de texto El archivo robots se encuentra en el directorio raíz de su carpeta de alojamiento web, normalmente se puede encontrar en /public_html/ y debería poder editar o eliminar este archivo usando: FTP usando un cliente FTP como FileZilla o WinSCP.
¿Los robots txt son seguros?
Los robots. txt file no es en sí mismo una amenaza para la seguridad, y su uso correcto puede representar una buena práctica por razones no relacionadas con la seguridad. No debe asumir que todos los robots web respetarán las instrucciones del archivo.
¿Por qué los robots txt son malos?
Simplemente agregando una lista de URL destinadas a ser privadas para un archivo robots. txt es una de las peores formas de intentar mantener las URL ocultas y, en la mayoría de los casos, da como resultado exactamente lo contrario del resultado esperado.
