Generador de robots.txt
Contenidos
Al principio pensé que era algún niño skript poniéndose creativo, ya sabes como un juego con el archivo robots.txt, que también se encuentra en la raíz de muchos sitios web. Así que me pareció lo suficientemente interesante como para tuitear sobre ello:
Nota: originalmente este artículo tenía tres enlaces que apuntaban al sitio web humans.txt, https://humanstxt.org/. Pero he tenido que eliminar los enlaces porque el sitio humans.txt está fuera de línea la mayor parte del tiempo. Para tu información.
Después de leer más sobre humans.txt, puedo ver que realmente se está poniendo de moda y se está convirtiendo en algo asociado con el archivo robots.txt. Ambos son archivos de texto sin formato ubicados en el directorio raíz, pero en lugar de indicar a los robots qué páginas rastrear (o no rastrear), humans.txt proporciona información sobre las personas y las técnicas que hay detrás del sitio. Es una idea interesante y potencialmente útil si la misma información no está ya disponible en una página de “Contacto” o “Acerca de”.
Las directrices oficiales de humanstxt.org le indican que también “añada el botón humansTXT a su sitio y enlácelo a su archivo humansTXT”, pero probablemente esté seguro enlazando a su archivo humans.txt como lo haría con el mapa del sitio. Y aun así, la información estará ahí para quienes la busquen.
¿Cómo ver el robot TXT de un sitio?
El archivo robots.txt debe estar ubicado en la raíz del host del sitio web al que se aplica. Por ejemplo, para controlar el rastreo de todas las URL bajo https://www.example.com/ , el archivo robots. txt debe estar ubicado en https://www.example.com/robots.txt .
¿Qué es el archivo Robot txt?
Un archivo robots.txt indica al rastreador de un motor de búsqueda las URL a las que puede acceder en su sitio. Su principal objetivo es evitar sobrecargar su sitio con peticiones. No pretende impedir que una página web aparezca en los resultados de búsqueda de Google.
Discordia humanos txt
A juzgar por la entrada eliminada de Wikipedia sobre humans.txt y los números más bien bajos en builtwith.org, diría que no es lo suficientemente común como para tenerlo en tu sitio. Por otro lado, algunos sitios realmente grandes lo utilizan, algunos te ofrecen un trabajo a través de él, algunas personas sólo lo utilizan para bromear.
Parece que humans.txt se utiliza sobre todo como una broma interna oculta, ya que no creo haber visto que se utilicen los logotipos oficiales. Hay un complemento útil para Chrome (y estoy seguro de que también para otros navegadores) que te avisa cuando un sitio en el que estás tiene un humans.txt.
Humanos.txt ejemplo
Porque es algo sencillo y rápido de crear. Porque no es intrusivo con el código. La mayoría de las veces, a los propietarios del sitio no les gusta que los autores lo firmen; alegan que hacerlo puede hacer que el sitio sea menos eficiente. Añadiendo un archivo txt, puedes demostrar tu autoría (no tu propiedad) de forma externa, rápida, fácil y accesible.
Quien quiera, siempre que lo desee. Puedes mencionar al desarrollador, al diseñador, al redactor, al webmaster, al SEO, SEM o SMO… Como ves, el número de personas que pueden participar en la creación de un sitio puede ser grande, por lo que la lista es casi interminable.
Robots txt disallow
Aunque todo esto es una práctica buena y normal, deja de lado un aspecto importante del desarrollo web: el elemento humano. ¿Qué pasaría si usted, como usuario del sitio, en lugar de un robot de búsqueda, llega a un sitio que le encanta y quiere saber más acerca de las personas que crearon el sitio? ¿Dónde puede encontrar más información sobre ese diseño creativo o sobre quién codificó un módulo impresionante del sitio?
A menudo, los propietarios de empresas no quieren que la información de una empresa de desarrollo aparezca en el pie de página de su sitio web o en la página “Acerca de”. Sin embargo, los desarrolladores merecen el derecho a dejar una pequeña firma no intrusiva que reivindique su trabajo.
La solución: una nueva idea llamada humans.txt. Con el eslogan “Somos personas, no máquinas”, transmiten claramente una verdad que a menudo se olvida. Como desarrolladores, somos individuos únicos y nuestra experiencia y conocimientos personales no son fácilmente reproducibles.