Les 20 ans du fichier Robots.txt

Apparu à l’époque où les bandes passantes étaient faibles, le fichier Robots.txt célèbre ses 20 ans d’existence.

Si le fichier Robots.txt fait partie d’un protocole aujourd’hui très utilisé dans internet, sa paternité est très floue. Sans en être certaine, la société britannique Nexor pourrait être son origine.

Concrètement, en 1994 lorsque les bandes passantes étaient faibles, le rôle du fichier Robots.txt était d’empêcher les crawlers des moteurs de recherche d’accéder à certaines parties des sites web inutiles en permettant aux webmasters de définir simplement, sous la forme d’un fichier texte, ce qui devait être indexé et ce qui ne devait pas l’être. Si l’idée était de faire de la protection, le but du fichier Robots.txt était surtout d’alléger la charge des serveurs HTML en lui épargnant certaines requêtes inutiles.

Rapidement adopté par les différents acteurs du web, le protocole du fichier Robots.txt fait désormais partie de pratiquement tous les sites web dignes de ce nom.

Histoire de célébrer dignement ce 20e anniversaire, Google a décidé de miser sur l’humour en glissant un easter egg sur sa homepage. Il suffit de saisir la page d’accueil américaine de Google et de la faire suivre de la mention /killer-robots.txt pour accéder un fichier texte formaté d’une manière bien particulière.

En effet, ce fichier contient des exclusions des crawlers pour les robots T-1000 et le T-800, les deux modèles de robots tueurs popularisés par les films Terminator. Concrètement, il est demandé é ces robots d’exclure de leur indexation tout ce qui touche à Larry Page et Sergey Brin, les fondateurs de Google.

Alors que Google a récemment racheté Boston Dynamics, cette allusion humoristique à la robotique vise certainement à dédramatiser certaines critiques à l’encontre de cette acquisition.

Robots.txt fête ses 20 ans
Robots.txt fête ses 20 ans

Votes
[Total : 0 votes en moyenne : 0]
PARTAGER
Article précédentEspace : deux exoplanètes étaient en réalité des « mirages »
Article suivant3,7 millions de Français ont testé la 4G durant le 1er trimestre

Une fille dans l’informatique était mal vue à l’époque de mes études. C’est pour cette raison que l’on m’a cantonné à des rôles secondaires lors des travaux de groupe, notamment celui de centralisateur des informations. Ce rôle central, au final crucial, m’a plu. C’est comme cela que je suis devenue chef de projet. Plus tard, cette attirance pour l’information m’a poussé à suivre des cours de journalisme.
Comme j’avais la propension de centraliser l’actualité technologique, un ami m’a dit un jour : «Emilie, tu peux le faire ». C’est comme cela que je me suis retrouvée embarquée dans l’aventure de linformatique.org. Vu mon boulot, ce sont surtout les nouvelles technologies qui m’intéressent le plus.

LAISSER UN COMMENTAIRE

Please enter your comment!
Please enter your name here