Twitter a mis un noindex pour ne plus indexer les tweets, twitter bloque le crawl

Cette info a fait le tour du web et pourtant elle est fausse. Twitter continue d'indexer les tweet, et aucun rapport avec le partenariat passé avec google.

Tweets indexés dans google

Pour faire court :

Bé alors google, t'indexe les tweets alors qu'il y a un robots.txt qui te bloque ?

En fait twitter n'a bloqué dans son robots que les url qui sont faite sur le www

http://www.twitter.com/robots.txt

User-agent: *
Disallow: /

Par contre sur http://twitter.com/robots.txt il autorise les moteurs de recherche à le crawler.

Si twitter aurait voulu bloquer les crawler pour qu'ils n'indexent pas les tweet il aurait fait des noindex  dans le .htaccess ou dans les entête des pages

Pourquoi google ne lis pas le fichier robots.txt ?

L'autre question à se poser, et est-ce que c'est une erreur de noob ? J'ai la conviction qu'ils ont même pas besoin de déclarer le robots.txt et qu'il déclarent juste la préférence au niveau de google console (google webmaster tools) en spécifiant l'url préféré comme étant sans www et google doit pas être assez naze pour ne pas suivre les indication du .htaccess qui route bien les url www vers la racine.

Pour comparer, on peut regarder le robots.txt de leur raccourciceur d'url t.com je vais même mettre l'url du https

https://www.t.co/robots.txt

il est vide.

Conclusion

Google n'indexe plus les tweets, je suis un influenceur et je me marre

ok le 2ème sous-titre n'a aucun rapport avec la choucroute

NB : l'article sur les influenceurs c'était l'article que je voulais écrire aujourd'hui, parcque j'entends des belles conneries aussi. test test test. il faut être influent, il faut des tweets engagés, il faut tant de caractères.