Twitter délaisse MySQL pour une base de données non SQL

Avec Cassandra, le site de réseautage souhaite gagner une disponibilité de 100 %.

Jonathan Charton

01net.

le 25/02/10 à 17h22

1 réaction

C'est une interview d'un ingénieur de Twitter, Ryan King, sur le blog MyNoSQL qui a confirmé les rumeurs. Le site de réseautage social entre dans une phase de migration de sa base de données MySQL vers une base de données non SQL, Cassandra. Celle-ci a récemment été élevée au niveau de projet prioritaire par la fondation Apache. Le but de Twitter est de mieux gérer une énorme quantité de données, tout en réduisant les temps d'indisponibilité de la base. Une indisponibilité évaluée par la société d'audience Pingdom à 23 heures et 45 minutes en 2009.

Twitter utilisait jusqu'alors un cluster de serveurs MySQL avec le système de cache memcache. « Mais celui-ci finissait par coûter horriblement cher en main-d'œuvre, confie Ryan King sur MynoSQL. Nous avions besoin d'un système qui puisse rapidement monter en charge, tout en restant hautement disponible et sans nécessiter autant d'interventions humaines », ajoutait-il.

100 To de données sur 150 machines

Plusieurs bases de données non SQL ont été mises à l'épreuve avant que Twitter ne fasse son choix. Rappelons que l'intérêt de ce type de base est de gérer de grandes quantités de données distribuées, à la manière d'un cluster de serveurs. Twitter a étudié les solutions HBase, Voldemort, MongoDB, MemcacheDB, Redis, Hypertable et bien sur Cassandra, dont le plus grand cluster de production gère 100 To de données sur 150 machines. Le nombre de bases de données non SQL est encore plus important que cela. Toutes présentent de grandes intérêts pour des sites à fort trafic mais elles ne disposent pas de système de restauration, encore moins de migration.

Ryan King explique qu'il y a trois raisons au choix des équipes de Twitter. Cassandra n'a pas de « point individuel de défaillance » (ou Spof). Ensuite, elle monte rapidement en charge en écriture. Enfin, la communauté open source qui gravite autour de cette base est riche et productive. Ryan King explique également comment il compte faire migrer les données d'une base vers l'autre. Tout se fera très progressivement et au cas par cas, afin de ne pas perdre de données. Actuellement, c'est la plus grande table de Twitter – celle des statuts – qui est déplacée vers Cassandra.