MySpace place sa technologie de traitement distribué en open source

Jusqu'à présent utilisée en interne pour gérer une des fonctions phare du site, l'implémentation MapReduce est aujourd’hui disponible pour tous gratuitement... sous Windows.

Jonathan Charton

01net.

le 23/09/09 à 12h03

1 réaction

MySpace Qizmt

La technologie MapReduce sous Windows.

agrandir la photo

Avec ses 76 millions de visiteurs uniques, MySpace reste l'un des sites de réseautage social les plus visités aux Etats-Unis et dans le monde et doit quotidiennement faire face à un afflux de données massif. C'est pourquoi son équipe de développement s'est appuyée sur le modèle de programmation MapReduce. Un modèle dont l'inventeur n'est autre que Google et qui est aujourd'hui de plus en plus utilisé pour traiter de grandes quantités de données. Dans son principe, le logiciel décompose le traitement en de multiples tâches, c'est l'étape Map, durant laquelle ces tâches sont exécutées sur une multitude de serveurs. Les résultats sont ensuite consolidés : c'est la phase Reduce.

Les développeurs de MySpace se sont appuyés sur ce principe pour coder la fonction « Les gens que vous connaissez peut-être ». Mike Jones, le DSI de MySpace, explique sur son blog : « Les environnements MapReduce sont utilisés par des sites traitant de grandes quantités de données, comme Amazon ou Google. Sur notre site, des millions d'utilisateurs consomment et produisent de la vidéo et de la musique, ce qui génère constamment de nouveaux flux de données. Qizmt peut traiter à la fois les données générées par nos utilisateurs (les données actives) et celles gérées par notre système d'analyse (les données passives) pour les transformer en recommandations intelligibles virtuellement et en temps réel. Ceci permettra de créer de nouvelles expériences autour de la musique, des vidéos, des amis, et bien plus... » Cet outil est aujourd'hui disponible gratuitement en open source sous le nom de code Qizmt.

Une technologie désormais disponible sous Windows

Avec cet outil, l'équipe de data mining de MySpace est la première du genre à porter MapReduce sur des plates-formes Windows. Qizmt a en effet été développé en C# et .NET, le modèle MapReduce n'étant utilisé, en grande majorité, que sur des serveurs Linux.

Qizmt est compatible avec le Framework .NET 3.5, Windows Server 2003 et 2008 ainsi que Windows Vista. Il est téléchargeable sur le site officiel du projet. Rappelons que l'équipe de développement de MySpace n'en est pas à son coup d'essai. Récemment, elle a en effet placé en open source son outil de mesure de la performance, MSFast.