Avec XtreemFS, l'Europe a son système de fichiers en ligne

D'une part, les mêmes données sont dupliquées entre plusieurs serveurs pour rester accessibles si l'un d'eux se montre défaillant. D'autre part, les utilisateurs récupèrent des bouts de fichiers depuis plusieurs serveurs à la fois, afin de réduire au minimum les temps de lecture. Le cumul des capacités est aussi possible. Mais, bien que l'opération soit théoriquement illimitée, XtreemFS ne sait pas encore indexer plus de quelques dizaines de millions de fichiers par volume virtuel. La solution est typiquement destinée à des filiales, des partenaires commerciaux, voire de simples citoyens qui ont besoin de travailler sur des documents communs sans contrainte géographique.

XtreemFS procède d'une volonté de l'Europe de doter ses entreprises d'une infrastructure en grille, une architecture informatique dans laquelle plusieurs unités de calcul ou de stockage reliées par Internet se comportent comme une seule, afin de répartir les risques et les coûts sur différents sites. Depuis 2006, la Commission européenne a ainsi investi 78 millions d'euros dans ce type de projets. Développé sous licence GPLv2 par plusieurs centres de recherche européens, dont ceux de la Caisse des dépôts et consignations, de l'Inria, d'EDF ou encore d'EADS en France, XtreemFS est un projet sous-jacent de XtreemOS, un Linux en grille encore en cours de développement.

Les universités scientifiques américaines planchent de leur côté sur un système de fichiers similaire, Parallel Virtual File System (PVFS), financé notamment par la Nasa et le département de l'énergie. Egalement open source, il est néanmoins incompatible avec XtreemFS. Le système de fichiers le plus mature en la matière est la plate-forme open source Lustre, de Sun Microsystems. Couramment utilisé dans le domaine des supercalculateurs, Lustre n'est cependant pas adapté à un réseau lent, comme Internet.

En l'état, XtreemFS est plutôt une couche technique opérationnelle qu'une solution finalisée. Il n'y a aucune interface graphique pour le déployer. Il s'installe sur des serveurs Linux en téléchargeant le paquet compatible avec la distribution cible. Puis il convient d'éditer à la main des fichiers de configuration, selon que le serveur servira de point d'entrée vers le volume partagé, d'unité de stockage ou d'index des ressources. Les droits d'accès sont, sobrement, ceux autorisés sous Linux. Du côté du client, un exécutable est disponible pour Windows et, bientôt, Mac OS X. Il se contente d'authentifier l'utilisateur et de faire apparaître l'icône du volume virtuel sur son bureau. Les transferts de fichiers peuvent être chiffrés en SSL moyennant la mise en place d'un certificat X.509 traditionnel.

XtreemFS est appelé à évoluer rapidement. Au début de l'année prochaine, il saura automatiquement diriger un utilisateur vers les serveurs de stockage les plus proches et effectuer des duplications incrémentales pour réduire la latence des transferts.

Les développeurs de XTreemFS ont publié sur YouTube une vidéo qui démontre les capacités de haute disponibilité de leur solution.