Talend s'attaque aux gros volumes de fichiers

Vincent Berdot

01 Informatique

le 20/07/2009 à 15h45

envoyer
par mail

imprimer
l'article

Les données oui, les fichiers moins…Talend, spécialiste open source de l'intégration, sait depuis longtemps transformer de gros volumes d'informations - de l'ordre du téraoctet - stockées en base. Mais en matière de fichiers - pour des opérations de tri, de fusion ou d'agrégation de lignes -, l'éditeur restait limité à quelques gigaoctets. Une lacune qu'il comble aujourd'hui avec le module MPX (Massive Parallel Extension), capable de trier un million de lignes en seulement une seconde. Un tel ratio peut s'avérer utile pour “ nettoyer ” les tickets d'appels des opérateurs par exemple.

“ Jusque-là, c'était la machine virtuelle de notre architecture Java qui restreignait les performances. Elle n'acceptait que 4 Go de RAM, et n'exploitait donc pas totalement les infrastructures physiques des serveurs ”, détaille Fabrice Bonan cofondateur et directeur général de Talend. Pour résoudre ce problème, l'éditeur a choisi de court-circuiter sa machine virtuelle Java en confiant les traitements à un module externe.

Une version pour chaque OS et matériel

Développé en C et en OCaml, ce binaire couvre une dizaine d'actions liées à la transformation de fichiers (contre une quinzaine dans la version en Java). “ Avec ce nouveau binaire, nous exploitons pleinement les 64 Go de mémoire vive des machines. Mais nous ne bénéficions plus de la portabilité de Java. Nous proposons donc une version pour chaque système d'exploitation et matériel ”, poursuit-il. A noter que le nouveau composant open source est payant. Il a nécessité trois années/homme de développement.