(Fr) Projet Open Source pour un ETL dédié à Aras Innovator

Posted on January 25, 2011

NewOpenSourceProjectETLCes temps-ci sont chargés et ne me laissent que peu d’opportunités pour écrire des articles. Cependant les projets et idées ne manquent pas et je lance d’ailleurs aujourd’hui un nouveau projet de développement Open Source autour d’Aras Innovator et avec l’utilisation de la solution Open Source d’ETL (Extract-Transform-Load) : Talend. Ce projet a pour sources les nombreuses requêtes de personnes qui approchent la solution PLM Aras Innovator et qui voudraient rapidement pouvoir migrer leurs données. Dans le cadre d’Aras Innovator, un outil de chargement de données à partir d’Excel existe mais son usage est reservé aux partenaires et souscripteurs. Excel n’étant pas la seule source nous proposons de développer avec différentes ressources et en se basant sur talend, une plateforme de migration depuis n’importe quelle autre solution PLM, depuis diverses bases de données, fichiers Excel, fichiers ACCESS ou fichiers plats classiques (type csv).

InnovatorETL

Talend

J’ai pu découvrir talend récemment à travers deux projets de migration de solution PLM, et, il est vrai que cet outil est impressionnant pas sa simplicité et ses performances. Je n’avais pas mis les mains dans d’autres solutions ETL avant et je n’ai donc pas de réel point de comparaison mais cet outil possède un grand nombre de modules opérationnels qui permettent de manipuler des données de différents formats pour les transiter d’un système à un autre.

L’écran ci-dessous présente l’espace de travail, basé sur un environnement Eclipse et qui contient toute une interface graphique qui permet de dessiner de manière fonctionnelle les flux d’information manipulés.

TalendMain_620

L’écran suivant est la vue interne de l’objet Tmap (l’objet Mapping de la catégorie Transformation). Il permet simplement de réaliser des jointures et diverses opérations pour permettre n’importe quel mapping.

TalendTmap_620

Différents objets contiennent déjà un grand nombre de fonctionnalités comme:

  • la génération d’XML
  • la lecture de flux RSS
  • La gestion d’une invite de commande
  • La connection directe avec diverses bases de données (PostGre, SQLite, Sybase…)

Talend représente donc une bonne opportunité pour permettre de transférer des données d’un système existant vers Aras Innovator pour favoriser le lancement de projets pilotes puis de systèmes de production en un temps minimum.

Roadmap Initiale

la Roadmap initiale est assez simple et limitée pour rapidement présenter une version 0.1 réalisée par un nombre de contributeurs restreint et montrer la puissance de l’outil réalisé. Ainsi le premier objectif est de proposer cette version 0.1 à travers les étapes suivantes:

  • Spécification 0.1 pour le 31 Janvier 2011
  • Version Beta 0.1 pour le 15 Février 2011
  • Version Finale 0.1 pour le 21 Février 2011

Cette première version sera basique et aura pour but de permettre le transfert de données depuis des feuilles Excel vers des tables d’objets ciblés dans Aras.

Participer

Encore un article du blog dans lequel je risque d’avoir perdu une majorité de lecteurs qui auront analysé le sujet comme trop technique à leurs yeux. Cependant, je pense que tout le monde peut participer à ce projet. Il y a plusieurs niveaux de participation à travers lesquels vous enrichirez ce projet:

Spécification

Si vous avez déjà été impliqué dans des projets de migration de données, ou que vous utilisez actuellement une solution qui serait susceptible d’être migrée vers Aras Innovator, vous avez la possibilité d’enrichir la spécification du projet en apportant vos besoins.

Revues/Commentaires

Les revues et les commentaires sont à mes yeux parmi les activités les plus essentielles à un développement collaboratif. Les concepteurs et développeurs ont besoin que les personnes qui utilisent leurs solutions apportent commentaires et critiques, etc… Vous pouvez à travers le portail Codeplex déclarer des problèmes ou lancer des discussions.

Développement

Le projet comprendra techniquement des sections bien distinctes qui demandent des compétences spécifiques. Le coeur du développement sera bien sûr réalisé sur talend et nécessitera une bonne maîtrise des concepts de modèles de données (l’UML et surtout l’XML seront grandement utilisés). Il y aura sûrement d’autres éléments développés pour apporter plus d’outils d’interface pour faciliter l’utilisation du produit. Le langage et l’environnement de développement pour ces éléments n’est pas encore défini (talend écrit des programmes en java et produit des exécutables .bat ou .sh).

Tests

Enfin, vous avez pu voir qu’il y a pour la version 1.0 une période entre la version beta et la version finale qui sera composée de Test. Nous mettrons les éléments nécessaires en place pour en faciliter l’exécution et espérons bénéficier de ressources pour cette partie afin de faciliter la validation des outils développés.

Rejoignez le projet Open Source sur CodePlex

Je vous invite donc tous à rejoindre le projet, que ce soit à un niveau technique ou pour des discussions et échanges sur le fonctionnement et le développement de l’outil. Rendez-vous sur la page CodePlex qui vient d’y être dédiée: http://innovatoretl.codeplex.com/

Pour rejoindre l’équipe, il vous faudra vous enregistrer sur codeplex et rejoindre le projet sur ce lien:  http://innovatoretl.codeplex.com/team/view

Codeplex_frontpage

Yoann Maingon

Yoann Maingon

Yoann Maingon is an Entrepreneur and a PLM enthousiast. He is our main blogger at Minerva as he has been publishing articles about General PLM concepts and Aras Innovator for more than three years.

More Posts

Download Aras Innovator