(Eng) InnovatorETL Project's First Beta Version !

Posted on March 7, 2011

InnovatorETLI recently announced on this blog the start of a project called InnovatorETL (in french on January 25th and in english on January 28th). The aim of this project is to provide tools for migration to Aras Innovator and from diverse source like excel files, Access database, other PLM datastore… So far the project is running pretty well. The version 0.1 specification was delivered right on time as planned. The first beta release is 15 days late because of an issue we add on the SOAP sending module from Talend. Collaboration made possible to fix this issue as Anthony Ponceot provided the solution to replace the SOAP module with a tJava module in Talend to fix the issue.

In order to show you the result of this first Beta Version and how it could help you to migrate some data from your existing system to Aras Innovator in order to test this PLM solution, here is a short video that shows how to use it.

Feel free to join the project on http://innovatoretl.codeplex.com to either participate on Specifications, discussions, test, development… This is fully Open Source.

Yoann Maingon

Yoann Maingon

Yoann Maingon is an Entrepreneur and a PLM enthousiast. He is our main blogger at Minerva as he has been publishing articles about General PLM concepts and Aras Innovator for more than three years.

More Posts

(Fr) L'intérêt de l'unicité Type-Nom-Révision pour une migration

Posted on January 31, 2011

UnicitéTNRJ’ai eu la chance récemment de travailler sur quelques projets de migration qui me permettent d’interagir avec d’autres outils, d’autres solutions PLM pour lesquelles je peux analyser les parallèles avec la solution Aras Innovator et dans le cas présent enrichir quelques règles de gestion d’Aras Innovator à partir de principes de ces autres solutions. Dans ces migrations nous utilisions principalement l’outil Talend Open Studio dont on a parlé récemment à travers le lancement du projet Open Source “InnovatorETL”. Cet outil de migration est aussi appelé ETL pour Extract, Transform, Load. Il va donc permettre d’aller récupérer les données d’un système à travers des fonctions de requêtes de lecture, transformer les formats des données pour les adapter au nouveau système mis en place et enfin les injecter dans la nouvelle solution.

Assurer le découpage E/T/L

A travers ces expériences il apparaît qu’il est primordial de séparer les 3 séquences principales de la migration. Le découpage E/T/L a du sens et il est important de permettre le déroulement de chacune de ces étapes de manière séparée dans le temps. Pour ce faire il est important d’avoir chaque étape sous forme de boite noire avec des interfaces clairement définies.

T-N-R, Une identification indépendante du système

Dans les solutions sur lesquelles j’ai pu travailler lors de ces migrations, il y a deux moyens d’identifier une instance d’objet: l’id de l’objet ou l’ensemble des attributs Type, Nom, Révision. Les solutions respectaient le principe d’un ID équivalent à un trio Type, Nom, Révision. Il y a eu plusieurs discussions sur les différences de performance qu’il pourrait y avoir entre l’utilisation de chaque option lors du chargement des données (Load). Le problème est que la question de performance ne doit pas avoir d’influence sur cette sélection car il y a une différence notable entre ces possibilités: l’ID est propre à l’instance de la solution PLM tandis que l’association Type, Nom, Révision désigne l’objet indépendamment du logiciel dans lequel il est stocké. En quoi cela a son importance? Un exemple simple vient rapidement à l’esprit dans l’enchaînement Transform puis Load. Si l’option d’utiliser l’ID est prise, il va donc falloir charger des articles (Load) avant d’établir la liste des relations à créer à partir des ID créés (Transform) pour charger ensuite ces relations (Load). Si on passe par le TNR et non par l’ID on évite un aller-retour entre Transform et Load qui permet de respecter le besoin d’une séparation claire de ces étapes majeures de la migration.

Le parallèle avec Aras Innovator

Une fois de plus je ramène le tout à Aras Innovator pour en améliorer la gestion. En effet, le trio T-N-R dont je viens de parler n’existe pas en tant que tel dans Aras Innovator (l’unicité d’instance d’objet n’existe de base qu’à travers l’ID). Cependant, il est tout à fait possible de l’établir en assurant l’unicité de cet ensemble. Le nom du type d’objet est déjà unique, il faut donc s’assurer que le nom de l’objet et que la version soient uniques pour un type donné. En appliquant cette règle de gestion, on permet des migrations correctes depuis et vers Aras Innovator. C’est pour sûr une stratégie qui sera conseillée dans le cadre du projet Open Source codeplex Innovator ETL.

N’hésitez pas à partager vos expériences de migration. Etape souvent mal évaluée lors de l’acquisition d’une solution, et qui peut s’avérer assez douloureuse.

Yoann Maingon

Yoann Maingon

Yoann Maingon is an Entrepreneur and a PLM enthousiast. He is our main blogger at Minerva as he has been publishing articles about General PLM concepts and Aras Innovator for more than three years.

More Posts

(Eng) InnovatorETL – Open Source Project already running !

Posted on January 28, 2011

NewOpenSourceProjectETLFor the none french readers who took the time to use the Google translation tool to read the article about the new Open Source Project that we launched at Prodeos, here is a quick and fresh update in english about some progress in this project. For everybody who didn’t get the chance to read the presentation article here is a short presentation of this newly created project on CodePlex.

The Innovator ETL is an OpenSource project hosted on CodePlex and launched by Prodeos to provide a set of tools to facilitate the data migration from many systems and software to Aras Innovator PLM Solution. Aras Innovator already has a batch process tool for data migration but it is subscriber’s only. Nevertheless, it is quite easy for a developper to develop a specific program to export structure data. But as not everyone is a developper and some companies may want to have an operationnal trial with some data before investing in more consulting or support, we decided to launch this Open Source project to provide a data-migration tool for Aras Innovator enhanced by every user’s input (could be code, but mainly reviews and issue identification.)

Global Process

InnovatorETL

Recent Progress

Yesterday I made this tweet to show a great news:

tweet_27janv_talend

Being able to connect directly to Aras with HTTP/SOAP request was a great condition to accelerate de development. It wasn’t an obligatory element as we could have export xml files which would have been sent to Aras with another software layer developed with Visual Studio for example. But testing would have take much more time. So the good news is that directly from Talend we can communicate with the whole Aras Innovator data-model.

Future Steps

As presented in the home page of the project in the paragraph “Project Roadmap” these are the first few stepstones in the planning:

January 23rd to February 21st : Version 0.1 : Export Data from Excel Files to Aras Innovator Objects

  • January 31st 2011 : First Specification for Version 0.1
  • February 15st 2011 : First Beta Version for Version 0.1
  • February 21st 2011 : First Release Version for Version 0.1

February 23rd to April 15th : Version 0.2 : Export a Class/Object with data from Excel Files to Aras Innovator Objects

  • February 31st 2011 : First Specification for Version 0.2
  • February 15th 2011 : First Beta Version for Version 0.2
  • February 15th 2011 : First Release Version for Version 0.2

Join the Codeplex Project

As mentionned in our french article, feel free to register on codeplex.com and join the project to help by adding requirements to the spec, giving reviews, participating in discussions or for some of you participate in programming. Click here to Join the InnovatorETL Project.

Codeplex_frontpage

Yoann Maingon


 

Yoann Maingon

Yoann Maingon is an Entrepreneur and a PLM enthousiast. He is our main blogger at Minerva as he has been publishing articles about General PLM concepts and Aras Innovator for more than three years.

More Posts

(Fr) Projet Open Source pour un ETL dédié à Aras Innovator

Posted on January 25, 2011

NewOpenSourceProjectETLCes temps-ci sont chargés et ne me laissent que peu d’opportunités pour écrire des articles. Cependant les projets et idées ne manquent pas et je lance d’ailleurs aujourd’hui un nouveau projet de développement Open Source autour d’Aras Innovator et avec l’utilisation de la solution Open Source d’ETL (Extract-Transform-Load) : Talend. Ce projet a pour sources les nombreuses requêtes de personnes qui approchent la solution PLM Aras Innovator et qui voudraient rapidement pouvoir migrer leurs données. Dans le cadre d’Aras Innovator, un outil de chargement de données à partir d’Excel existe mais son usage est reservé aux partenaires et souscripteurs. Excel n’étant pas la seule source nous proposons de développer avec différentes ressources et en se basant sur talend, une plateforme de migration depuis n’importe quelle autre solution PLM, depuis diverses bases de données, fichiers Excel, fichiers ACCESS ou fichiers plats classiques (type csv).

InnovatorETL

Talend

J’ai pu découvrir talend récemment à travers deux projets de migration de solution PLM, et, il est vrai que cet outil est impressionnant pas sa simplicité et ses performances. Je n’avais pas mis les mains dans d’autres solutions ETL avant et je n’ai donc pas de réel point de comparaison mais cet outil possède un grand nombre de modules opérationnels qui permettent de manipuler des données de différents formats pour les transiter d’un système à un autre.

L’écran ci-dessous présente l’espace de travail, basé sur un environnement Eclipse et qui contient toute une interface graphique qui permet de dessiner de manière fonctionnelle les flux d’information manipulés.

TalendMain_620

L’écran suivant est la vue interne de l’objet Tmap (l’objet Mapping de la catégorie Transformation). Il permet simplement de réaliser des jointures et diverses opérations pour permettre n’importe quel mapping.

TalendTmap_620

Différents objets contiennent déjà un grand nombre de fonctionnalités comme:

  • la génération d’XML
  • la lecture de flux RSS
  • La gestion d’une invite de commande
  • La connection directe avec diverses bases de données (PostGre, SQLite, Sybase…)

Talend représente donc une bonne opportunité pour permettre de transférer des données d’un système existant vers Aras Innovator pour favoriser le lancement de projets pilotes puis de systèmes de production en un temps minimum.

Roadmap Initiale

la Roadmap initiale est assez simple et limitée pour rapidement présenter une version 0.1 réalisée par un nombre de contributeurs restreint et montrer la puissance de l’outil réalisé. Ainsi le premier objectif est de proposer cette version 0.1 à travers les étapes suivantes:

  • Spécification 0.1 pour le 31 Janvier 2011
  • Version Beta 0.1 pour le 15 Février 2011
  • Version Finale 0.1 pour le 21 Février 2011

Cette première version sera basique et aura pour but de permettre le transfert de données depuis des feuilles Excel vers des tables d’objets ciblés dans Aras.

Participer

Encore un article du blog dans lequel je risque d’avoir perdu une majorité de lecteurs qui auront analysé le sujet comme trop technique à leurs yeux. Cependant, je pense que tout le monde peut participer à ce projet. Il y a plusieurs niveaux de participation à travers lesquels vous enrichirez ce projet:

Spécification

Si vous avez déjà été impliqué dans des projets de migration de données, ou que vous utilisez actuellement une solution qui serait susceptible d’être migrée vers Aras Innovator, vous avez la possibilité d’enrichir la spécification du projet en apportant vos besoins.

Revues/Commentaires

Les revues et les commentaires sont à mes yeux parmi les activités les plus essentielles à un développement collaboratif. Les concepteurs et développeurs ont besoin que les personnes qui utilisent leurs solutions apportent commentaires et critiques, etc… Vous pouvez à travers le portail Codeplex déclarer des problèmes ou lancer des discussions.

Développement

Le projet comprendra techniquement des sections bien distinctes qui demandent des compétences spécifiques. Le coeur du développement sera bien sûr réalisé sur talend et nécessitera une bonne maîtrise des concepts de modèles de données (l’UML et surtout l’XML seront grandement utilisés). Il y aura sûrement d’autres éléments développés pour apporter plus d’outils d’interface pour faciliter l’utilisation du produit. Le langage et l’environnement de développement pour ces éléments n’est pas encore défini (talend écrit des programmes en java et produit des exécutables .bat ou .sh).

Tests

Enfin, vous avez pu voir qu’il y a pour la version 1.0 une période entre la version beta et la version finale qui sera composée de Test. Nous mettrons les éléments nécessaires en place pour en faciliter l’exécution et espérons bénéficier de ressources pour cette partie afin de faciliter la validation des outils développés.

Rejoignez le projet Open Source sur CodePlex

Je vous invite donc tous à rejoindre le projet, que ce soit à un niveau technique ou pour des discussions et échanges sur le fonctionnement et le développement de l’outil. Rendez-vous sur la page CodePlex qui vient d’y être dédiée: http://innovatoretl.codeplex.com/

Pour rejoindre l’équipe, il vous faudra vous enregistrer sur codeplex et rejoindre le projet sur ce lien:  http://innovatoretl.codeplex.com/team/view

Codeplex_frontpage

Yoann Maingon

Yoann Maingon

Yoann Maingon is an Entrepreneur and a PLM enthousiast. He is our main blogger at Minerva as he has been publishing articles about General PLM concepts and Aras Innovator for more than three years.

More Posts

Download Aras Innovator