Comment feriez vous pour transférer 1 600 000 comptes utilisateurs d’un système vers un autre ? Alors que vous n’avez pas de système d’ingestion en masse mais seulement des APIs REST qui prennent un seul compte à la fois. Comment rajouter une nouvelle donnée sur plusieurs millions de documents pour une évolution fonctionnelle ? Chez Groupe La Centrale il nous arrive de devoir faire des scripts de migration, d’import ou de rattrapage de données. Que ce soit parce que l’on souhaite transférer des données d’un système à un autre, parce que l’on doit corriger une donnée quelque part ou parce que l’on a changé un format et que l’on souhaite rendre d’anciens documents compatibles afin de simplifier le code.
Tous ces besoins ont en commun
- ils n’ont pas forcément vocation à être utilisé très souvent (peut-être seulement une fois)
- ils peuvent être amenés à devoir manipuler une quantité relativement importante de données
- ils peuvent causer une charge importante sur les systèmes de production au moment de leur(s) exécution(s)
- on veut avoir une idée du temps d’exécution et être capable de l’optimiser (sans écraser la prod)
Parmi les solutions qui existent, j’aimerais vous en présenter l’une d’entre elles que j’aime beaucoup. Il s’agit d’Akka Streams.
Groupe La Centrale Tech - AWS et Agilité 