LUMI AI Factory en Finlande lance le service Dataset-as-a-Service pour optimiser l'accès aux données de développement de l'IA

fr.wedoany.com Rapport : LUMI AI Factory en Finlande a récemment lancé le service Dataset-as-a-Service (DaaS), visant à résoudre les problèmes de temps et de ressources liés au déplacement des données dans le traitement traditionnel. Ce service rend les données visibles là où se trouve la puissance de calcul, réduisant la distance entre les données et les résultats, et améliorant ainsi l'efficacité des expériences et de la recherche. Le Dataset-as-a-Service intègre les métadonnées, les droits d'accès et la localisation des données, permettant une utilisation immédiate des jeux de données sur le supercalculateur LUMI. Ceci est crucial pour le développement de l'IA, car la proximité entre les données et le calcul influence significativement les performances.

Le Dataset-as-a-Service offre aux utilisateurs une interface de catalogue de données. Les producteurs de données peuvent publier des jeux de données de manière contrôlée, tandis que les utilisateurs peuvent les découvrir sans recherche manuelle. Ce service simplifie l'accès aux jeux de données prêts pour l'IA, élimine les goulets d'étranglement lors de la réplication de grands ensembles de données, et fournit aux fournisseurs de données un chemin de publication standardisé, augmentant ainsi la visibilité et l'utilisation des données. Contrairement aux référentiels de données traditionnels, le Dataset-as-a-Service se concentre sur l'utilisation plutôt que sur la conservation à long terme ; il orchestre l'accès aux données, permettant aux utilisateurs d'utiliser les jeux de données sans les déplacer.

Le Dataset-as-a-Service est construit sur des composants existants, incluant l'entrepôt de métadonnées Fairdata-Metax et l'outil de recherche Fairdata-Etsin de CSC, ainsi que le stockage objet LUMI-O et le système d'autorisation REMS. Cette architecture modulaire permet une rentabilité et une extensibilité. Actuellement, une version pré-production du service est disponible. Le catalogue de données contient dix collections de jeux de données, comme l'index de recherche web ouvert, représentant plus de 1 000 jeux de données, avec une capacité totale dépassant un pétaoctet, supportant le développement de moteurs de recherche et l'entraînement de grands modèles de langage. À mesure que le Dataset-as-a-Service évoluera vers une pleine maturité de production, il accélérera le développement de l'IA et favorisera la disponibilité immédiate des données là où la valeur est créée.