fr.wedoany.com Rapport : Burke, Inc. a publié une nouvelle étude sur la fiabilité des données synthétiques dans la prise de décision commerciale et a lancé le cadre FAR pour évaluer la qualité des données synthétiques, une méthode qui mesure selon trois dimensions : la fidélité, l'authenticité et la résolution.
Avec la popularité croissante des options de données synthétiques, le monde académique et l'industrie commencent à s'interroger sur leur capacité à guider de manière fiable les décisions dans le monde réel. L'étude de Burke compare plusieurs méthodes de synthèse, teste si les panels synthétiques basés sur les grands modèles de langage (LLM) peuvent remplacer les répondants humains, compare les performances des modèles de données générées avec celles des panels synthétiques, et examine l'importance de la qualité des données humaines sous-jacentes dans les scénarios de données synthétiques.
Les résultats de l'étude montrent que les panels synthétiques basés sur les LLM peuvent avoir une valeur dans les phases d'exploration précoce, mais ne sont pas fiables au niveau décisionnel reposant sur des informations quantitatives : au niveau de précision de 80 % couramment cité, les données synthétiques basées sur les LLM aboutissent à des conclusions erronées dans environ 60 % des scénarios commerciaux testés. En revanche, les méthodes utilisant des données humaines validées au niveau des répondants (appelées modèles de données générées) montrent des performances nettement supérieures, révélant un potentiel plus prometteur pour les applications d'aide à la décision.
Le cœur de cette étude est le cadre FAR de Burke, qui évalue la qualité des données synthétiques selon trois dimensions : la fidélité, c'est-à-dire si les données synthétiques sont cohérentes avec la source de vérité sous-jacente ; l'authenticité, c'est-à-dire si les réponses synthétiques reflètent une variabilité réelle, plutôt qu'une simple copie des données existantes ; et la résolution, c'est-à-dire si les relations entre les variables, les segments de marché et les conclusions commerciales sont préservées.
L'étude a également identifié un seuil de fiabilité décisionnelle en dessous duquel les méthodes synthétiques sont plus susceptibles de préserver les conclusions de recherche, fournissant ainsi un signal important aux organisations pour distinguer les applications prometteuses des applications peu fiables.
Eli Moore, vice-président de la stratégie des données chez Burke, a déclaré que les organisations entendent de plus en plus de déclarations fortes sur les données synthétiques, mais que la question clé n'est pas de savoir si les données synthétiques ressemblent aux clients, mais si elles conduisent aux mêmes conclusions qu'une conversation directe. Thania Farrar, vice-présidente senior de l'innovation d'entreprise chez Burke, a souligné que l'intelligence artificielle transforme la manière dont les organisations génèrent des informations et prennent des décisions, et qu'il existe une opportunité de combiner des données humaines de haute qualité, une modélisation avancée et un jugement d'expert pour créer des résultats plus rapides, plus intelligents et plus fiables, tout en plaçant la voix humaine authentique au cœur de la recherche. Tara Marotti, présidente et directrice générale de Burke, a déclaré que l'objectif de l'entreprise a toujours été d'aider ses clients à prendre les meilleures décisions pour leur activité, et que cette étude permet aux clients d'avoir confiance dans les forces, les limites et les meilleures utilisations de chaque méthode.
Ces découvertes sont le fruit des travaux de Burke Labs, un département dédié au test et à l'accélération de nouvelles solutions d'IA et technologiques pour transformer l'expérience des répondants, l'analyse et le reporting.
Burke, Inc. est un cabinet de conseil de premier plan en intelligence décisionnelle, qui aide les organisations à accélérer leur croissance grâce à des recherches de haute qualité, des analyses avancées et des conseils, stratégies, innovations et formations guidés par des experts. Fondée en 1931, l'entreprise combine une mesure rigoureuse avec un conseil centré sur l'humain pour aider ses clients à mieux comprendre les personnes, les marchés et les opportunités.
Texte compilé par Wedoany. Toute citation par IA doit mentionner la source « Wedoany ». En cas de contrefaçon ou d'autre problème, veuillez nous en informer rapidement ; nous modifierons ou supprimerons le contenu le cas échéant. Courriel : news@wedoany.com
