Les chercheurs d'Apple ont réalisé un test A/B pour mesurer l'impact des étiquettes de pertinence générées par l'IA sur les classements de recherche de l'App Store et les téléchargements d'applications. Voici les résultats qu'ils ont trouvés.

Les étiquettes de pertinence générées par l'IA ont légèrement amélioré les conversions de recherche de l'App Store

Dans une nouvelle étude intitulée "Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments", un groupe de chercheurs d'Apple a examiné si les LLM pouvaient aider à améliorer les résultats de recherche de l'App Store. Cela concerne la production d'étiquettes de pertinence utilisées pour entraîner le système de classement.

Comme indiqué dans l'étude, la pertinence est un élément clé pour aider les utilisateurs à trouver les applications qu'ils recherchent. Bien qu'il existe de nombreux signaux qui peuvent contribuer au classement de recherche, les chercheurs se sont concentrés sur deux signaux principaux :

  • La pertinence comportementale reflète comment les utilisateurs interagissent avec les résultats ; par exemple, s'ils cliquent sur une application ou la téléchargent.
  • La pertinence textuelle mesure à quel point les métadonnées d'une application (comme le nom, la description et les mots-clés) correspondent de manière significative à la requête de recherche d'un utilisateur.

Dans l'étude, les chercheurs notent qu'il existe une abondance de données sur la pertinence comportementale (car cela peut être facilement mesuré), mais que la même chose ne s'applique pas à la pertinence textuelle :

Bien qu'il y ait beaucoup d'étiquettes de pertinence comportementale, les étiquettes de pertinence textuelle produites par des jugements humains sont beaucoup plus rares. Cela crée un problème fondamental : les étiquettes de pertinence textuelle de haute qualité sont rares et coûteuses à produire, ce qui crée un goulot d'étranglement en matière d'évolutivité et donne un faible pouvoir à l'objectif de pertinence textuelle.

Pour surmonter ce problème, les chercheurs ont affiné un LLM de 3 milliards de paramètres sur les jugements humains existants, afin qu'il puisse apprendre à attribuer des étiquettes de pertinence aux applications en fonction de la requête de recherche d'un utilisateur et des métadonnées de l'application.

Ensuite, ils ont généré des millions de nouvelles étiquettes de pertinence avec ce modèle et ont réentraîné le système de classement de l'App Store en utilisant à la fois les données originales et les étiquettes générées par le LLM.

Après avoir terminé ce processus, ils ont effectué une évaluation hors ligne, puis ont réalisé un test A/B à l'échelle mondiale sur le trafic en direct de l'App Store :

“(…) Le modèle llm-augmented a montré une augmentation statistiquement significative de +0.24% dans le taux de conversion, notre principale mesure définie comme le rapport entre les téléchargements d'applications et au moins une session de recherche. Bien que ce chiffre puisse sembler petit, il est considéré comme une amélioration significative pour un classificateur industriel mature. Ce gain a été observé dans 89% des vitrines.”

En d'autres termes, les utilisateurs qui ont vu les résultats de recherche classés à l'aide du modèle augmenté par LLM ont téléchargé 0.24% d'applications de plus que ceux qui ont vu les résultats de recherche présentés par le modèle de classement traditionnel.

Et bien que 0.24% soit une augmentation très petite, compte tenu des prévisions selon lesquelles le nombre total de téléchargements de l'App Store atteindra environ 38 milliards d'ici 2025, cela se traduit rapidement en échelle. En pratique, cela pourrait signifier des millions de téléchargements supplémentaires provenant des recherches de l'App Store, ce qui est certainement quelque chose que les développeurs apprécieront.

Pour lire l'étude complète, suivez ce lien.

Offres d'accessoires sur Amazon

  • Logitech MX Master 4
  • AirPods Pro 3
  • AirTag (2ème génération) – 4 paquets
  • Apple Watch Series 11
  • Adaptateur CarPlay sans fil