Pesquisadores da Apple realizaram um teste A/B para medir o impacto de etiquetas de relevância geradas por IA nas classificações de busca da App Store e nos downloads de aplicativos. Aqui estão os resultados que encontraram.

Etiquetas de relevância geradas por IA melhoraram ligeiramente as conversões de busca da App Store

No novo estudo intitulado "Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments", um grupo de pesquisadores da Apple investigou se LLMs poderiam ajudar a melhorar os resultados de busca da App Store. Isso envolve a geração de etiquetas de relevância usadas para treinar o sistema de classificação.

Como mencionado no estudo, a relevância é um elemento chave para ajudar os usuários a encontrar os aplicativos que estão procurando. Embora haja muitos sinais que podem contribuir para a classificação de busca, os pesquisadores se concentraram em dois sinais principais:

  • Relevância comportamental reflete como os usuários interagem com os resultados; por exemplo, se clicam ou baixam um aplicativo.
  • Relevância textual mede quão bem os metadados de um aplicativo (como nome, descrição e palavras-chave) correspondem de forma significativa à consulta de busca de um usuário.

No estudo, os pesquisadores observam que, enquanto há uma abundância de dados sobre relevância comportamental (porque isso pode ser facilmente medido), o mesmo não se aplica à relevância textual:

Embora as etiquetas de relevância comportamental sejam abundantes, as etiquetas de relevância textual geradas por humanos são muito mais raras. Isso cria um problema fundamental: etiquetas de relevância textual de alta qualidade são raras e caras de produzir, o que cria um gargalo na escalabilidade e dá pouco poder ao objetivo de relevância textual.

Para superar esse problema, os pesquisadores ajustaram um LLM com 3 bilhões de parâmetros em cima das atuais avaliações humanas, permitindo que ele aprendesse a atribuir etiquetas de relevância a aplicativos com base na consulta de busca de um usuário e nos metadados do aplicativo.

Em seguida, eles geraram milhões de novas etiquetas de relevância com esse modelo e re-treinaram o sistema de classificação da App Store usando tanto os dados originais quanto as etiquetas geradas pelo LLM.

Após concluir esse processo, eles realizaram uma avaliação offline e, em seguida, conduziram um teste A/B em tempo real sobre o tráfego da App Store em todo o mundo:

“(…) O modelo llm-augmented mostrou um aumento estatisticamente significativo de +0.24% na taxa de conversão, que é nosso principal critério definido como a taxa de pelo menos uma sessão de busca por download de aplicativo. Embora esse número possa parecer pequeno, é considerado uma melhoria significativa para um classificador industrial maduro. Esse ganho foi observado em 89% das vitrines.”

Em outras palavras, os usuários que viram os resultados de busca classificados usando o modelo aumentado por LLM baixaram 0.24% mais aplicativos do que aqueles que viram os resultados apresentados pelo modelo de classificação tradicional.

E embora 0.24% seja um aumento muito pequeno, considerando que as estimativas sugerem que o total de downloads da App Store será de cerca de 38 bilhões em 2025, isso se escala bastante rapidamente. Na prática, isso pode significar milhões de downloads adicionais a partir das buscas na App Store, o que é definitivamente algo que os desenvolvedores apreciarão.

Siga este link para ler o estudo completo.

Ofertas de Acessórios na Amazon

  • Logitech MX Master 4
  • AirPods Pro 3
  • AirTag (2ª Geração) – Pacote com 4
  • Apple Watch Series 11
  • Adaptador CarPlay sem fio