Los investigadores de Apple llevaron a cabo una prueba A/B para medir el impacto de las etiquetas de relevancia generadas por IA en los rankings de búsqueda de la App Store y las descargas de aplicaciones. Aquí están los resultados que encontraron.

Las etiquetas de relevancia generadas por IA mejoraron ligeramente las conversiones de búsqueda de la App Store

En un nuevo estudio titulado "Escalando la Relevancia de Búsqueda: Aumentando el Ranking de la App Store con Juicios Generados por LLM", un grupo de investigadores de Apple investigó si los LLM podrían ayudar a mejorar los resultados de búsqueda de la App Store. Esto está relacionado con la producción de etiquetas de relevancia utilizadas para entrenar el sistema de clasificación.

Como se menciona en el estudio, la relevancia es un elemento clave para ayudar a los usuarios a encontrar las aplicaciones que buscan. Aunque hay muchas señales que pueden contribuir al ranking de búsqueda, los investigadores se centraron en dos señales principales:

  • Relevancia conductual, que refleja cómo los usuarios interactúan con los resultados; por ejemplo, si hacen clic en una aplicación o la descargan.
  • Relevancia textual, que mide cuán significativamente coinciden los metadatos de una aplicación (como el nombre, la descripción y las palabras clave) con la consulta de búsqueda de un usuario.

En el estudio, los investigadores señalan que, aunque hay una gran cantidad de datos disponibles sobre la relevancia conductual (ya que es fácilmente medible), no ocurre lo mismo con la relevancia textual:

Aunque hay muchas etiquetas de relevancia conductual, las etiquetas de relevancia textual producidas por juicios humanos son mucho más raras. Esto crea un problema fundamental: las etiquetas de relevancia textual de alta calidad son raras y costosas de producir, lo que crea un cuello de botella en la escalabilidad y otorga un poder débil al objetivo de relevancia textual.

Para superar este problema, los investigadores ajustaron un LLM de 3 mil millones de parámetros sobre los juicios humanos existentes, de modo que pudiera aprender a asignar etiquetas de relevancia a las aplicaciones en función de la consulta de búsqueda de un usuario y los metadatos de la aplicación.

A continuación, generaron millones de nuevas etiquetas de relevancia con este modelo y volvieron a entrenar el sistema de clasificación de la App Store utilizando tanto los datos originales como las etiquetas generadas por el LLM.

Después de completar este proceso, realizaron una evaluación fuera de línea y luego llevaron a cabo una prueba A/B a nivel mundial sobre el tráfico en vivo de la App Store:

“(...) El modelo llm-augmented mostró un aumento estadísticamente significativo del +0.24% en la tasa de conversión, que definimos como la tasa de al menos una sesión de búsqueda por descarga de aplicación. Aunque este número puede parecer pequeño, se considera una mejora significativa para un clasificador industrial maduro. Esta ganancia se observó en el 89% de las vitrinas.”

En otras palabras, los usuarios que vieron los resultados de búsqueda clasificados utilizando el modelo aumentado por LLM descargaron un 0.24% más de aplicaciones que aquellos que vieron los resultados de búsqueda presentados por el modelo de clasificación tradicional.

Y aunque es evidente que un aumento del 0.24% es bastante pequeño, considerando que se estima que las descargas totales de la App Store rondarán los 38 mil millones en 2025, esto se escala bastante rápido. En la práctica, esto podría significar decenas de millones de descargas adicionales de las búsquedas de la App Store, lo cual es definitivamente algo que los desarrolladores apreciarán.

Sigue este enlace para leer el estudio completo.

Ofertas de Accesorios en Amazon

  • Logitech MX Master 4
  • AirPods Pro 3
  • AirTag (2ª Generación) – Paquete de 4
  • Apple Watch Series 11
  • Adaptador CarPlay Inalámbrico