Prosus dit avoir réduit ses coûts d'IA de 90 % via quatre leviers

Quatre leviers pour réduire les coûts d'IA

Prosus indique que ses agents d'intelligence artificielle travaillent aux côtés de 40 000 personnes et de 5 millions de partenaires, au service d'un milliard de clients. Le groupe précise que son usage de tokens a été multiplié par 52 sur l'année écoulée, pour atteindre 8 200 milliards de tokens par mois, avec des coûts qui ont d'abord progressé au même rythme.

Le groupe présente quatre axes ayant permis, selon lui, de réduire ses coûts d'IA de 90 %, sans réduction significative de la qualité. Ces axes reposent sur l'orientation des tâches vers le modèle adapté à chaque objectif, la réduction du volume d'information transmis à chaque requête, la distillation de modèles spécialisés pour les tâches répétitives et l'optimisation de l'utilisation des processeurs graphiques (GPU).

Une démarche continue d'optimisation

Prosus détaille la répartition approximative des économies réalisées : 50 % proviennent de l'orientation des tâches vers le modèle approprié, 20 % de la réduction du volume porté par chaque requête, 20 % de la distillation de modèles spécialisés et 10 % de l'utilisation des GPU et de la répartition de charge.

Le groupe présente cette démarche comme un processus continu plutôt qu'un projet à terme, indiquant que l'usage évolue, que le trafic se déplace et que les modèles progressent. Prosus décrit une orientation consistant à ajuster en permanence la puissance de calcul allouée à chaque tâche.