Les tarifs au token ont été adoptés par tous les fournisseurs de LLM en mode SaaS. (Crédit S.L.)
Le cabinet d'études estime que le potentiel plus large de l'IA générative reste inexploité, car les entreprises craignent les coûts récurrents liés au cloud.
Alors que les entreprises passent de la phase de test des outils et modèles d'IA générative à leur utilisation dans le monde réel (également appelée « inférence »), elles ont du mal à prévoir ce que cette utilisation entraînera en termes de coûts cloud, selon une étude du cabinet d'analyse Canalys . « Contrairement à la formation, qui est un investissement ponctuel, l'inférence représente un coût opérationnel récurrent, ce qui en fait une contrainte cruciale sur la voie de la commercialisation de l'IA », a déclaré Rachel Brindley, directrice principale chez Canalys, dans un communiqué. « À mesure que l'IA passe de la recherche au déploiement à grande échelle, les entreprises se concentrent de plus en plus sur la rentabilité de l'inférence, en comparant les modèles, les plateformes cloud et les architectures matérielles telles que les GPU par rapport aux accélérateurs personnalisés. »
Selon Yi Zhang, chercheur chez Canalys, de nombreux services d'IA reposent sur des modèles de tarification basés sur l'utilisation, qui facturent par jeton ou par appel API, ce qui rend difficile la prévision des coûts lors de l'augmentation de l'utilisation. « Lorsque les coûts d'inférence sont volatils ou excessivement élevés, les entreprises sont obligées de limiter l'utilisation, de réduire la complexité des modèles ou de restreindre la mise en oeuvre à des scénarios à forte valeur ajoutée. En conséquence, le potentiel plus large de l'IA reste sous-exploité », a souligné M. Zhang.
Suivez-nous