Tracer une voie commerciale pour l’apprentissage par renforcement

Les dirigeants à la recherche de nouvelles façons dont l'intelligence artificielle (IA) peut fournir un avantage concurrentiel ont peut-être trouvé l'America's Cup Match 2021 aussi passionnant pour l'utilisation révolutionnaire de l'apprentissage par renforcement par une équipe que pour ses conceptions radicales de bateaux et ses courses serrées.

Pour rester compétitives, les équipes de voile participant à l'America's Cup, comme toutes les entreprises, doivent repousser les limites du possible. Ils sont également confrontés à des contraintes similaires, notamment une courbe de développement abrupte et une petite fenêtre d'opportunité, ce qui signifie que les équipes ne peuvent poursuivre qu'une ou deux grandes expériences pour améliorer leurs performances dans la compétition la plus importante du sport.

Pour l'édition 2021 de l'America's Cup, le champion en titre Emirates Team New Zealand a estimé que l'apprentissage par renforcement, une technique avancée d'IA, pourrait optimiser son processus de conception. La technique a été efficace, permettant à l'équipe de tester un nombre exponentiel de modèles de bateaux et d'obtenir un avantage en termes de performances qui l'a aidée à remporter sa quatrième victoire en Coupe.

Contrairement à d’autres types d’apprentissage automatique, l’apprentissage par renforcement utilise des algorithmes (qui forment souvent des agents d’IA ou des robots) qui ne s’appuient généralement pas uniquement sur des ensembles de données historiques, étiquetées ou non, pour apprendre à faire une prédiction ou à effectuer une tâche. Ils apprennent comme le font souvent les humains, par essais et erreurs. Au cours des dernières années, la technologie a évolué de manière à la rendre hautement évolutive et capable d'optimiser la prise de décision dans des environnements complexes et dynamiques.

Outre l'accélération et l'amélioration de la conception, l'apprentissage par renforcement est de plus en plus intégré à un large éventail d'applications complexes : recommandation de produits dans des systèmes où les comportements et les préférences des clients changent rapidement ; prévision de séries chronologiques dans des conditions hautement dynamiques ; résoudre des problèmes logistiques complexes combinant emballage, acheminement et planification ; et même accélérer les essais cliniques et les analyses d’impact des politiques économiques et sanitaires sur les consommateurs et les patients.

Nous avons vu à quelle vitesse l’environnement technologique peut évoluer. Il y a seulement quelques années, une autre technique d’IA, l’apprentissage profond, a fait son apparition sur la scène commerciale. Aujourd'hui, 30 % des entreprises de haute technologie et de télécommunications et 16 % des entreprises d'autres secteurs que nous avons interrogées disposent de capacités intégrées d'apprentissage profond.

Voici quelques-unes des applications de la technique les plus évoquées ces dernières années :

Les dirigeants qui comprennent aujourd'hui le potentiel de l'apprentissage par renforcement seront, comme Emirates Team New Zealand, mieux placés pour prendre l'avantage dans leur secteur (voir l'encadré « Exemples notables d'applications d'apprentissage par renforcement »). Comprendre l'expérience de l'équipe peut aider les dirigeants à déterminer où et quand utiliser la technologie, car de nombreuses organisations suivront un chemin similaire : mettre en œuvre des technologies plus traditionnelles d'abord pour résoudre un problème, puis appliquer l'apprentissage par renforcement pour atteindre un niveau de performance auparavant inaccessible. Ainsi, nous commençons par raconter le parcours d'Emirates Team New Zealand, après quoi nous proposons des idées sur où et comment les entreprises devraient envisager d'appliquer l'apprentissage par renforcement.

Les concepteurs d’Emirates Team New Zealand n’étaient pas novices en matière de technologies avancées. En 2010, l'équipe avait construit son simulateur numérique de pointe pour tester les conceptions de bateaux sans les construire physiquement. Cela a été la clé de la victoire de l'équipe à l'America's Cup 2017, mais le simulateur avait ses limites. Plusieurs marins étaient nécessaires pour le faire fonctionner de manière optimale, ce qui représentait un défi logistique important compte tenu des entraînements, des déplacements et des compétitions programmés des marins. En conséquence, les concepteurs ont généralement itéré sur de nouvelles conceptions en l'absence de données sur les performances du simulateur, puis ont testé leurs meilleures idées par lots lorsqu'ils pouvaient consacrer de gros blocs de temps avec les marins. De plus, les performances des marins pouvaient varier d'un test à l'autre, comme le font souvent les performances humaines, ce qui rendait difficile pour les concepteurs de savoir si une amélioration marginale de la réponse du bateau était due à un ajustement de conception ou à des variations dans les tests humains.