En bref : Les agents « computer use » sont des IA capables de voir un écran, de déplacer un curseur et de taper au clavier pour effectuer des tâches, comme réserver un billet ou remplir un formulaire. En 2026, ils progressent vite mais restent faillibles : ils se trompent, peuvent être manipulés par des contenus piégés et agissent avec vos accès. Bien utilisés, avec des garde-fous, ils font gagner du temps ; mal encadrés, ils exposent vos données. Voici comment y voir clair.

De quoi parle-t-on exactement ?

Un agent « computer use » (littéralement « usage de l’ordinateur ») est une IA à qui l’on donne les mêmes moyens qu’un humain devant une machine : un écran à regarder, un curseur à déplacer, un clavier pour saisir du texte. Au lieu de vous répondre par écrit, l’agent agit : il ouvre des applications ou un navigateur, clique sur des boutons, fait défiler des pages et enchaîne les étapes pour atteindre un objectif.

Ce mouvement a été lancé publiquement début 2025. OpenAI a présenté son agent « Operator » le 23 janvier 2025, capable d’effectuer des tâches en ligne comme commander des courses, faire une réservation ou réserver un vol en agissant dans un navigateur. Anthropic, de son côté, a ouvert une version d’essai donnant à Claude un écran, un curseur et le contrôle du clavier. Google a suivi avec ses propres solutions, et l’arrivée récente de Muse, l’agent de Meta, confirme que tous les géants s’y engagent.

Ce qu’ils savent faire en 2026

Concrètement, les usages qui fonctionnent le mieux aujourd’hui sont les tâches répétitives et bien balisées :

• Rechercher et comparer des offres (voyages, produits, prestations) ;
• Remplir des formulaires en ligne à partir d’informations fournies ;
• Organiser un déplacement : hôtel, transport, réservation ;
• Extraire des informations de plusieurs sites et les rassembler ;
• Effectuer un suivi administratif ou des démarches simples et régulières.

Un principe de conception s’est imposé pour limiter la casse : le classement des actions en deux catégories. Les actions à faible risque (lire, faire défiler, prendre une capture, cliquer sans conséquence) s’exécutent sans validation. Les actions à risque élevé (supprimer, valider, acheter, envoyer, écraser un contenu) déclenchent un arrêt et attendent votre approbation. Ce garde-fou est aujourd’hui la norme chez les principaux acteurs.

Leurs limites, à connaître avant de se lancer

Malgré les progrès, ces agents restent qualifiés d’expérimentaux par leurs propres concepteurs. Ils sont sujets à l’erreur : certaines manipulations comme le défilement, le glisser-déposer ou le zoom leur posent encore des difficultés. Un agent peut mal interpréter une page, cliquer au mauvais endroit ou se perdre dans une tâche un peu longue.

Autre limite : la lenteur relative et le coût. Piloter un ordinateur étape par étape prend du temps, et chaque action consomme des ressources. Pour des tâches simples, une bonne vieille automatisation classique reste souvent plus rapide et plus fiable. Les agents brillent surtout quand la tâche est variable et demande de l’adaptation, là où un script rigide échouerait.

Les risques : erreurs, sécurité, données

Le premier risque est l’erreur aux conséquences réelles. Un agent qui achète, envoie un message ou supprime un fichier peut causer un vrai désagrément s’il se trompe. D’où l’importance de la validation humaine sur les actions sensibles.

Le deuxième risque, plus insidieux, est la sécurité. Un agent voit en général tout ce qui s’affiche à l’écran ou sur la page qu’il traite, et il agit à l’intérieur de vos sessions connectées. Il peut être détourné par un contenu malveillant rencontré au fil de sa navigation : c’est ce qu’on appelle l’injection de consignes indirecte. Une page piégée peut contenir des instructions cachées qui tentent de faire dévier l’agent de sa mission, par exemple pour lui faire divulguer des informations.

Le troisième risque concerne vos données personnelles. En opérant avec vos accès, l’agent manipule potentiellement des e-mails, des documents et des identifiants. La façon dont ces informations sont stockées et protégées devient donc déterminante.

Comment les utiliser prudemment

Quelques principes de bon sens permettent de profiter de ces outils sans prendre de risques inconsidérés :

• Commencez par des tâches à faible enjeu, sans conséquence financière ou juridique ;
• Gardez la validation manuelle activée pour toute action sensible (achat, envoi, suppression) ;
• Surveillez l’agent quand c’est possible : un navigateur visible permet de reprendre la main ;
• Limitez ses accès au strict nécessaire : ne lui donnez pas les clés de comptes critiques ;
• Méfiez-vous des sites inconnus et vérifiez toujours le résultat final avant de le considérer comme acquis.

Les observateurs s’accordent sur un point : en 2026, le progrès ne vient pas tant de textes mieux rédigés que de systèmes mieux construits, avec une intégration soignée des outils, une supervision et des règles de sécurité claires. C’est cet encadrement, plus que la seule puissance du modèle, qui fait la différence entre un agent utile et un agent dangereux.

Ce qu’il faut retenir

• Les agents « computer use » pilotent un ordinateur ou un navigateur (écran, curseur, clavier) pour accomplir des tâches à votre place.
• En 2026, ils excellent sur les tâches répétitives et variables : recherche, comparaison, formulaires, organisation de voyages ; ils restent lents et faillibles.
• Une bonne pratique généralisée : exécuter sans validation les actions anodines, mais demander une approbation pour les actions sensibles (achat, envoi, suppression).
• Les risques majeurs sont les erreurs aux conséquences réelles, le détournement par des contenus piégés (injection de consignes) et l’exposition de vos données.
• Pour s’en servir sereinement : commencer par de petites tâches, garder la validation humaine, limiter les accès et toujours vérifier le résultat.