L'intelligence au sein des machines doit rester responsable.
· Par Antonio Sedino, CTRO · Reinventy Solutions Corp.
À mesure que l'intelligence artificielle s'intègre aux systèmes physiques, le défi technique consiste à relier les capacités, les preuves et l'autorité humaine.
Lorsque l'intelligence devient partie intégrante d'une machine, ses décisions rencontrent le monde physique. Une réponse utile n'est qu'une partie du problème. Le système doit également savoir ce qu'il peut faire, ce qu'il a réellement observé et quand il doit s'arrêter.
Cela modifie les questions que nous devons poser à un produit intelligent. Comment ses capteurs sont-ils connectés à ses décisions ? Quelles limites restent applicables lorsqu'un modèle commet une erreur ? Qui peut autoriser une action, inspecter son historique ou arrêter la machine en toute sécurité ?
Ces questions relèvent de l'architecture dès le début. L'autorité humaine nécessite une implémentation : des permissions, des limites explicites et des enregistrements qui rendent une action compréhensible après sa survenue. Une simple déclaration de principe ne peut assurer ce contrôle.
La même discipline s'applique aux preuves. Un test logiciel réussi établit quelque chose de valable, mais sa conclusion a une portée définie. Le comportement physique dépend toujours de la machine, de ses interfaces et de ses conditions d'exploitation. Chaque affirmation doit rester liée aux conditions dans lesquelles elle a été démontrée.
Tin Man OS exprime notre approche face à ce défi. Son architecture réunit une base Linux reproductible avec des interfaces machines, la perception, la mémoire et le raisonnement. La gouvernance demeure extérieure au runtime cognitif, de sorte que le composant proposant une action ne devient pas l'autorité exclusive décidant si cette action est permise.
Cette séparation offre également aux équipes d'ingénierie un moyen plus clair d'étudier les défaillances. Elles peuvent examiner ce qui a été détecté, ce qui a été déduit, quelle autorisation a été vérifiée et ce que la machine a été chargée d'exécuter. L'objectif est de rendre la responsabilité traçable à travers le système.
Il existe une conséquence pratique pour la manière dont nous communiquons les progrès. Nous devons distinguer un résultat de recherche, une version qualifiée logiciellement et un système qualifié physiquement. Les clients et les partenaires doivent comprendre ce qui a été démontré et quelles conditions nécessitent encore des tests.
Pour nous, le progrès en matière d'intelligence machine signifie accroître les capacités utiles tout en clarifiant ses limites. L'architecture, les données probantes et la décision humaine doivent rester connectées. C'est la norme à laquelle une machine intelligente doit répondre pour mériter la confiance.