Actualités Ethereum : Vitalik Buterin prévient que la gouvernance de l’IA est sujette à des exploits de type ” Jailbreak “.

Aperçu des principaux éléments :

• Nouvelles de l’Ethereum : Vitalik Buterin prévient que la gouvernance de l’IA naïve peut être piratée pour détourner facilement des fonds.
• Buterin propose un marché de l’info finance avec des soumissions de modèles en concurrence.
• Les contrôles ponctuels et les jurys humains incitent à corriger les défaillances.

Le cofondateur d’Ethereum, Vitalik Buterin, a mis en garde contre une gouvernance gérée par l’IA dans un tweet du 13 septembre. Il affirme que des personnes déterminées peuvent briser les systèmes et que les ressources peuvent être détournées. Il affirme que cela ne nécessite pas un système de financement de l’information basé sur le marché, comme il l’a préconisé.

Buterin a prévenu que des exploits seraient rapidement invités lorsqu’une seule IA est utilisée pour évaluer les contributions ou verser de l’argent. Les attaquants, a-t-il dit, installeront des instructions d’évasion de prison partout où ils le pourront dans l’espoir d’obtenir des subventions et des primes. Il propose un marché ouvert où de nombreux modèles sont en concurrence et font l’objet de contrôles ponctuels contradictoires et de jurys humains.

Ethereum News : Le modèle financier de Vitalik Buterin Consept

Dans la conception de l’info finance de Buterin, n’importe qui peut juger n’importe quel modèle fourni. Cependant, les résultats sont continuellement examinés. N’importe quel acteur peut lancer un contrôle ponctuel. Un jury humain décide des cas et établit des précédents, tandis que les modèles qui obtiennent de mauvais résultats dans le processus perdent leur statut et leur motivation. L’objectif est la résilience par la redondance, la diversification et la coordination des incitations, et non par un modèle central.

M. Buterin a également critiqué certains aspects des modèles d’OpenAI et a commenté les démonstrations en direct de nouvelles surfaces d’attaque dans les assistants agentiques. Le chercheur Eito Miyamura a montré qu’une demande de calendrier malveillante pouvait exploiter le protocole de contexte de modèle, incitant un agent d’IA à divulguer le contenu d’un courriel privé une fois l’accès à l’outil accordé. La preuve de concept a révélé comment les modèles peuvent suivre des instructions cachées sans faire appel au bon sens humain.

M. Buterin a récemment dénoncé les initiatives en faveur d’une IA agentique massivement autonome. Il préfère les systèmes dans lesquels les gens sont tenus au courant et peuvent créer des modèles modifiables et ouverts.

Sa position est que plus le contrôle humain est étroit, plus il améliore la qualité et la sécurité et que l’autonomie d’un modèle unique comporte plus de modes d’échec. L’avertissement de vendredi transpose l’argument de la conception des produits à celui de la conception des institutions.

Actualités Ethereum : Implications de l’avertissement de Vitalik Buterin

Les projets qui s’appuient sur des robots de notation pour obtenir des subventions ou distribuer des fonds rétroactifs pour des biens publics sont confrontés à des risques évidents. Un gatekeeper à modèle unique peut être manipulé au moyen d’invites élaborées, en particulier lorsqu’il est connecté à des outils d’exécution.

En revanche, un marché concurrentiel de modèles, soumis à des vérifications ponctuelles et à des jurys humains, augmente le coût des exploits et raccourcit les délais de correction.

Pour les organisations autonomes décentralisées, cela pourrait signifier le remplacement d’un arbitre unique, semblable à un oracle, par plusieurs systèmes disposant d’antécédents mesurables et appliquant des pénalités de type “slashing” en cas de décisions erronées.

Le contexte plus large de la sécurité de l’IA

L’avertissement a été lancé dans le cadre d’un nouveau débat sur les risques liés aux modèles d’avant-garde. Un livre d’Eliezer Yudkowsky et de Nate Soares suggère que les systèmes mal alignés pourraient un jour devenir incontrôlables, une allégation très controversée qui a néanmoins ramené la question du problème de la boîte noire sur le devant de la scène.

La proposition de Butterin, qui propose également des identifiants numériques pluralistes pour le web3, ne repose pas sur un alignement parfait. Elle suppose que des échecs se produiront et crée des incitations et des contrôles qui soumettent les modèles en pratique à des tests de pression.

Les programmes de subventions cryptographiques , les expériences de financement quadratique et les DAO de biens publics mettront à l’essai des mécanismes tels que le financement de l’information au cours de ce cycle. Les principaux jalons seront des classements ouverts des performances des modèles, un travail ponctuel transparent et une sélection de jurés résistante à la capture. L’adoption dépendra de la rapidité des corrections basées sur des systèmes pluriels, soutenus par des jurés, par rapport aux gardiens centralisés de l’IA, lors des prochaines révélations sur les tentatives de jailbreak.

Buterin est sans ambiguïté : il suppose que les opposants mettront hors d’état de nuire toute IA ayant le contrôle de l’argent. Un marché diversifié et conflictuel, où des jurys humains sont impliqués, constitue un moyen de gouvernance plus résilient que des décisions enfermées dans la promptitude d’un modèle unique.