Ethereum Nachrichten: Vitalik Buterin warnt: KI-Governance ist anfällig für Jailbreak-Exploits

Wichtige Einblicke:

• Ethereum Nachrichten: Vitalik Buterin warnt: Naive KI-Governance kann leicht gebrochen werden, um Gelder abzuzweigen.
• Buterin schlägt einen Info-Finanzmarkt mit konkurrierenden Modellvorschlägen vor.
• Stichprobenkontrollen und menschliche Jurys schaffen Anreize, Fehler zu beheben.

Ethereum-Mitbegründer Vitalik Buterin warnte in einem Tweet vom 13. September vor einer KI-gesteuerten Verwaltung. Er behauptet, dass entschlossene Menschen Systeme brechen können und dass Ressourcen umgeleitet werden können. Er erklärt, dass dies kein marktbasiertes Informationsfinanzierungssystem erfordert, wie er es befürwortet.

Buterin warnte, dass Exploits prompt eingeladen werden, wenn eine einzelne KI zur Bewertung von Beiträgen oder zur Auszahlung von Geld verwendet wird. Angreifer, so Buterin, werden Jailbreak-Anweisungen installieren, wo sie können, in der Hoffnung, Zuschüsse und Kopfgelder zu erhalten. Er schlägt einen offenen Markt vor, auf dem viele Modelle miteinander konkurrieren und durch gegnerische Stichproben und menschliche Jurys überprüft werden.

Ethereum Nachrichten: Vitalik Buterins Finanzmodell ist ein Rätsel

In dem Info-Finance-Design von Buterin kann jeder jedes bereitgestellte Modell beurteilen. Die Ergebnisse werden jedoch ständig überprüft. Jeder Spieler kann eine Stichprobenprüfung veranlassen. Eine menschliche Jury entscheidet über die Fälle und schafft Präzedenzfälle, während die Modelle, die in diesem Prozess schlecht abschneiden, an Status und Motivation verlieren. Das Ziel ist Widerstandsfähigkeit durch Redundanz, Diversifizierung und koordinierte Anreize, nicht durch ein zentrales Modell.

Buterin kritisierte auch Aspekte der Modelle von OpenAI und äußerte sich nach Live-Demonstrationen neuer Angriffsflächen in agentenbasierten Assistenten. Der Forscher Eito Miyamura zeigte, dass eine böswillige Kalenderanfrage das Model Context Protocol ausnutzen kann, um einen KI-Agenten dazu zu bringen, private E-Mail-Inhalte preiszugeben, sobald der Zugriff auf das Tool gewährt wurde. Der Proof-of-Concept zeigte, wie Modelle versteckten Anweisungen folgen können, ohne den gesunden Menschenverstand einzusetzen.

Buterin hat sich kürzlich gegen die Entwicklung einer massiven autonomen, agentenbasierten KI ausgesprochen. Er bevorzugt Systeme, bei denen die Menschen auf dem Laufenden gehalten werden und editierbare Modelle mit offenem Gewicht erstellen können.

Er vertritt den Standpunkt, dass Qualität und Sicherheit umso besser sind, je stärker die menschliche Kontrolle ist, und dass die Autonomie eines einzelnen Modells mehr Fehlermöglichkeiten bietet. Die Warnung vom Freitag überträgt das Argument des Produktdesigns auf das des institutionellen Designs.

Ethereum Nachrichten: Auswirkungen der Warnung von Vitalik Buterin

Projekte, die sich auf Scoring-Bots verlassen, um Zuschüsse zu sichern oder rückwirkend Gelder für öffentliche Güter zu verteilen, sind mit klaren Risiken verbunden. Ein Gatekeeper, der nur ein einziges Modell verwendet, kann durch ausgeklügelte Eingabeaufforderungen manipuliert werden, insbesondere wenn er mit Ausführungsprogrammen verbunden ist.

Im Gegensatz dazu erhöht ein wettbewerbsfähiger Marktplatz von Modellen, der Stichproben und menschlichen Jurys unterliegt, die Kosten von Exploits und verkürzt die Korrekturzeiten.

Für dezentralisierte, autonome Organisationen könnte dies bedeuten, dass ein einzelner orakelartiger Schiedsrichter durch mehrere Systeme ersetzt wird, die messbare Erfolgsbilanzen führen und bei Fehlentscheidungen drastische Strafen verhängen.

Der breitere KI-Sicherheitshintergrund

Die Warnung wurde angesichts einer neuen Debatte über die Risiken von Grenzmodellen ausgesprochen. Ein Buch von Eliezer Yudkowsky und Nate Soares deutet darauf hin, dass falsch ausgerichtete Systeme eines Tages unkontrollierbar werden könnten. Diese Behauptung spaltet die Gemüter und hat das Problem der Black Box wieder in den Mittelpunkt gerückt.

Der Vorschlag von Butterin, der ebenfalls pluralistische digitale IDs für web3 vorschlägt, geht nicht von einer perfekten Anpassung aus. Er geht davon aus, dass es zu Fehlern kommen wird und schafft Anreize und Kontrollen, die die Modelle in der Praxis einer Druckprüfung unterziehen.

Krypto-Zuschussprogramme , quadratische Finanzierungsexperimente und DAOs für öffentliche Güter werden in diesem Zyklus Mechanismen wie die Informationsfinanzierung erproben. Die wichtigsten Meilensteine werden offene Ranglisten der Modellleistung, transparente Spotarbeit und fangresistente Jurorenauswahl sein. Die Akzeptanz wird davon abhängen, ob es bei den kommenden Enthüllungen über Ausbruchsversuche höhere Korrekturgeschwindigkeiten auf der Grundlage pluralistischer, jury-gestützter Systeme gibt als bei zentralisierten KI-Gatekeepern.

Buterin ist eindeutig: Nehmen Sie an, dass die Gegner jede KI, die die Kontrolle über Geld hat, aus dem Verkehr ziehen werden. Ein vielfältiger, umstrittener Markt, an dem menschliche Jurys beteiligt sind, bietet eine widerstandsfähigere Art zu regieren als Entscheidungen, die in der Eingabeaufforderung eines einzigen Modells eingeschlossen sind.