Minter
Bittensor
Hyperliquid
NEAR Protocol
Monero
Pearl
Quantus
Ideas clave:
- Noticias de Ethereum: Vitalik Buterin advierte de que el gobierno de la IA Naive puede ser manipulado para desviar fondos fácilmente.
- Buterin propone un mercado infofinanciero con presentación de modelos en competencia.
- Los controles sorpresa y los jurados humanos crean incentivos para solucionar los fallos.
El cofundador de Ethereum, Vitalik Buterin, advirtió en un tuit del 13 de septiembre sobre el gobierno dirigido por la IA. Afirma que las personas decididas pueden romper los sistemas, y los recursos pueden desviarse. Afirma que esto no requiere un sistema de infofinanciación basado en el mercado, como él defendía.
Buterin advirtió que se invitaría rápidamente a los explotadores cuando se utilizara una única IA para calificar las contribuciones o pagar dinero. Los atacantes, dijo, instalarán instrucciones de fuga donde puedan con la esperanza de obtener subvenciones y recompensas. Sugiere un mercado abierto en el que compitan muchos modelos y sean comprobados por controles aleatorios adversarios y jurados humanos.
Noticias de Ethereum: El modelo financiero de Vitalik Buterin Consept
En el diseño infofinanciero de Buterin, cualquiera puede juzgar cualquier modelo suministrado. Sin embargo, los resultados se examinan continuamente. Cualquier jugador puede iniciar cualquier comprobación puntual. El jurado humano decide sobre los casos y establece precedentes, mientras que los modelos que salen mal parados del proceso pierden estatus y motivación. El objetivo es la resiliencia siendo redundantes, diversificados y teniendo incentivos coordinados, no un modelo central.
Buterin también criticó aspectos de los modelos de OpenAI y comentó tras las demostraciones en directo de nuevas superficies de ataque en los asistentes agénticos. El investigador Eito Miyamura demostró que una solicitud de calendario maliciosa podía explotar el Protocolo de Contexto de Modelos, haciendo que un agente de IA filtrara contenido privado de correo electrónico una vez concedido el acceso a la herramienta. La prueba de concepto reveló cómo los modelos pueden seguir instrucciones ocultas sin aplicar el sentido común humano.
Buterin denunció recientemente los movimientos hacia una IA masivamente autónoma y agéntica. Prefiere sistemas en los que las personas se mantengan informadas y puedan crear modelos editables y de peso abierto.
Su postura es que cuanto más estricto es el control humano de esto, más mejora la calidad y la seguridad, y que la autonomía de un solo modelo tiene más modos de fallo. La advertencia del viernes traslada ese argumento del diseño de productos al del diseño institucional.
Noticias de Ethereum: Implicaciones de la advertencia de Vitalik Buterin
Los proyectos que dependen de bots de puntuación para conseguir subvenciones o distribuir fondos retroactivos para bienes públicos se enfrentan a riesgos evidentes. Un guardián de un solo modelo puede ser manipulado mediante mensajes manipulados, especialmente cuando está conectado a herramientas de ejecución.
Por el contrario, un mercado competitivo de modelos, sujeto a comprobaciones aleatorias y jurados humanos, aumenta el coste de los exploits y acorta los plazos de corrección.
Para las organizaciones autónomas descentralizadas, esto podría significar la sustitución de un único árbitro tipo oráculo por múltiples sistemas que lleven registros de seguimiento mensurables y apliquen penalizaciones al estilo de los sablazos por decisiones erróneas.
El contexto más amplio de la seguridad de la IA
La advertencia se ha lanzado ante un nuevo debate sobre los riesgos de los modelos de frontera. Un libro de Eliezer Yudkowsky y Nate Soares sugiere que los sistemas desalineados pueden llegar a ser incontrolables algún día, una acusación muy divisiva que, sin embargo, ha vuelto a poner en el centro de la escena el problema de la caja negra.
La propuesta de Butterin, que también propone identificaciones digitales pluralistas para web3, no se basa en una alineación perfecta. Supone que se producirán fallos y crea incentivos y controles que someten los modelos en la práctica a pruebas de presión.
Los programas de criptodonaciones , los experimentos de financiación cuadrática y las DAO de bienes públicos pondrán a prueba mecanismos como la financiación de la información en este ciclo. Los principales hitos serán las tablas de clasificación abiertas del rendimiento de los modelos, el trabajo puntual transparente y la selección de jurados resistente a la captura. La adopción dependerá de si en las próximas revelaciones de intentos de fuga hay más velocidad de corrección basada en sistemas plurales y apoyados por jurados que en guardianes centralizados de IA.
Buterin no es ambiguo: supongamos que los oponentes encarcelarán a cualquier IA con control sobre el dinero. Un mercado diverso y en disputa, en el que participen jurados humanos, proporciona una forma de gobernar más resistente que las decisiones encerradas en la prontitud de un único modelo.
