Das neu gegründete Trillium Labs will Forschung an leistungsfähigen KI-Systemen nach einem Prinzip betreiben, das bei den großen KI-Unternehmen zunehmend seltener wird: möglichst offen und wissenschaftlich nachvollziehbar.
Quellen:
https://blog.trilliumlabs.org/p/introducing-trillium-labs
https://www.wired.com/story/trillium-labs-wants-to-do-high-risk-ai-research-in-the-open/
🔎 Was ist passiert?
Nathan Lambert und Tom Zick haben die gemeinnützige Forschungsorganisation Trillium Labs gegründet.
Ein Schwerpunkt soll auf dem sogenannten Post-Training liegen – also Verfahren, mit denen bereits vortrainierte KI-Modelle anschließend weiterentwickelt und ihr Verhalten verändert wird.
Dazu gehören beispielsweise Reinforcement Learning und neue Trainings- und Bewertungsverfahren. Trillium möchte dabei möglichst nicht nur fertige Modelle veröffentlichen. Auch Code, Daten, Evaluationen, Modell-Checkpoints und sogar gescheiterte Experimente sollen dokumentiert werden.
Perspektivisch will die Organisation auch sensiblere Forschungsfelder untersuchen: Multi-Agent-Systeme, Reward Hacking und Recursive Self-Improvement – also Systeme, bei denen KI dabei hilft, wiederum leistungsfähigere KI zu entwickeln.
Trillium will dafür nach Angaben von WIRED 40 bis 100 Millionen US-Dollar einwerben. Rund 30 Millionen Dollar sollen innerhalb von 18 Monaten in Modelltraining fließen.
⚖️ Der Realitätscheck
Offene Forschung ist nicht automatisch sicherer. Wenn Trainingsverfahren, Modelle und Ergebnisse öffentlich zugänglich sind, können unabhängige Forscher sie überprüfen, reproduzieren und Sicherheitsprobleme entdecken.
Das gleiche Wissen steht aber möglicherweise auch Akteuren zur Verfügung, die es weniger verantwortungsvoll nutzen.
Geschlossene Forschung begrenzt diese Verbreitung zunächst. Gleichzeitig bedeutet sie aber, dass nur wenige Unternehmen wissen, was tatsächlich funktioniert, welche Probleme auftreten und welche Sicherheitsmaßnahmen versagen. Unabhängige Wissenschaftler können solche Ergebnisse dann nur eingeschränkt überprüfen.
💡 Warum ist das interessant?
Dahinter steckt eine grundsätzliche Frage der KI-Sicherheitsforschung: Wird KI sicherer, wenn besonders leistungsfähiges Wissen möglichst wenigen Akteuren zugänglich bleibt – oder wenn möglichst viele Forscher es untersuchen können?
Offene Wissenschaft kann Forschung beschleunigen, Doppelarbeit vermeiden und dafür sorgen, dass viele Forscher auf einem gemeinsamen Wissensstand weiterarbeiten.
Kurzfristig kann genau diese Offenheit jedoch zusätzliche Risiken schaffen, weil sich auch problematische Fähigkeiten schneller verbreiten können. Trillium Labs setzt darauf, dass langfristig mehr Transparenz, Reproduzierbarkeit und unabhängige Kontrolle den größeren Sicherheitsgewinn bringen.