Künstliche Intelligenz löst komplizierte Mathematikaufgaben, schreibt Programme und schneidet in wissenschaftlichen Prüfungen immer besser ab. Aber kann sie auch dabei helfen, einen Kindergartenplatz zu finden, die Familienfinanzen zu organisieren oder Behördengänge zu erledigen? OpenAI hat einen neuen Test vorgestellt, der genau solche alltäglichen Aufgaben in den Mittelpunkt rückt.
Quelle:
https://openai.com/index/lifeval/
🔎 Was ist passiert?
Am 2. November hat OpenAI eine neue Testmethode namens LifeVal vorgestellt.
Der Name steht für eine Bewertung der Fähigkeiten künstlicher Intelligenz bei Aufgaben aus dem täglichen Leben.
Bisher wird die Leistungsfähigkeit von KI-Modellen häufig anhand spezieller Prüfungen gemessen.
Dabei geht es beispielsweise um Mathematik, Programmierung, wissenschaftliches Wissen oder logisches Schlussfolgern.
Solche Tests können wichtige Informationen liefern. Sie sagen aber nur begrenzt etwas darüber aus, ob eine KI im ganz normalen Alltag tatsächlich nützlich ist.
OpenAI möchte deshalb eine andere Frage untersuchen:
Wie gut können KI-Assistenten Menschen bei Aufgaben unterstützen, die ihnen persönlich wichtig sind?
Um geeignete Aufgaben zu finden, wertete das Unternehmen zunächst Untersuchungen darüber aus, womit Menschen ihre Zeit verbringen.
Anschließend befragte OpenAI 3.995 Personen, bei welchen Tätigkeiten sie sich Unterstützung durch einen persönlichen Assistenten wünschen würden.
Daraus entstanden Testaufgaben aus unterschiedlichen Lebensbereichen.
Einige Beispiele:
Einen geeigneten Kindergarten nach einem Umzug finden.
Eine neue Wohnung nach Budget und Arbeitsweg auswählen.
Die Organisation freiwilliger Helfer bei drohendem Hochwasser unterstützen.
Einen gemeinsamen Fernsehabend mit der weit entfernt lebenden Großmutter ermöglichen.
Einen praktikablen Ernährungsplan für ein Familienmitglied erstellen.
Dabei geht es nicht nur darum, passende Informationen aufzuschreiben.
Die KI soll teilweise mehrere Schritte durchführen, Angebote vergleichen, Informationen ordnen oder konkrete Vorbereitungen treffen.
Damit nähert sich der Test eher den Aufgaben eines persönlichen Assistenten als einer klassischen Wissensprüfung.
OpenAI zeigt auf seiner Webseite verschiedene Beispiele mit sehr hohen Bewertungen.
Bei der Suche nach einem geeigneten Kindergarten werden beispielsweise 93,1 Prozent genannt, bei der Organisation freiwilliger Helfer 98 Prozent.
⚖️ Der Realitätscheck
Diese Prozentwerte sollte man allerdings nicht mit der Erfolgswahrscheinlichkeit im Alltag verwechseln.
Die gezeigten Beispiele stammen aus kontrollierten Testaufgaben mit festgelegten Bewertungsverfahren.
Sie beweisen nicht, dass ein KI-Assistent tatsächlich in 93 von 100 Fällen einen geeigneten Kindergartenplatz organisieren kann.
Auch veröffentlicht OpenAI auf der Übersichtsseite keine umfassende, unabhängig vergleichbare Gesamtbewertung aller konkurrierenden KI-Systeme.
Hinzu kommt ein grundsätzliches Problem solcher Tests:
Was bedeutet eigentlich „gut erledigt“?
Ein Assistent kann drei Kindergärten finden und die Anmeldeunterlagen vorbereiten.
Ob die Einrichtungen tatsächlich zur Familie passen, ein Platz verfügbar ist und die Anmeldung erfolgreich abgeschlossen wird, ist eine andere Frage.
Gerade bei Entscheidungen über Gesundheit, Geld oder Familie lässt sich menschlicher Nutzen nicht immer mit einer einzigen Prozentzahl messen.
LifeVal ist außerdem eine Entwicklung von OpenAI selbst. Das Unternehmen hat ein eigenes Interesse daran, die praktischen Fähigkeiten seiner Modelle positiv darzustellen.
💡 Warum ist das interessant?
Trotz dieser Einschränkungen ist der Ansatz bemerkenswert.
Bislang drehen sich viele Diskussionen über KI darum, welches Modell bei irgendeinem anspruchsvollen Test einen Prozentpunkt besser abschneidet.
Für die meisten Menschen dürfte jedoch eine ganz andere Frage entscheidend sein:
Kann mir diese KI tatsächlich Arbeit abnehmen – zuverlässig, verständlich und ohne zusätzlichen Ärger?
Dazu gehört mehr als eine überzeugend formulierte Antwort.
Ein guter Assistent müsste beispielsweise Informationen überprüfen, persönliche Vorlieben berücksichtigen, notwendige Rückfragen stellen und erkennen, wann eine Entscheidung beim Menschen bleiben sollte.
Er müsste auch wissen, wann eine Aufgabe wirklich abgeschlossen ist.
Erst gestern haben wir über StreamVibe berichtet, ein Forschungsprojekt, das KI beibringen soll, im richtigen Moment Hilfe anzubieten.
LifeVal betrachtet eine verwandte Frage aus einem anderen Blickwinkel:
Nicht nur, wann eine KI helfen sollte, sondern auch, wie wir überhaupt beurteilen können, ob ihre Hilfe etwas gebracht hat.
Vielleicht ist das langfristig ein sinnvollerer Maßstab als die nächste Rekordzahl in einer Mathematikprüfung.
Denn für den Alltag wäre eine KI, die zuverlässig einen komplizierten Behördenvorgang vorbereitet, möglicherweise wesentlich wertvoller als eine, die eine besonders schwierige Gleichung lösen kann.
Und vielleicht sollten wir sie eines Tages auch danach beurteilen, wie viele Stunden Bürokratie sie uns erspart.
Nicht danach, wie viele neue Formulare sie dabei erzeugt. 😉