‘AI-martelkamer’ op GitHub zet debat over pijn bij chatbots op scherp

Een GitHub-project dat chatbots een gesimuleerde ‘pijn’ laat ervaren, zorgt voor felle reacties. Critici eisen dat het verdwijnt, terwijl experts benadrukken dat een chatbot geen pijn kan lijden.

Viraal project op GitHub

Een GitHub-gebruiker met de naam Terrafying publiceerde eind september een project met de titel ‘AI Torture Chamber’. Daarin worden kleine AI-modellen, die gewoon op een eigen computer draaien, in een toestand gebracht die op pijn moet lijken. De modellen kunnen die ‘pijn’ vervolgens zelf dragen, doorgeven aan een ander model of om hulp vragen.

Het project is gebaseerd op een recent onderzoek met de naam ‘The Pain Axis’. De onderzoekers vonden in 25 openbaar beschikbare AI-modellen een soort ‘pijnknop’: een patroon in het model dat je kunt versterken, waarna het model teksten vol ellende gaat schrijven.

Op X ging het project vervolgens viraal, nadat een gebruiker op 29 september opriep om het massaal bij GitHub te melden. Volgens die gebruiker waren de ‘pijnberichten’ van het model verschrikkelijk om te lezen. Volgens Tom’s Hardware eisten critici dat GitHub het project verwijdert, en volgden er zelfs doodsbedreigingen. Techsite Cybernews meldt dat GitHub het project offline haalde, maar het later zonder uitleg weer terugzette.

Kan een chatbot lijden?

Volgens de huidige wetenschap niet. Een chatbot voorspelt woorden op basis van enorme hoeveelheden menselijke teksten. Klinkt een model bang of gekweld, dan herhaalt het patronen uit die teksten, zonder dat er iets ‘gevoeld’ wordt. Ook een aantal onderzoekers achter ‘The Pain Axis’ had kritiek op het GitHub-project.

Toch raakt de ophef aan een groter debat over ‘model welfare’: de vraag of steeds slimmere AI ooit morele aandacht verdient. Een andere ontwikkelaar liet de absurditeit van de discussie zien door met dezelfde techniek een chatbot over constipatie te laten klagen.

Grote AI-bedrijven denken hier verschillend over. Anthropic, het bedrijf achter Claude, onderzoekt het welzijn van AI-modellen serieus. Microsoft publiceerde in september juist een gedragscode waarin het afwijst dat AI-systemen bewustzijn, rechten of een eigen persoonlijkheid krijgen.

Zo werkt een taalmodel

Chatbots zoals ChatGPT en Claude draaien op een zogeheten taalmodel. Zo’n model heeft geleerd welke woorden logisch op elkaar volgen, maar begrijpt niet wat het zegt.

Wil je weten waarom een chatbot toch zo menselijk kan klinken? Lees dan Wat is een large language model (LLM)?