Människa-Maskin-Samhälle

Problemet med fuskande studenter lyfts ofta fram när generativ AI kommer på tal inom högskolan. Och det är ett problem. Vi befinner oss mitt i det som Ethan Mollick har kallat för “hemarbetesapokalypsen”. Det finns få hemuppgifter vi lärare kan konstruera som studenter inte kan använda generativ AI för att lösa. Och de blir färre allt eftersom tekniken blir bättre. 

Vi vet inte i vilken omfattning studenter vid Linnéuniversitetet använder generativ AI i samband med examination, och heller inte hur. I en undersökning som jag genomförde hösten 2023 bland studenter vid Fakulteten för konst och humaniora angav 92% av 692 svarande att de kände till generativ AI. 33% angav att de hade använt det i sin utbildning. Enkäten var anonym, och detta betonades när jag ställde den direkta frågan om studenterna hade använt generativ AI för att lösa examinationsuppgifter. 11% svarade jakande, men här krävs kvalificering. De flesta uppgav att de hade använt generativ AI för att samla fakta, förbättra text och få hjälp att strukturera uppgiften. Endast fyra av totalt 692 svarade att de helt enkelt låtit AI lösa uppgiften och lämnat in resultatet med lite eller ingen redigering. 

Fuskande studenter är givetvis inget nytt. Även före den nuvarande AI-revolutionen har studenter kunnat hitta vägar att slippa utföra det tunga arbete som akademiskt lärande innebär. De har kunnat kopiera någon annan students arbete; de har kunnat hämta färdiga texter från internet; de har till och med kunnat betala någon för att göra arbetet åt dem. Idag är det dock både snabbare och billigare att be en AI-applikation göra jobbet. Resultaten blir dessutom inte sällan bättre, särskilt om studenten ger rätt instruktioner, och är medveten om systemens svagheter. Men alla studenter är inte så kunniga och medvetna, vilket också gör att en del AI-assisterat fusk upptäcks, och bestraffas. 

För drygt en månad sedan bad jag att få ut alla beslut i disciplinärenden vid Linnéuniversitetet från 2024 som rör användning av generativ AI för examinerande uppgifter. Det är en ganska intressant läsning.

Totalt handlar det om 42 ärenden. Jag lämnar åt sidan de fall där studenter fälldes på en kurs där användning av AI-verktyg uttryckligen inte var tillåten, och där studenterna erkände att de ändå hade gjort det. Det var endast två fall, och en kurs. I de flesta fall nekade studenterna till de hade använt AI-verktyg, eller så hävdade de att de hade använt AI-verktyg, men inte för att författa den text som lämnades in vid examinationen. 

Det är lite skev fördelning i fallen. Majoriteten av ärendena (29) rör fyra kurser, samtliga vid Fakulteten för konst och humaniora, inom ämnena Svenska (6), Kreativt skrivande (20) och Litteraturvetenskap (3). Samtliga dessa fyra är distanskurser. Återstående ärenden är fördelade mellan olika fakulteter. Det handlar om ämnena Sociologi (1), Statsvetenskap (5), Pedagogik (2), Psykologi (1), Vårdvetenskap (3) och Biologi (1). Varför denna överrepresentation för kurser vid FKH? Är studenter som läser där mer benägna än andra att använda generativ AI för examinationsuppgifter? Förmodligen inte. Snarare handlar det om att rättande lärare har varit mer benägna att anmäla. Detta har jag också fått bekräftat från en av prefekterna. Genom att anmäla en stor mängd fall för prövning,ville institutionen påbörja en diskussion om problemet. Det går bra att se detta blogginlägg som ett bidrag till denna diskussion.

Det finns återkommande resonemang i bedömningen av de olika fallen, men först kan man notera två som är lite udda. 

I ett fall, ett examensarbete i pedagogik, fälldes studenten för en i jämförelse med de andra fallen lite intressant användning av generativ AI. Hen hade, enligt anmälan, genererat primärdata i form av intervjuer som sedan analyserats. Misstankar om AI-generering gjorde att lärare begärde ut ljudfiler från intervjuerna, som studenten också levererade. Enligt anmälningen var dessa dock inspelningar mycket korta, och gav intrycket av att vara inlästa (vilket skulle kunna tyda på användning av talsyntes). Studenten fälldes dock inte för otillåten AI-användning, utan för fabricering av intervjumaterial. 

Det andra fallet vittnar om lite klumpighet.  I en labbrapport fanns ordet “ChatGPT” med i själva texten. 

I flera av de övriga fallen finns återkommande mönster. Rättande lärare har reagerat på dålig överensstämmelse mellan refererat av och hänvisningar till källor. Det handlar om sidhänvisningar som inte stämmer med innehållet i källorna, men också om felaktiga sammanfattningar av källtexter. Texterna som studenten lämnar in är i delar helt enkelt fria fantasier. 

Att AI-system hittar på, eller ”hallucinerar”, är välkänt, och lyfts ofta fram som en stor svaghet. Det går helt enkelt inte att lita på dem när de svarar på faktafrågor. De är heller inte designade för att svara “jag vet inte” eftersom de är språkgenererande system, inte faktadatabaser. Problemet minskar stadigt, men finns fortfarande kvar om systemen inte ges direkt tillgång till en specifik källa eller till Internet. 

En lite speciell form av hallucination i vetenskapliga sammanhang, som också är återkommande i flera av fallen, är referenser till källor som inte existerar.  Detta är en av de tydligaste indikationerna på att ett AI-system har varit inblandat. I vissa fall är resultatet smått komiskt, som på kursen Små barns språkutveckling där en inlämnad text har innehållit hallucinerade referenser till verk med kursansvarig lärare som författare. En del rättande lärare har här varit noggranna och undersökt hur många referenser som saknar förankring i verkligheten. I ett fall var 13 av 21 verk i litteraturlistan påhittade. 

Ett problem med denna typ av hallucinationer är att de ser äkta ut. Jag har själv blivit lurad när jag i en publicerad vetenskaplig artikel fann referenser till över tio titlar inom mitt eget forskningsområde som jag helt hade missat i min inventering av forskningsläget. Jag blev först lite nervös, och ifrågasatte min kompetens inom området litteratursökning. Det visade sig dock vid närmare granskning att samtliga titlar var AI-hallucinationer. 

En student kan naturligtvis själv hitta på titlar på vetenskapliga artiklar och böcker, men min gissning är att dessa inte skulle vara lika övertygande. AI-systemen “vet” bättre än våra studenter hur en trovärdig titel ska se ut, och vilka tidskrifter och förlag som är rimliga att knyta en påhittad artikel till. 

Studenterna har försökt lura examinator, men har själva blivit lurade av AI, eller snarare, de har inte tagit hänsyn till, eller varit medvetna om, att AI-verktygen inte är perfekta. Flera av fallen pekar alltså inte bara på användning av generativ AI, utan också på oinitierad användning av generativ AI. Det bör här noteras att de fall som granskats är från 2024, och förmodligen har studenter använt tidigare versioner av AI-verktyg som saknar 1) tillgång till internet och 2) möjlighet att till systemet ladda upp till exempel kurslitteratur eller källtexter.  Sådana funktioner finns numera också i gratisversionen av ChatGPT och i andra AI-baserade verktyg såsom Perplexity.

På vissa kurser har misstankar om otillåten AI-användning uppkommit som ett resultat av att lärare är bekanta med studenters tidigare prestationer, och att de bedömda texterna avviker påtagligt från det förväntade. I andra fall har också uppföljande samtal med studenter om innehållet i de inlämnade texterna stärkt misstankar om att de senare inte har författat texterna själva. 

Återkommande i flera anmälningar är att lärare hänvisar till att de själva har använt AI-system (ChatGPT eller dess mindre kapabla, men av Linnéuniversitetet sanktionerade, kusin, Copilot) för att skapa jämförelsematerial. Likheter i stil, ordval och innehåll mellan studentens text och den AI-genererade texten förs fram som indikationer på otillåten användning av AI. Detta är lite vanskligt. Generativ AI är ju konstruerad för att efterlikna text skapad av människor. Lyckligtvis verkar ingen ha gjort misstaget att ladda upp studentens arbete till AI-applikationer och fråga om texten är AI-genererad. Detta är något som alla experter avråder från. Svaren man får går absolut inte att lita på. 

Av de 42 fall som jag har tittat närmare på ledde 27 till avstängning. I ett fall gav disciplinnämnden endast en varning. Återstående 14 fall lämnades utan åtgärd. Samtliga dessa 14 rör en och samma kurs: distanskursen 1KS001 Kreativt skrivande, introduktion. Som nämnts ovan var det totalt 20 ärenden inom ämnet Kreativt skrivande. Återstående 6 fall rörde kursen 1KS022 Att läsa och skriva barnlitteratur. Här fälldes samtliga studenter i disciplinnämnden, med hänvisning till påhittade referenser, felaktiga referat av källor och felaktiga hänvisningar, rörande del den av kursen som handlar om att studenten ska förhålla sig till existerande barnlitteratur. 

I flera anmälningar hänvisar lärare till sin egen förmåga att avgöra ifall texten är AI-genererad eller inte, utifrån estetiska kriterier såsom ordval och stil. I de 14 friande fallen är detta den enda grund för anklagelsen om fusk som förs fram. Forskning på området tyder på att det inte är så lätt att göra sådana bedömningar, och det verkar som om disciplinnämnden vid Linnéuniversitetet här har valt väg. 

Kursen 1KS001 Kreativt skrivande, introduktion har som mål att studenten efter avslutat kurs ska kunna:

• behärska tekniska aspekter av det skönlitterära skrivandet som dialog personskildring på en grundläggande nivå

• använda språket kreativt i en kortare, sammanhållen skönlitterär text. 

Anmälningarna rör den skönlitterära text som studenterna har producerat. I samtliga fall utgår läraren från sin professionella estetiska bedömning. Misstankarna uppstår bland annat när läraren upplever texten som maskingenererad eftersom den är “opersonlig”, “saknar röd tråd”, är “svepande”, består av “många olika ämnen som inte hänger ihop” eller innehåller många upprepningar. I flera fall har rättande lärare bifogat AI-genererade texter som jämförelsematerial. 

Men man dock notera att i några fall uppstår misstankar eftersom texten är bättre än vad man kunde förvänta sig av en student på denna nivå. En text sägs vara “i vissa delar mycket effektiv berättad, på ett sätt som inte är vanligt för en ovan författare”. En annan bedöms som “ovanligt väl sammanhållen och konsekvent”. En tredje “effektivt berättad med avsaknad av nybörjarfel” och som “en färdig roman”. 

De texter som anmäls för misstänkt, otillåten användning av AI inom kreativt skrivande är alltså antingen för dåliga eller för bra, enligt rättare lärares professionella och erfarenhetsbaserade bedömning. Denna är inte tillräcklig, enligt disciplinnämnden, som i sina friande beslut skriver följande: 

Det finns i nuläget inga säkra verktyg för att identifiera om en text är AI-genererad. Det går därför inte att uttala sig om att en text är skriven av en maskin eller en människa enbart utifrån hur texten är skriven till exempel vilket ordval som använts, språklig stil, styckeindelning eller grammatik.

Därmed är tonen satt, och förmodligen korrekt så. De studenter som fälls i disciplinnämnden gör inte det för att de texter som har lämnats in har författats av AI och är språkligt undermåliga, utan för att AI-systemen, när de har använts, har begått misstag och hallucinerat fram felaktig text utan att studenten har noterat det. Det som bedömts som vilseledande användning av generativ är, möjligen med ett undantag, resultat av dålig eller oerfaren användning av generativ AI. 

Detta är viktigt inför framtiden. Hallucinationer i AI-genererad text har minskat kraftigt, och kommer förmodligen att minska ännu mer framöver.  Studenter blir kanske mer medvetna om att systemen kan hallucinera, och bättre på att förhindra detta genom att ge systemen tillgång till kurslitteratur, samt dubbelkolla (eller be ett webbuppkopplat AI-system att dubbelkolla) inlämningar. Sådan noggrann och initierad användning av generativ AI med avsikt att fuska kommer att vara omöjlig att upptäcka. 

Vad innebär då detta? Den lösning som oftast förs fram är att helt enkelt avskaffa examinationsformer där det går att använda generativ AI. Då återstår i princip salstentamen och muntlig tentamen, alternativt muntlig uppföljning av skriftlig inlämningsuppgift, för att kontrollera så att den är skriven av studenten själv. 

Det är kanske rimligt. Men det innebär samtidigt att vi klamrar oss fast vid det förgångna och blundar för att vi är mitt uppe i en revolution när det gäller synen på vad kunskap är, och vad högre utbildning syftar till. 

De studenter som vi utbildar idag kommer, när de är klara med sin utbildning, att leva och verka i en värld där generativ AI är en självklar del av vardagen. Många uppgifter som tidigare utförts av människor med en högre examen kommer enkelt att kunna skötas av artificiella system. Vi ser det ske redan nu, inom exempelvis programmering. Ett sådant samhälle kommer att kräva förmågor hos människor att kunna arbeta med generativ AI. Kanske är det dags att påbörja en reformering av vår högre utbildning för att möta denna högst troliga framtida utveckling.

Vägen framåt är då inte att med alla till buds stående medel försöka förhindra att studenter använder sig av generativ AI, utan att istället börja kräva att de mer aktivt använder den nya tekniken i sin lärandeprocess, och därmed tillgodogör sig nya förmågor som kanske vida överstiger de förmågor som akademisk utbildning traditionellt har syftat till att utveckla. Detta kräver å sin sida att vi som utbildare och forskare ser till att skaffa oss kunskaper om hur generativ AI fungerar, och vad generativ AI kan användas till, inte i framtiden, utan nu. Det är detta som initiativet Människa-Maskin-Samhälle vill bidra till.

Jonas Svensson