Treffer: How Effort in Introductory Programming Has Changed with the Advent of Generative AI

The proliferation of powerful general purpose generative AI tools have raised concerns regarding its implications on the future of education. In order to benefit learning, education might often be centered around a form of examination that promotes continual effort on the part of the students, such as assignments and labs. This examination is by necessity unsupervised and thus more open to cheating than traditional forms of examination, such as written exams. Cheating does not only raise concerns of academic integrity but also actively damage the students learning. Although cheating has always existed, generative AI makes it easier than ever before. The aim of this report is to study how the perceived effort of student in an introductory programming course might have changed over the period when generative AI became readily available. This was done by equating effort for code quality, which was measured using tools for code analysis. 9 years of student submissions to weekly programming assignments were analyzed. Although a rework of the course in 2022, coinciding with the advent of generative AI, obfuscated comparisons of code submitted before and after, the analysis indicates trend toward better structured but more complex code in the period since 2022. Whether this indicates a shift in proficiency of the student, or is a sign of increased AI reliance is unclear.
Spridningen av kraftfulla AI-verktyg har väckt oro över dess konsekvenser på högre utbildningens framtid. För att gynna inlärning kan utbildningar ofta tillämpa olika former av examination som främjar kontinuerligt arbete, såsom inlämningar och laborationer. Denna examinationsform är av nödvändighet oövervakad och därmed mer öppen för fusk än traditionella former av examination, såsom övervakade prov. Fusk är inte bara ett problem för akademisk integritet utan skadar också studenternas lärande. Även om fusk alltid har funnits, gör generativ AI det enklare än någonsin. Syftet med denna rapport är att studera hur upplevd ansträngning i en introduktionskurs i programmering kan ha förändrats under den period då generativ AI blivit allt vanligare. Detta gjordes genom att likställa ansträngning med kodkvalitet, vilket mättes med hjälp av verktyg för kodanalys. 9 år av studentinlämningar till veckovisa programmeringsuppgifter analyserades. Även om kursen omarbetades 2022, vilket sammanföll med tillkomsten av generativ AI och därmed obfuskerade jämförelser av kod som skickats in före och efter, indikerar analysen en trend mot bättre strukturerad men mer komplex kod under perioden sedan 2022. Huruvida detta indikerar en förändring i studentens kompetens eller är ett tecken på ökat beroende av AI är oklart.