Op basis van de zoekresultaten kunnen wetenschappers AI-gegenereerde teksten op de volgende manieren detecteren:
- Analyse van “overbodige woorden”:
Onderzoekers hebben ontdekt dat AI-gegenereerde teksten vaak bepaalde overbodige woorden bevatten die vóór de opkomst van AI-schrijftools zelden werden gebruikt in wetenschappelijke publicaties. Voorbeelden zijn Engelse woorden als ‘delves’, ‘showcasing’ en ‘underscores’. Door de frequentie van deze woorden te analyseren, kunnen ze AI-gegenereerde teksten identificeren. - Vergelijking voor/na de opkomst van AI-tools:
Door wetenschappelijke papers van voor en na eind 2022 (toen ChatGPT werd gelanceerd) te vergelijken, zien onderzoekers een abrupte toename in het gebruik van bepaalde woorden en schrijfstijlen die kenmerkend zijn voor AI. - Analyse van schrijfstijl:
Menselijke wetenschappers schrijven vaak langere paragrafen en gebruiken meer “dubbelzinnig” taalgebruik met woorden als “maar”, “echter” en “hoewel”. AI-teksten missen vaak deze nuance. - Gestandaardiseerde classificatiemethoden:
Onderzoekers hebben een model ontwikkeld dat op basis van 20 kenmerken met meer dan 99% nauwkeurigheid kan bepalen of een tekst door een mens of AI is geschreven. - Analyse van “markerwoorden”:
Door honderden woorden te identificeren die significant vaker voorkomen in teksten na de opkomst van AI-tools, kunnen onderzoekers schatten hoeveel papers met AI-assistentie zijn geschreven.
Het is echter belangrijk op te merken dat deze methoden niet onfeilbaar zijn en dat AI-tools zich blijven ontwikkelen. Bovendien zegt de detectie van AI-gebruik niet noodzakelijk iets over de kwaliteit of acceptatie van de tekst in academische context.