Testi ChatGPT rilevabili - il modello riconosce in modo affidabile il plagio AI

Gli articoli di ChatGPT devono apparire il più naturali possibile, modellati sulla scrittura umana con cui l'AI è stata addestrata. È quindi difficile distinguere il testo plagiato dalla scrittura reale.

I precedenti tentativi di rilevare automaticamente i testi generati dall'AI hanno avuto un tasso di successo ben inferiore al 50% in alcuni casi. Il 99% sembra molto diverso e molto più promettente.

Un team dell'Università del Kansas, che ha pubblicato i suoi risultati il 6 novembre 2023 su sciencedirect.comè riuscito a sviluppare un sistema in grado di segnalare in modo affidabile gli articoli scientifici creati artificialmente.

Area ristretta di funzionamento

Nell'impostazione del test, i testi di tredici riviste scientifiche, tutte riguardanti la chimica, sono stati confrontati con un totale di 200 testi provenienti dal GPT-3.5 o GPT-4.

Secondo gli autori, 198 di questi testi sono stati riconosciuti come generati dall'AI, il che corrisponde a un tasso del 99%. Il riconoscimento si è basato su 20 caratteristiche del testo, come la lunghezza variabile delle frasi, la ricorrenza tipica di alcune parole o la punteggiatura. Inoltre, la formazione è stata effettuata con numerosi testi scientifici del settore della chimica.

Questa combinazione di struttura e linguaggio classici dei testi scientifici e la concentrazione su un'area tematica sono responsabili dell'affidabilità del sistema.

In un ulteriore test con articoli provenienti da un sito di notizie, tuttavia, il rilevatore ha fallito completamente. Praticamente nessuna notizia creata artificialmente è stata identificata come tale.

Tuttavia, sembra promettente che si possa raggiungere un tasso di successo così alto con strumenti come l'analisi del testo per aree tematiche specifiche.