Dovremmo essere tutti preoccupati per l'IA che si infiltra nel lavoro di crowdsourcing

Un nuovo documento dei ricercatori dell'università svizzera EPFL suggerisce che tra il 33% e il 46% dei crowd worker distribuiti sul servizio Mechanical Turk di Amazon sembra aver "imbrogliato" durante l'esecuzione di un particolare compito loro assegnato, poiché hanno utilizzato strumenti come ChatGPT per farlo parte del lavoro.
Se tale pratica è diffusa, potrebbe rivelarsi un problema piuttosto serio.
Il Turco Meccanico di Amazon è stato a lungo un rifugio per sviluppatori frustrati che vogliono che il lavoro venga svolto da esseri umani.
In poche parole, è un'interfaccia di programmazione dell'applicazione (API) che fornisce compiti agli umani, che li eseguono e poi restituiscono i risultati.
Queste attività sono generalmente del tipo in cui vorresti che i computer fossero migliori.
Secondo Amazon, un esempio di tali compiti sarebbe: “Disegnare riquadri di delimitazione per costruire set di dati di alta qualità per modelli di visione artificiale, dove il compito potrebbe essere troppo ambiguo per una soluzione puramente meccanica e troppo vasto anche per un grande team di esperti umani.
" I data scientist trattano i set di dati in modo diverso a seconda della loro origine, se sono generati da persone o da un modello di linguaggio di grandi dimensioni (LLM).
Tuttavia, il problema qui con Mechanical Turk è peggiore di quanto sembri: l'intelligenza artificiale è ora disponibile a un prezzo così basso che i product manager che scelgono di utilizzare Mechanical Turk su una soluzione generata da una macchina si affidano al fatto che gli umani siano migliori in qualcosa rispetto ai robot.
Avvelenare quel pozzo di dati potrebbe avere gravi ripercussioni.
"Distinguere gli LLM dal testo generato dall'uomo è difficile sia per i modelli di apprendimento automatico che per gli esseri umani", hanno affermato i ricercatori.
I ricercatori hanno quindi creato una metodologia per capire se i contenuti basati su testo sono stati creati da un essere umano o da una macchina.
Il test prevedeva di chiedere ai lavoratori in crowdsourcing di condensare gli abstract della ricerca dal New England Journal of Medicine in riassunti di 100 parole.
Vale la pena notare che questo è esattamente il tipo di attività in cui le tecnologie di intelligenza artificiale generativa come ChatGPT sono brave.