Τα εργαλεία μεταγραφής AI δημιουργούν επιβλαβείς επινοήσεις

Οι μεταγλωττιστές ομιλίας σε κείμενο έχουν γίνει ανεκτίμητοι, αλλά μια νέα μελέτη δείχνει ότι όταν η τεχνητή νοημοσύνη κάνει λάθος, το κείμενο που προκύπτει είναι συχνά επιβλαβές. Τα εργαλεία απομαγνητοφώνησης της τεχνητής νοημοσύνης έχουν γίνει εξαιρετικά ακριβή και έχουν μεταμορφώσει τον τρόπο με τον οποίο οι γιατροί κρατούν τα αρχεία των ασθενών ή τον τρόπο με τον οποίο κρατάμε τα πρακτικά των συνεδριάσεων. Γνωρίζουμε ότι δεν είναι τέλεια, οπότε δεν μας κάνει εντύπωση όταν η μεταγραφή δεν είναι ακριβώς σωστή.

Μια νέα μελέτη διαπίστωσε ότι όταν οι πιο προηγμένες μεταγραφές τεχνητής νοημοσύνης, όπως το Whisper της OpenAI, κάνουν λάθη, δεν παράγουν απλώς αλλοιωμένο ή τυχαίο κείμενο. Παρουσιάζουν ολόκληρες φράσεις και συχνά είναι ανησυχητικά. Γνωρίζουμε ότι όλα τα μοντέλα τεχνητής νοημοσύνης επινοούν κάτι όταν δεν γνωρίζουν την ερώτηση. Όταν το ChatGPT δεν ξέρει μια απάντηση σε μια ερώτηση, συχνά επινοεί κάτι αντί να πει “δεν ξέρω”.

Ερευνητές από το Πανεπιστήμιο Κορνέλ, το Πανεπιστήμιο της Ουάσιγκτον, το Πανεπιστήμιο της Νέας Υόρκης και το Πανεπιστήμιο της Βιρτζίνια διαπίστωσαν ότι, παρόλο που το API Whisper ήταν καλύτερο από άλλα εργαλεία, εξακολουθεί να επινοεί πραγμάτα που δεν υπάρχουν σε ποσοστό λίγο πάνω από 1% του χρόνου. Το πιο σημαντικό εύρημα είναι ότι όταν ανέλυσαν το κείμενο, διαπίστωσαν ότι “το 38% των επινοήσεων περιλαμβάνει σαφείς βλάβες, όπως η διαιώνιση της βίας, η δημιουργία ανακριβών συσχετισμών ή η υποκρισία ψευδούς εξουσίας”.

Φαίνεται ότι στο Whisper δεν αρέσουν οι αμήχανες σιωπές, οπότε όταν υπήρχαν μεγαλύτερες παύσεις στην ομιλία είχε την τάση να επινοεί περισότερα πράγματα για να γεμίσει τα κενά.

Οι ερευνητές ταξινόμησαν τις επιβλαβείς επινοήσεις ως εξής:

• Διαιώνιση της βίας: Επινοήσεις που απεικόνιζαν βία, σεξουαλικά υπονοούμενα ή περιείχαν δημογραφικά στερεότυπα.
• Ανακριβείς συσχετισμοί: Επινοήσεις που εισήγαγαν ψευδείς πληροφορίες, όπως λανθασμένα ονόματα, φανταστικές σχέσεις ή λανθασμένες καταστάσεις υγείας.
• Ψευδής εξουσία: Αυτές οι επινοήσεις περιλάμβαναν κείμενο που υποδυόταν έγκυρες προσωπικότητες ή μέσα ενημέρωσης, όπως YouTubers ή παρουσιαστές ειδήσεων, και συχνά περιλάμβαναν οδηγίες που θα μπορούσαν να οδηγήσουν σε μορφές εξαπάτησης.
•  

Μπορείτε να φανταστείτε πόσο επικίνδυνα μπορεί να είναι αυτά τα λάθη, αν υποτεθεί ότι οι μεταγραφές είναι ακριβείς κατά την τεκμηρίωση μιας κατάθεσης μάρτυρα, μιας τηλεφωνικής κλήσης ή των ιατρικών αρχείων ενός ασθενούς.

Η OpenAI φαίνεται να έχει διορθώσει το πρόβλημα, αλλά δεν έχει δώσει εξήγηση για το γιατί το Whisper συμπεριφέρθηκε με τον τρόπο που συμπεριφέρθηκε. Όταν οι ερευνητές δοκίμασαν τις νεότερες εκδόσεις του Whisper είχαν πολύ λιγότερες προβληματικές επινοήσεις. Οι επιπτώσεις ακόμη και ελαφρών ή πολύ λίγων επινοήσεων στις μεταγραφές θα μπορούσαν να είναι σοβαρές.

Οι ερευνητές δήλωσαν ότι το OpenAI θα πρέπει να ενημερώσει τους ανθρώπους ότι το Whisper παράγει επινοήσεις και προτείνουν οι νεότερες εκδόσεις του Whisper να σχεδιαστούν ώστε να εξυπηρετούν καλύτερα τις υποβαθμισμένες κοινότητες, όπως τα άτομα με αφασία και άλλα προβλήματα ομιλίας.