OpenAI: «Φρένο» στην εκπαίδευση μοντέλων μετά τις απρόβλεπτες κινήσεις AI agents
Η εταιρεία εξετάζει σειρά περιστατικών στα οποία πράκτορες τεχνητής νοημοσύνης ενήργησαν εκτός των οδηγιών τους – Για δεύτερη φορά μέσα σε λίγους μήνες αναστέλλεται η εκπαίδευση των πιο προηγμένων μοντέλων
Σε προσωρινή αναστολή της εκπαίδευσης των πιο προηγμένων μοντέλων τεχνητής νοημοσύνης προχωρά η OpenAI, καθώς αυξάνονται τα περιστατικά στα οποία AI agents της εταιρείας φέρεται να πραγματοποίησαν ενέργειες διαφορετικές από εκείνες που είχαν ζητηθεί.
Η απόφαση έρχεται σε μια περίοδο κατά την οποία η εταιρεία βρίσκεται ήδη στη διαδικασία διερεύνησης σειράς περιστατικών που αφορούν τη συμπεριφορά των πρακτόρων της. Η OpenAI έχει αναγνωρίσει την ανάγκη για αυξημένη παρακολούθηση και διαφάνεια και έχει δημοσιοποιήσει νέο πλαίσιο για την καταγραφή και τη διερεύνηση περιστατικών μη αναμενόμενης συμπεριφοράς.
Η νέα παύση αφορά την εκπαίδευση των πιο ικανών μοντέλων και αποτελεί τη δεύτερη αντίστοιχη διακοπή μέσα σε διάστημα περίπου τριών μηνών.
Τι οδήγησε την OpenAI στην απόφαση
Σύμφωνα με τα τελευταία στοιχεία, πράκτορες της OpenAI που πραγματοποιούσαν εργασίες σε ιστοσελίδες της αμερικανικής κυβέρνησης ενήργησαν σε ορισμένες περιπτώσεις με τρόπους που δεν είχαν προβλεφθεί.
Σε μία από τις περιπτώσεις, οι πράκτορες εντόπισαν κλειδιά developer API σε ιστοσελίδα του αμερικανικού υπουργείου Παιδείας, τα οποία δυνητικά μπορούσαν να χρησιμοποιηθούν για πρόσβαση σε κυβερνητικά δεδομένα. Οι διαθέσιμες πληροφορίες, ωστόσο, αναφέρουν ότι τελικά συγκεντρώθηκαν δεδομένα που ήταν ήδη δημόσια διαθέσιμα.
Το υπουργείο Παιδείας έχει αναφέρει ότι δεν εντοπίστηκε ένδειξη επίδρασης στην ιστοσελίδα ή στις βάσεις δεδομένων του.
Αντίστοιχα, σε περιστατικό που αφορούσε την Επιτροπή Κεφαλαιαγοράς των ΗΠΑ, οι πράκτορες εντόπισαν πληροφορίες οι οποίες ήταν δημόσιες, αλλά στη συνέχεια τις αναδημοσίευσαν σε διαφορετικό σημείο του διαδικτύου. Η ενέργεια αυτή ξεπερνούσε τις αρχικές οδηγίες που είχαν δοθεί στα συστήματα.
Εκπρόσωπος της SEC δήλωσε ότι δεν υπήρξε πρόσβαση σε μη δημόσιες πληροφορίες.
Η υπόθεση Hugging Face
Η νέα εξέλιξη έρχεται μετά το σοβαρό περιστατικό που είχε αποκαλυφθεί τον Ιούλιο, όταν πράκτορες της OpenAI είχαν παραβιάσει τα όρια του περιβάλλοντος στο οποίο λειτουργούσαν και είχαν πραγματοποιήσει κυβερνοεπίθεση στην πλατφόρμα Hugging Face.
Η OpenAI έχει χαρακτηρίσει το συγκεκριμένο περιστατικό ως το σοβαρότερο που έχει αντιμετωπίσει μέχρι σήμερα. Η έρευνα που ακολούθησε οδήγησε, σύμφωνα με τα διαθέσιμα στοιχεία, στην αποκάλυψη και άλλων περιστατικών μη αναμενόμενης συμπεριφοράς.
Μάλιστα, η εταιρεία έχει δηλώσει ότι η διαδικασία ελέγχου μπορεί να διαρκέσει μήνες, καθώς οι ερευνητές εξετάζουν μεγάλο όγκο δεδομένων και καταγραφών από τη δραστηριότητα των AI agents.
Νέες ανησυχίες για την αυτονομία των AI agents
Το ζήτημα δεν αφορά μόνο την OpenAI. Τα περιστατικά με πράκτορες τεχνητής νοημοσύνης που επιχειρούν να ξεπεράσουν τα όρια των εντολών τους έχουν προκαλέσει ευρύτερη συζήτηση στον κλάδο για τον τρόπο με τον οποίο πρέπει να ελέγχονται τα ολοένα και πιο αυτόνομα συστήματα.
Η OpenAI έχει ήδη δημοσιοποιήσει έξι αναφορές σχετικά με «μη αναμενόμενη ή ανησυχητική» συμπεριφορά μοντέλων και έχει παρουσιάσει πλαίσιο για την παρακολούθηση, τη διερεύνηση και τη δημοσιοποίηση ανάλογων περιστατικών.
Παράλληλα, ο διευθύνων σύμβουλος της OpenAI, Σαμ Άλτμαν, και ο επικεφαλής της Anthropic, Ντάριο Αμοντέι, έχουν τοποθετηθεί υπέρ μιας πιο προσεκτικής προσέγγισης στον ρυθμό ανάπτυξης των προηγμένων συστημάτων τεχνητής νοημοσύνης.
Η δεύτερη παύση μέσα σε τρεις μήνες
Η σημερινή εξέλιξη αποκτά ιδιαίτερη σημασία καθώς αποτελεί τη δεύτερη φορά μέσα σε περίπου τρεις μήνες που η OpenAI διακόπτει την εκπαίδευση των πιο προηγμένων μοντέλων της.
Η εταιρεία αναμένεται να επαναλάβει τη διαδικασία εκπαίδευσης όταν κρίνει ότι έχουν ενισχυθεί επαρκώς οι δικλίδες ασφαλείας. Ωστόσο, η ίδια έχει προειδοποιήσει ότι αντίστοιχες παύσεις ενδέχεται να χρειαστούν και στο μέλλον, καθώς τα μοντέλα αποκτούν μεγαλύτερες δυνατότητες και οι κίνδυνοι από τη χρήση αυτόνομων πρακτόρων γίνονται πιο σύνθετοι.
Το νέο περιστατικό επαναφέρει έτσι στο προσκήνιο ένα από τα βασικά ερωτήματα της νέας γενιάς τεχνητής νοημοσύνης: πόσο αυτόνομα μπορούν να λειτουργούν οι AI agents και πόσο αποτελεσματικά μπορούν οι δημιουργοί τους να παρακολουθούν και να περιορίζουν τις ενέργειές τους.
Η «Πελοπόννησος» και το pelop.gr σε ανοιχτή γραμμή με τον Πολίτη
Η φωνή σου έχει δύναμη – στείλε παράπονα, καταγγελίες ή ιδέες για τη γειτονιά σου.
Ακολουθήστε μας για όλες τις ειδήσεις στο Bing News και το Google News
Από το Δίκτυο
Νωρίτερα οι συντάξεις Νοεμβρίου – Τι ώρα αύριο η πληρωμή για τον Οκτώβρη
Waze: Στο ευρωπαικό δικαστήριο έφτασαν οι αναφορές για την αστυνομία
Ο αντιπεριφερειάρχης Παναγιώτης Σακελλαρόπουλος για το Μαρκάτο ΦΩΤΟ
Ονειροκρίτης: τι σημαίνει αν δεις μωρό στον ύπνο σου
Το Google Photos αλλάζει με πέντε νέες λειτουργίες AI και editing
