Ποια είναι η ισραηλινή startup που συνδέεται με την «αυτονόμηση» και τις κυβερνοεπιθέσεις μοντέλων ΑΙ των τεχνολογικών κολοσσών;

Τις τελευταίες δύο εβδομάδες η OpenAI, η Anthropic και η Metα (μητρική εταιρεία του Facebook και Instagram) αποκάλυψαν ότι κάποια μοντέλα τους τεχνητής νοημοσύνης ξέφυγαν από τον προβλεπόμενο έλεγχο κατά τη διάρκεια δοκιμών ρουτίνας για την ασφάλεια εισβάλλοντας στα συστήματα άλλων εταιρειών. Στις εξηγήσεις που έδωσαν και οι τρεις εταιρείες αναφέρθηκαν σε μια μικρή ισραηλινή startup: την Irregular.

Η Irregular ιδρύθηκε πριν από τρία χρόνια και έχει έδρα το Τελ Αβίβ. Πρόκειται για μια εξειδικευμένη εταιρεία στον χώρο της τεχνητής νοημοσύνης η οποία έχει εξασφαλίσει χρηματοδότηση 80 εκατομμυρίων δολαρίων από τις Sequoia και Redpoint Ventures και αποτιμήθηκε πέρυσι στα 450 εκατομμύρια δολάρια. Η τεχνολογία της λειτουργεί ουσιαστικά ως ένα είδος περιβάλλοντος δοκιμών κυβερνοασφάλειας για μοντέλα τεχνητής νοημοσύνης.

Καθώς τα κορυφαία μοντέλα γίνονται ολοένα ισχυρότερα η ικανότητά τους να ενεργούν με κακόβουλους τρόπους μετατρέπεται σε σημαντική απειλή για εταιρείες και κυβερνήσεις ιδιαίτερα καθώς ο κίνδυνος περιλαμβάνει την παραβίαση κρίσιμων πληροφοριακών συστημάτων και υποδομών.

Τα πρόσφατα περιστατικά στην OpenAI, την Anthropic και τη Metα αφορούσαν όλα μοντέλα τεχνητής νοημοσύνης που απέκτησαν πρόσβαση σε ιστοτόπους στους οποίους κανονικά δεν θα έπρεπε να έχουν πρόσβαση στο πλαίσιο των δοκιμών κυβερνοασφάλειας.

Το όνομα της Irregular επανερχόταν συνεχώς επειδή διαπιστώθηκε ότι η εταιρεία φιλοξενούσε το λεγόμενο περιβάλλον δοκιμών αξιολόγησης (evaluation testbed).

Η OpenAI ανέφερε σε ανάρτηση της ότι το περιβάλλον δοκιμών της Irregular περιείχε μια μη προσδιορισμένη «λανθασμένη ρύθμιση» η οποία «επέτρεψε στα μοντέλα να αποκτήσουν πρόσβαση στο δημόσιο Διαδίκτυο».

Η Anthropic είχε αναφέρει σε δική της ανάρτηση μία εβδομάδα νωρίτερα ότι ενημέρωσε την Irregular λίγες ημέρες αφότου άρχισε να αναλύει τα δεδομένα καθώς το μοντέλο Claude ενδέχεται να είχε «αποκτήσει πρόσβαση στο διαδίκτυο».

Η Metα η οποία βρίσκεται αρκετά πίσω από τις άλλες δύο εταιρείες στην προσπάθειά της να ανταγωνιστεί στην αιχμή της τεχνητής νοημοσύνης ήταν η τελευταία που αποκάλυψε ότι ένα μοντέλο της τεχνητής νοημοσύνης παραβίασε ένα σύστημα τρίτου μέρους αποκτώντας πρόσβαση στο Διαδίκτυο.

Εκπρόσωπος της εταιρείας δήλωσε αυτή την εβδομάδα ότι η Metα πληροφορήθηκε το περιστατικό από την Irregular και διερευνά την υπόθεση. Η Meta «θα δημοσιεύσει πλήρη αναδρομική έκθεση μόλις έχουμε όλα τα στοιχεία», δήλωσε ο εκπρόσωπος.

Η Irregular δήλωσε στο CNBC ότι όλα τα περιστατικά προέκυψαν από το «ίδιο πρόβλημα στο περιβάλλον αξιολόγησης» που είχε αποκαλυφθεί αρχικά από την Anthropic και ότι η εταιρεία ετοιμάζει μια λευκή βίβλο προκειμένου να «μοιραστεί βέλτιστες πρακτικές για τον περιορισμό και την ασφαλή διεξαγωγή αξιολογήσεων κυβερνοασφάλειας».

Η εταιρεία δήλωσε ότι η κατάσταση «δεν περιλάμβανε διαφυγή από το προστατευμένο περιβάλλον (sandbox) ούτε κάποια εξελιγμένη κυβερνοεπίθεση», προσθέτοντας ότι «δεν υπάρχουν αυτή τη στιγμή ανοιχτά ζητήματα».

Η μάχη της ΑΙ ασφάλειας

Τα περιστατικά ασφάλειας υπογραμμίζουν το πόσο γρήγορα εξελίσσεται η τεχνητή νοημοσύνη και την πίεση που αντιμετωπίζουν οι εταιρείες ανάπτυξης μοντέλων να δημιουργήσουν δικλίδες ασφαλείας γύρω από την ισχυρή τεχνολογία τους, με τη βοήθεια ενός περιορισμένου αριθμού εταιρειών που εξειδικεύονται σε συγκεκριμένους τομείς της αγοράς.

Σε αυτές περιλαμβάνονται ειδικοί στην εκπαίδευση και την επισήμανση δεδομένων, στη διεξαγωγή αξιολογήσεων για τον προσδιορισμό των δυνατοτήτων ενός μοντέλου και στην εκτέλεση δοκιμών ασφαλείας με στόχο τον εντοπισμό αδυναμιών που θα μπορούσαν να εκμεταλλευτούν κακόβουλοι παράγοντες, δήλωσε ο Σαντίπ Μπιμιρέντι επικεφαλής του τομέα AI στη νεοφυή εταιρεία Von.

«Η Irregular είναι μία από τις ελάχιστες εταιρείες που διαθέτουν την απαιτούμενη τεχνική τεχνογνωσία για να βοηθήσουν τους δημιουργούς θεμελιωδών μοντέλων να πραγματοποιούν προηγμένες δοκιμές ασφαλείας» λέει ο Μπιμιρέντι.

Άλλοι φορείς που ανέφερε είναι ο μη κερδοσκοπικός οργανισμός METR και η εταιρεία δημοσίου οφέλους Apollo Research.

«Όταν δοκιμάζουν αυτά τα μοντέλα δεν θέλουν να βαθμολογούν μόνοι τους τη δική τους εργασία. Θέλουν ανεξάρτητες δοκιμές που πρέπει να πραγματοποιούνται από εξωτερικούς συνεργάτες» εξηγεί ο Μπιμιρέντι.

Η εταιρεία

Η Irregular, πρώην Pattern Labs, ιδρύθηκε το 2023 από τον διευθύνοντα σύμβουλο Νταν Λαχάβ ο οποίος προηγουμένως εργαζόταν στην έρευνα τεχνητής νοημοσύνης στην IBM και τον επικεφαλής τεχνολογίας Ομέρ Νέβο ο οποίος είχε εργαστεί για περισσότερα από δύο χρόνια στη Google. Σύμφωνα με την PitchBook η startup απασχολεί περίπου 35 εργαζομένους.

Όταν η Irregular ανακοίνωσε τον Σεπτέμβριο τον γύρο χρηματοδότησης των 80 εκατομμυρίων δολαρίων στελέχη της έγραψαν σε ανάρτησή τους ότι η ομάδα υπό τους Λαχάβ και Νέβο «μπορεί να βλέπει γύρω από γωνίες που οι άλλοι δεν μπορούν», πραγματοποιώντας επιθετικές αξιολογήσεις κυβερνοασφάλειας σε προηγμένα μοντέλα και αναπτύσσοντας άμυνες πριν από την κυκλοφορία αυτών των μοντέλων.

Παρότι τα τελευταία περιστατικά που αφορούν τις OpenAI, Anthropic και Metα εξετάζονται εξονυχιστικά, μια ερμηνεία της κατάστασης είναι ότι αυτό ακριβώς έπρεπε να συμβεί.

Ο Μπιμιρέντι δήλωσε ότι η υπόθεση έχει «διογκωθεί κάπως», καθώς το μοντέλο τεχνητής νοημοσύνης είχε την εντολή να εντοπίσει και να εκμεταλλευτεί κενά ασφαλείας σε ένα περιβάλλον δοκιμών που μιμείται σε μεγάλο βαθμό τον πραγματικό κόσμο καθώς και να ανακαλύψει σφάλματα λογισμικού και παραλείψεις στις ρυθμίσεις που θα μπορούσαν να οδηγήσουν σε ακούσια πρόσβαση στο διαδίκτυο.

Ωστόσο σημείωσε ότι εάν το μοντέλο AI δεν προοριζόταν ποτέ να εκμεταλλευτεί πραγματικά έναν ιστότοπο συνδεδεμένο στο Διαδίκτυο τα εργαστήρια που αναπτύσσουν τα θεμελιώδη μοντέλα «θα μπορούσαν εύκολα να είχαν παρακολουθήσει την εξερχόμενη κίνηση και να είχαν τερματίσει αμέσως το πείραμα».

Ο Γκόρντον Ρίος ιδρυτικός επιστήμονας της εταιρείας κυβερνοασφάλειας Magnitude, δήλωσε ότι ολόκληρη η διαδικασία μοιάζει με «πειραματικό σχεδιασμό στην επιστήμη».

Οι δυνατότητες και η απρόβλεπτη φύση των θεμελιωδών μοντέλων σημαίνουν ότι οι συμβατικές προσεγγίσεις δοκιμών λογισμικού ενδέχεται να μην λειτουργούν αποτελεσματικά λέει ο Ρίος.

Καθώς τα μοντέλα μαθαίνουν συνεχώς νέα τεχνάσματα δεν προκαλεί έκπληξη το γεγονός ότι θα μπορούσαν να ανακαλύψουν παραμελημένες ευπάθειες λογισμικού στα περιβάλλοντα δοκιμών και πληροφορικής που έχουν σχεδιαστεί για να τα περιορίζουν.

Το Mythos της Anthropic, για παράδειγμα, δημιούργησε ψεύτικες διαδικτυακές ταυτότητες στην προσπάθειά του να πιέσει ανθρώπους να εγκρίνουν κακόβουλες ενημερώσεις κώδικα για ένα έργο ανοιχτού κώδικα.

Ο Rios δήλωσε ότι το Mythos «κυριολεκτικά επινοούσε τρόπους εκμετάλλευσης που οι άνθρωποι δεν είχαν καν δει στο παρελθόν. Μαθαίνουμε πάρα πολλά αυτή τη στιγμή, μέσα σε διάστημα μόλις λίγων εβδομάδων».

Η πρώτη αντίδραση

Τον περασμένο μήνα νομοθέτες και από τα δύο μεγάλα κόμματα των ΗΠΑ παρουσίασαν τον νόμο «AI Kill Switch Act» ο οποίος θα απαιτεί από τα εργαστήρια τεχνητής νοημοσύνης να διατηρούν τη δυνατότητα να τερματίζουν, να περιορίζουν ή να αναστέλλουν τη λειτουργία των μοντέλων τους.

Το νομοσχέδιο αναφέρεται σε ένα ξεχωριστό περιστατικό ασφαλείας που αφορούσε την OpenAI και τη startup Hugging Face.

Ένας από τους συντάκτες του νομοσχεδίου, ο Δημοκρατικός βουλευτής Τεντ Λιού από την Καλιφόρνια δήλωσε στο CNBC: «Πρέπει να ολοκληρώσουμε την ψήφιση αυτού του νομοσχεδίου μέσα στη φετινή χρονιά», τώρα που βλέπουμε «μη εξουσιοδοτημένες παραβιάσεις άλλων εταιρειών».

Ο Τρέβορ Κοβέρκο συνιδρυτής της startup Sapien, η οποία δραστηριοποιείται στην εκπαίδευση δεδομένων, δήλωσε ότι οι εταιρείες που αναπτύσσουν θεμελιώδη μοντέλα έχουν κίνητρο να δημοσιοποιούν ορισμένα από τα ευρήματά τους, παρότι προς το παρόν δεν υπάρχει σχετική υποχρέωση, ώστε να προσπαθήσουν να προλάβουν τους νομοθέτες και τις ρυθμιστικές αρχές.

«Υπάρχει τόσος φόβος εκεί έξω, ώστε οι πολιτικοί πλέον απειλούν να ρυθμίσουν ή ρυθμίζουν ενεργά την τεχνητή νοημοσύνη. Ο κλάδος είπε ότι προτιμούμε να αυτορυθμιστούμε, παρά να έρθει κάποια νέα ομοσπονδιακή υπηρεσία και να το κάνει για εμάς» λέει ο Κοβέρκο.

Η Anthropic και η OpenAI δήλωσαν δημοσίως ότι συνεχίζουν να συνεργάζονται με την Irregular και υποστηρίζουν την έρευνα που βρίσκεται σε εξέλιξη.

Naftemporiki.gr με πληροφορίες από CNBC

Προτιμώμενη πηγή στην Google

Για να εμφανίζονται περισσότερα άρθρα της Ναυτεμπορικής στις αναζητήσεις σας εύκολα και γρήγορα, πρέπει να προσθέσετε το site στις προτιμώμενες πηγές σας. Μπορείτε να το κάνετε πηγαίνοντας εδώ.