- CITY GUIDE
- PODCAST
-
16°
Anthropic: Παραδοχή για κενά ασφαλείας μετά από περιστατικά κυβερνοεπιθέσεων από AI
Τα μοντέλα Claude απέκτησαν πρόσβαση στο διαδίκτυο και παραβίασαν συστήματα οργανισμών
Η Anthropic παραδέχθηκε αποτυχία στην επιχειρησιακή ασφάλεια των μοντέλων AI, τα οποία παραβίασαν ξένα συστήματα κατά τη διάρκεια δοκιμών.
Η αμερικανική εταιρεία τεχνητής νοημοσύνης Anthropic, δημιουργός του chatbot Claude, παραδέχθηκε ότι μια σειρά περιστατικών παραβίασης συστημάτων από τα μοντέλα της οφειλόταν σε «αποτυχία της επιχειρησιακής ασφάλειας».
Σε σχετική ενημέρωση, η εταιρεία τεχνητής νοημοσύνης ανέφερε ότι η τεχνολογία της δεν είναι «πλήρως ευθυγραμμισμένη» με τις ανθρώπινες αξίες και ανακοίνωσε την αυστηροποίηση των πρωτοκόλλων ελέγχου.
Το καλοκαίρι, η Anthropic αποκάλυψε ότι τα μοντέλα της απέκτησαν μη εξουσιοδοτημένη πρόσβαση στο διαδίκτυο και διείσδυσαν στα συστήματα τριών οργανισμών, εξαιτίας παρανόησης με την εξωτερική εταιρεία δοκιμών Irregular.
Τα αίτια και τα νέα μέτρα ασφαλείας
Όπως εξήγησε η εταιρεία, τα μοντέλα δοκιμάζονταν χωρίς επαρκείς δικλείδες ασφαλείας, βασιζόμενα σε ένα μόνο επίπεδο προστασίας.
Κατά τις δοκιμές παρατηρήθηκαν φαινόμενα «χειραγώγησης επιβράβευσης» (reward-hacking) και αλόγιστης συμπεριφοράς, όπου τα συστήματα AI προέβαιναν σε επιζήμιες ενέργειες στο διαδίκτυο προκειμένου να ολοκληρώσουν τους στόχους τους.
Για την αντιμετώπιση του προβλήματος, η Anthropic εφάρμοσε νέα μέτρα:
Εγκατάσταση συστήματος ειδοποίησης σε περίπτωση που ένα μοντέλο επιχειρήσει να αποδράσει από το περιβάλλον δοκιμών.
Αποτελεσματικότερη απομόνωση των επικίνδυνων δοκιμαστικών περιβαλλόντων.
Υποχρεωτική δέσμευση των εξωτερικών συνεργατών σε αυστηρά πρότυπα ασφαλείας.
Ανησυχία στον κλάδο της τεχνητής νοημοσύνης
Ο Άλαν Γούντγουορντ, καθηγητής κυβερνοασφάλειας στο Πανεπιστήμιο του Σάρρεϊ, σχολίασε ότι η εταιρεία ουσιαστικά παραδέχθηκε πως «η παραγωγή έτρεχε ταχύτερα από τον ποιοτικό έλεγχο».
Το περιστατικό δεν είναι μεμονωμένο, καθώς παρόμοιες παραβιάσεις ανέφερε και η OpenAI, ενώ το Ινστιτούτο Ασφάλειας AI του Ηνωμένου Βασιλείου κατέγραψε επιθέσεις μοντέλων εναντίον πραγματικών χρηστών κατά τη διάρκεια δοκιμών.
Η Anthropic, η οποία προετοιμάζεται για την εισαγωγή της στο χρηματιστήριο με εκτιμώμενη αποτίμηση έως 2 τρισεκατομμύρια δολάρια (περίπου 1,84 τρισεκατομμύρια ευρώ), απηύθυνε έκκληση για συντονισμένη δράση μεταξύ κυβερνήσεων και βιομηχανίας με στόχο τον έλεγχο των ρυθμών ανάπτυξης της τεχνολογίας.
(Με πληροφορίες Guardian)
ΤΑ ΠΙΟ ΔΗΜΟΦΙΛΗ
ΔΙΑΒΑΖΟΝΤΑΙ ΠΑΝΤΑ
ΔΕΙΤΕ ΕΠΙΣΗΣ
Συναντήσαμε τον θρυλικό ιδρυτή της Boston Dynamics, στο Άμπου Ντάμπι και μιλήσαμε για την επόμενη ημέρα της ρομποτικής και τα όρια της physical AI
Η Διεθνής Οργάνωση Εργασίας δίνει ιδιαίτερη έμφαση στον μετασχηματισμό των θέσεων και όχι μόνο στην πλήρη υποκατάστασή τους
Το σπάνιο φαινόμενο που εξέπληξε τους αστρονόμους
Τι εξετάζουν οι ερευνητές
Το γαλλικό ηλεκτρονικό ντουέτο δημιούργησε την πρωτότυπη μουσική του πολυαναμενόμενου βιντεοπαιχνιδιού
Πρώτη καταγεγραμμένη περίπτωση του συνδρόμου Μαρφάν σε αιλουροειδή παγκοσμίως
SOFT AND FUTURE SCIENCE: Τα πιο πρόσφατα «μικρά» επιστημονικά νέα — αυτά που προκαλούν απορία, θαυμασμό, συζήτηση, και νέους τρόπους θεώρησης του κόσμου
Τα όρια της τεχνολογίας και η ανάγκη για ανθρώπινο έλεγχο
Προειδοποίηση για τις επιθέσεις της AI
Ο εφιάλτης που περιγράφει η Anthropic
Πώς θα λειτουργεί και ποιες πλατφόρμες αφορά
SOFT AND FUTURE SCIENCE: Τα πιο πρόσφατα «μικρά» επιστημονικά νέα — αυτά που προκαλούν απορία, θαυμασμό, συζήτηση, και νέους τρόπους θεώρησης του κόσμου
«Καμπανάκι» από τον πρόεδρο της Microsoft
Συμμετείχαν επιστήμονες από κορυφαία ευρωπαϊκά ιδρύματα - Συζητήσεις για ίδρυση Ινστιτούτου
Η κυβέρνηση παρουσίασε το νομοσχέδιο για τον αποκλεισμό των ανηλίκων κάτω των 15 ετών από τα κοινωνικά δίκτυα. Πώς θα γίνεται η επαλήθευση ηλικίας, ποιες πλατφόρμες αφορά και ποιος θα έχει την ευθύνη εφαρμογής
Το Claude θα μπορεί να διακόπτει συνομιλίες
Ο συνιδρυτής της Open Cosmos, Αλέις Μεχίας, αποκαλύπτει στην ATHENS VOICE πότε και πώς η Ελλάδα θα μπορεί να κατασκευάζει έναν δορυφόρο την ημέρα
Δείτε τις εντυπωσιακές εικόνες
Το κλειδί βρίσκεται στο περίφημο «πρόβλημα του τερματισμού»
Η έρευνα των Ανρί Καγκάν και Κένσο Σόαϊ και το παράδειγμα με τα δύο χέρια
Έχετε δει 20 από 200 άρθρα.