Grok: Το μοντέλο Τεχνητής Νοημοσύνης που αναπτύσσει η εταιρεία X.AI Corp του Έλον Μασκ έγινε open source.
Η X.AI Corp, ιδιοκτησίας του δισεκατομμυριούχου Elon Musk, ανακοίνωσε στις 11 Μαρτίου πως θα κάνει το AI chatbot “Grok” διαθέσιμο προς όλο τον κόσμο, σε λειτουργία ανοιχτού κώδικα (open source). Σε ανάρτηση της η εταιρεία ανέφερε πως απελευθερώνει την αρχιτεκτονική του μοντέλου, το οποίο έχει συνολικά 314 δισεκατομμύρια παραμέτρους και βασίζεται στην τεχνολογία της μηχανικής μάθησης του “Mixture-of-Experts”. Στον πυρήνα της, η τεχνολογία αυτή είναι μια συνεργατική αρχιτεκτονική νευρωνικών δικτύων που αντιμετωπίζει τις προκλήσεις που παρουσιάζονται μέσα από περίπλοκα και ποικίλα σύνολα δεδομένων. Αντί να βασιστεί σε ένα ενιαίο, καθολικό μοντέλο, το “Mixture-of-Experts” χωρίζει τα δεδομένα σε κατηγορίες, δημιουργώντας έτσι ξεχωριστά υποσύνολα πληροφοριών.
«Απελευθερώνουμε τα βάρη (σ.σ.: χαρακτηριστικά που καθορίζουν την ισχύ μιας σύνδεσης μεταξύ οποιωνδήποτε δύο νευρώνων που αποτελούν το περιεχόμενο του δικτύου) του βασικού μοντέλου, και την αρχιτεκτονική δικτύου του Grok-1, του δικού μας μοντέλου Large Language. Το Grok-1 είναι ένα μοντέλο Mixture-of-Experts 314 δισεκατομμυρίων παραμέτρων που αναπτύχθηκε από το μηδέν από την xAI.
Αυτό είναι το σημείο ελέγχου του πρωτογενούς βασικού μοντέλου, από τη φάση προ-εκπαίδευσης του Grok-1, η οποία ολοκληρώθηκε τον Οκτώβριο του 2023. Αυτό σημαίνει ότι το μοντέλο δεν έχει ρυθμιστεί με ακρίβεια για κάθε συγκεκριμένη εφαρμογή, όπως π.χ. ο διάλογος.
Απελευθερώνουμε τα βάρη και την αρχιτεκτονική σύμφωνα με την άδεια Apache 2.0.»
Τον Νοέμβριο του 2023, η xAI άρχισε να κάνει προεπισκόπηση του Grok ως chatbot σε επιλεγμένους χρήστες και επί πληρωμή. Εκείνο τον καιρό, η εταιρεία περιέγραψε το Grok ως «ένα πολύ πρώιμο beta προϊόν το οποίο μπορούσε να βελτιωθεί κάθε εβδομάδα που περνάει». Ανέφερε επίσης πως βασική επιρροή για το μοντέλο υπήρξε η γνωστή κωμική σειρά “The Hitchhiker's Guide to the Galaxy” του Douglas Adams, η οποία και είναι από τα αγαπημένα έργα του Elon Musk. Δεν έλειψαν ωστόσο οι κατηγορίες για «χυδαίες» και «προσβλητικές» συχνά απαντήσεις του μοντέλου, με πιο χαρακτηριστική αυτή για τον «νόμιμο» τρόπο παρασκευής κοκαΐνης με κάθε λεπτομέρεια. Σε tweet του ο Musk υπεραμύνθηκε του Grok, λέγοντας πως είναι σχεδιασμένο ώστε να απαντάει ενίοτε και με χιούμορ.
Ο Elon Musk έχει υπάρξει ιδιαίτερα επικριτικός στο πρόσφατο παρελθόν, ως προς τις εταιρείες που δεν κάνουν open source τα AI μοντέλα τους, επικρίνοντας τες ως κερδοσκοπικές που κρατούν την τεχνολογία τους ιδιωτική. Τονίζοντας τη σημασία της υπεύθυνης ανάπτυξης της Τεχνητής Νοημοσύνης, ο Musk πρότεινε την ιδέα ενός τρίτου μέρους που θα ενεργεί ως «διαιτητής» στην ανάπτυξη της ΑΙ τεχνολογίας, διασφαλίζοντας τη διαφάνεια και τις ηθικές πρακτικές. Μίλησε τέλος για τα οφέλη των open source μοντέλων, τονίζοντας ωστόσο την ανάγκη για περισσότερα μοντέλα ανοικτού κώδικα με χρονοκαθυστέρηση (time-delayed). Ως τέτοια, χαρακτηρίζονται αυτά των οποίων ορισμένες λειτουργίες και ενημερώσεις δεν είναι διαθέσιμες για μια συγκεκριμένη περίοδο, κάτι που επιτρέπει στους προγραμματιστές να βελτιώνουν πιθανά λάθη και παραλείψεις, πριν παρουσιάσουν το τελικό προϊόν στο κοινό.
17°
