Και θα μάθουμε την απάντηση πριν είναι πολύ αργά;
«Τη στιγμή του θανάτου, οι άνθρωποι έχουν συχνά μια συντριπτική ανάγκη να βγάλουν το μεγαλύτερο μυστικό από το στήθος τους: είτε πρόκειται για φόνο, πλαστές ταυτότητες, παράνομες σχέσεις ή κορυφαία κυβερνητικά μυστικά.
Αυτή είναι η εισαγωγή σε ένα από τα πιο διάσημα podcast στον κόσμο, Deathbed Confessions.
Αλλά ενώ δεν έχω κανένα από αυτά τα μυστικά, ούτε θα πεθάνω σύντομα (ελπίζω), υπάρχει κάτι που πραγματικά χρειάζεται να ξεκολλήσω από το στήθος μου: ο φόβος ότι πραγματικά δεν καταλαβαίνουμε τι δημιουργούμε στην τεχνητή νοημοσύνη και τους κινδύνους ότι συνεπάγεται.
Από αυτόνομους πράκτορες ρομπότ που αποφασίζουν να διοργανώσουν τα πάρτι του Αγίου Βαλεντίνου μέχρι το πρόβλημα του συνδετήρα, οι άνθρωποι αρχίζουν να λαμβάνουν αρκετά εξαιρετικά ανησυχητικά σήματα για το πώς δεν υπό τον έλεγχο η ανθρωπότητα είναι πραγματικά εδώ.
Αυτό δείχνει μια επικίνδυνη συνειδητοποίηση:
Αν χτίσουμε κάτι ανώτερο από εμάς που δεν ευθυγραμμίζεται με τους ανθρώπινους στόχους, Αυτό αντιπροσωπεύει μια αναμφισβήτητη απειλή για την επιβίωση της ανθρωπότητας.
Είναι όμως όλο αυτό τρομοκρατικό και απλώς χτίζουμε τον απόλυτο μιμητή ή κάτι πολύ πιο ισχυρό που επικίνδυνα δεν καταλαβαίνουμε;
Αυτή η ανάρτηση βασίζεται σε ειδήσεις και προβληματισμούς που παρουσιάστηκαν προηγουμένως στο εβδομαδιαίο ενημερωτικό δελτίο μου, μια νέα ανακεφαλαίωση τεχνητής νοημοσύνης με προσωπικά άρθρα που προκαλούν σκέψη και κορυφαίες ειδήσεις τεχνητής νοημοσύνης για να παραμείνετε μπροστά από την καμπύλη με την τεχνητή νοημοσύνη.
Εγγραφείτε δωρεάν εδώ.
Αρχικά, ας ξεκινήσουμε με αυτό που εμείς κάνω ξέρω.
Τα μοντέλα μεγάλων γλωσσών, είτε πρόκειται για GPT, LLaMa, LaMDa, Dolly ή PalM, έχουν όλα την ίδια δομή και τον ίδιο στόχο εκπαίδευσης.
Είναι αρχιτεκτονικές Transformer που έχουν εκπαιδευτεί να προβλέπουν την επόμενη λέξη σε μια ακολουθία.
Αλλά γιατί το Transformer έγινε πρόσφατα η βασική ανακάλυψη πίσω από όλα τα πράγματα AI;
Optimus Prime, Megatron και Bumblebee
Ένας μετασχηματιστής είναι μια αρχιτεκτονική που αποτελείται από δύο πράγματα: έναν κωδικοποιητή και έναν αποκωδικοποιητή, δύο έννοιες που, αν κατανοηθούν, σας επιτρέπουν να κατανοήσετε σχεδόν οποιοδήποτε μοντέλο τεχνητής νοημοσύνης τελευταίας τεχνολογίας στις μέρες μας.
- Κωδικοποιητής: Από την είσοδο το περνά μέσα από μια σειρά από επίπεδα κωδικοποίησης που, χρησιμοποιώντας την έννοια του αυτοπροσοχή για να φτιάξετε τις διαφορετικές λέξεις σε μια πρόταση ‘ΜΙΛΑ ρε’προσδιορίζει το πλαίσιο των λέξεων εισαγωγής και τις μετατρέπει σε λανθάνοντα — συμπιεσμένα — διανύσματα υψηλής διάστασης που συμπιέζουν τις μαθημένες αναπαραστάσεις (πλαίσιο και μήνυμα) σε αριθμούς.
Η συμπίεση λέξεων (ή ομάδων 3 έως 4 λέξεων που ονομάζονται tokens, για να είμαστε συγκεκριμένοι) σε διανύσματα έχει τρία πλεονεκτήματα:
– Μετατρέποντας τη φυσική γλώσσα σε αριθμούς, επιτρέπει στις μηχανές να κατανοούν τη γλώσσα
– Αποτελώντας μια συμπιεσμένη αναπαράσταση των πραγματικών δεδομένων, είναι φθηνότερο να δουλέψεις
– Μετατρέποντας όλα τα δεδομένα σε διανύσματα, δίνεται στα δεδομένα κατεύθυνση και θέση σε ένα χώρο υψηλών διαστάσεων, καθιστώντας αυτά τα διανύσματα συγκρίσιμα. Όσο πιο κοντά είναι δύο διανύσματα, τόσο πιο όμοιο είναι το πλαίσιο των αρχικών δεδομένων, μια έννοια που ορίζεται ως συνάφεια.
3. Αποκρυπτογράφος: Μόλις το μοντέλο μάθει όλες τις σημαντικές αναπαραστάσεις των δεδομένων, ο αποκωδικοποιητής θα μετατρέψει με τη σειρά του αυτά τα λανθάνοντα διανύσματα σε φυσική γλώσσα, μία λέξη τη φορά.
Συνοπτικά, ο κωδικοποιητής μαθαίνει το πλαίσιο και το μήνυμα της εισόδου που του δώσατε και το μετατρέπει σε λανθάνοντα διανύσματα.
Στη συνέχεια, ο αποκωδικοποιητής θα χρησιμοποιήσει αυτά τα λανθάνοντα διανύσματα και θα αποκωδικοποιήσει τις πληροφορίες για να τις μετατρέψει στην επόμενη λέξη.
Και αυτό είναι το Transformer σε υψηλό επίπεδο. Δεν είναι το νεότερο μέλος του πληρώματος του Optimus Prime, αλλά αλλάζει τον κόσμο με τον δικό του τρόπο.
Αλλά το ChatGPT και παρόμοια LLM έχουν μια περίεργη ιδιαιτερότητα που τα κάνει ξεχωριστά.
Όταν χρειάζεται μόνο το μισό
ChatGPT, Claude ή Bard, τρέχουν από πάνω μόνο για αποκωδικοποιητή αρχιτεκτονικές.
Αυτό σημαίνει ότι όταν τους στέλνετε τη συνθήκη κειμένου, απλώς μετατρέπουν αυτήν την είσοδο σε ενσωματώσεις —χωρίς κωδικοποιητή— μεταφέροντάς τους μέσα από τα επίπεδα του αποκωδικοποιητή για να δημιουργήσουν αυτήν την πρώτη λέξη.
Μετά η επόμενη λέξη.
Και ούτω καθεξής.
Αλλά περίμενε, πώς μπορεί το μοντέλο να το κάνει αυτό χωρίς κωδικοποιητή;
Λοιπόν, επειδή στην πραγματικότητα δεν το χρειάζεται, όπως θα δούμε παρακάτω, και εν μέρει χάρη στο μεγάλο μυστήριο που αφορά τους LLMs.
Από το Optimus Prime στον Jim Carrey
Καθώς οι μάσκες έπαιξαν τεράστιο ρόλο στο να γίνει ο Jim Carrey μια θρυλική φιγούρα στη λαογραφία χάρη σε Η ΜΑΣΚΑτυχαίνει να είναι επίσης μια εξαιρετικά σημαντική έννοια στα μοντέλα μεγάλων γλωσσών.
Στην πραγματικότητα, είναι η κύρια ιδέα που διαφοροποιεί έναν κωδικοποιητή από έναν αποκωδικοποιητή.
Ενώ τα επίπεδα κωδικοποίησης δημιουργούν κάθε λέξη ‘ΜΙΛΑ ρε’ με όλες τις άλλες λέξεις της σειράς, στρώματα αποκωδικοποιητή μάσκα μελλοντικές λέξεις, ώστε κάθε λέξη να μπορεί να μιλά μόνο με τις προηγούμενες, επιτρέποντας στο ChatGPT να δημιουργεί λέξεις με αυτοπαλινδρομικό τρόπο (με βάση μόνο προηγούμενες λέξεις).
Αλλά αν το ChatGPT χρησιμοποιεί μόνο αποκωδικοποιητή και εξακολουθεί να παράγει εκπληκτικά αποτελέσματα, γιατί θα χρειαστούμε ποτέ έναν κωδικοποιητή;
Λοιπόν, για την κριτική έννοια της αυτόματης μετάφρασης.
Άνθρωποι μεταφραστές, θάνατος από AI
Κατά τη μετάφραση μιας πρότασης από μια γλώσσα σε μια άλλη γλώσσα, οι προτάσεις μπορούν να οργανωθούν με πολύ διαφορετικούς τρόπους.
Για παράδειγμα, οι Γάλλοι δομούν τις προτάσεις με διαφορετικό τρόπο από τον τρόπο που οι Άγγλοι συναρμολογούν τις δικές τους.
Για αυτόν τον λόγο, τα μοντέλα Μηχανικής Μετάφρασης πρέπει, για κάθε λέξη, να κοιτάζουν όλες τις άλλες λέξεις της σειράς, όχι μόνο τις προηγούμενες (και πάλι, η τελευταία είναι αυτό που κάνει το ChatGPT).
Αλλά για στάσου ένα λεπτό.
Δεν είναι στην πραγματικότητα το ChatGPT ένα μοντέλο μηχανικής μετάφρασης τελευταίας τεχνολογίας;
Ναι, αλλά παρόλο που η ικανότητα μετάφρασης γλωσσών ήταν κατά κάποιο τρόπο αναμενόμενη καθώς το ChatGPT εκπαιδεύτηκε με κείμενο σε πολλές, κανείς δεν περίμενε ότι θα γινόταν κορυφαίο στην κατηγορία και ο χειρότερος εφιάλτης για τους ανθρώπους μεταφραστές.
Και αυτό οφείλεται σε μια σημαντική ιδέα που προκαλεί τόσο φόβο όσο και ενθουσιασμό… αναδυόμενες συμπεριφορές.
Μια ιδέα που θα τροφοδοτήσει τον εσωτερικό σας θεωρητικό συνωμοσίας να φανταστεί άπειρους τρόπους για το πώς θα χαθεί η ανθρώπινη φυλή.
Τίποτα στον τομέα της Generative AI δεν προκαλεί τόση συζήτηση όσο οι αναδυόμενες συμπεριφορές.
Εν ολίγοις, οι αναδυόμενες συμπεριφορές είναι απροσδόκητες νέες δυνατότητες που δημιουργούνται από τα μεγάλα γλωσσικά μοντέλα καθώς αυξάνονται σε μέγεθος.
Αλλά δεν υπάρχει καλύτερος τρόπος για να κατανοήσετε αυτήν την έννοια από το διαβόητο Stanford Το παράδειγμα του Sims AI.
10 καλύτερα κόλπα και κώδικες για αναζήτηση στο Google σαν επαγγελματίας(Ανοίγει σε νέα καρτέλα)
25 AI που ζουν μαζί αλλά σκέφτονται διαφορετικά
Σε αυτή τη διάσημη έρευνα, εισάγουμε τους παραγωγούς πράκτορες, τους πράκτορες υπολογιστικού λογισμικού που προσομοιώνουν πιστευτή ανθρώπινη συμπεριφορά.
Οι παραγωγικοί παράγοντες δημιουργήθηκαν σε ένα διαδραστικό περιβάλλον sandbox εμπνευσμένο από The Sims παιχνίδι.
Το περίεργο είναι ότι αυτοί οι πράκτορες άρχισαν να εμφανίζουν απροσδόκητες συμπεριφορές, όπως:
- Διαδίδοντας αυτόνομα προσκλήσεις για πάρτι για την Ημέρα του Αγίου Βαλεντίνου,
- κάνοντας νέες γνωριμίες,
- ζητώντας ο ένας τον άλλον για ραντεβού στο πάρτι,
- ακόμη και συντονισμός για να εμφανιστούν μαζί στο πάρτι την κατάλληλη στιγμή.
Ακολουθεί ένα παράδειγμα για το πώς πήγαν αυτές οι συνομιλίες:
Το πιο σημαντικό, αυτές οι συμπεριφορές προέκυψαν από τις αλληλεπιδράσεις μεταξύ των παραγόντων, καταδεικνύοντας την πιστευτότητα της προσομοιωμένης ανθρώπινης συμπεριφοράς τους.
Με άλλα λόγια, άρχισαν να κάνουν σκατά για τα οποία δεν τους εκπαίδευσε κανείς.
Επιπλέον, χάρη στην Google, μπορεί να φανεί ένα πιο ολοκληρωμένο παράδειγμα αναδυόμενων συμπεριφορών καθώς αυτό το μοντέλο μεγαλώνει σε μέγεθος.
Στο παράδειγμα της Google, για δύο πονηρός ερωτήσεις, ένα μοντέλο γίνεται πολύ καλύτερο στην απάντηση αυτών των ερωτήσεων όσο μεγαλύτερο γίνεται.
Το ΠΡΟΒΛΗΜΑ ΕΙΝΑΙ, στην πραγματικότητα δεν ξέρουμε γιατί συμβαίνει αυτό.
Και αυτό είναι ένα τεράστιο ζήτημα με δυνητικά φρικτές συνέπειες.
20 λογαριασμοί τεχνολογίας Instagram που πρέπει να ακολουθήσετε το 2023(Ανοίγει σε νέα καρτέλα)
Ένας παπαγάλος ή ένα ανθρωποειδές;
Εάν μιλήσετε με έναν σκεπτικιστή AGI, αυτός/αυτή θα αγνοήσει γρήγορα τις αναδυόμενες συμπεριφορές ως λαϊκές συνωμοσίες και θα ορίσει τα LLM ως στοχαστικούς παπαγάλους, μοντέλα που μιμούνται τις ανθρώπινες ικανότητες χρησιμοποιώντας πιθανότητες τόσο καλές που γίνονται πραγματικοί μιμητές.
Στην πραγματικότητα, μπορεί κανείς να βρει ακόμη και έναν τεχνικό λόγο για το μέγεθος “έργα”.
Όσο περισσότερα στρώματα νευρώνων έχετε, τόσο πιο πολύπλοκες αναπαραστάσεις μπορούν να μάθουν τα μοντέλα από τα δεδομένα, εξηγώντας έτσι γιατί το μέγεθος είναι ένα σαφές επεξηγηματικό χαρακτηριστικό της απόδοσης του μοντέλου.
Και αυτό είναι ακλόνητα αλήθεια.
Αλλά, ειλικρινά, βλέποντας ποια μοντέλα όπως το GPT-4 είναι ήδη ικανά να αιτιολογήσουν τις απαντήσεις τους ακόμα καλύτερα από τους ανθρώπους σε ορισμένες περιπτώσεις, γίνεται όλο και πιο δύσκολο για μένα να τα βλέπω ως απλά «πιθανολογικές μηχανές»… έναν ισχυρισμό που τυχαίνει να έχω κάνει μόνος μου.
Μπορεί ένας απλός πρόβλεψη λέξη προς λέξη να γίνει τόσο τρελά καλός στη στατιστική πρόβλεψη κάθε λέξης που, στην πορεία, να είναι επίσης ικανός να αιτιολογεί πολύ περίπλοκες καταστάσεις και προβλήματα;
Με άλλα λόγια, είναι το GPT-4 ένας πιθανός κινητήρας ή, εν αγνοία μας, έχει εξελιχθεί για να γίνει «κάτι περισσότερο», σαν μηχανισμός συλλογισμού;
Αν έπρεπε να στοιχηματίσω ολόκληρη την καθαρή μου αξία, θα εξακολουθούσα να πηγαίνω για το πρώτο, αλλά γίνεται όλο και πιο δύσκολο να το πιστέψω (και να το δικαιολογήσω).
Και το χειρότερο από όλα;
Το αν το GPT-4 «συλλογίζει» ή «μιμείται συλλογισμό» είναι κάτι που καμία πλευρά δεν μπορεί να αποδείξει αυτή τη στιγμή, καθώς τα LLM είναι τα μεγαλύτερα μαύρα κουτιά που κατασκευάστηκαν ποτέ.
Έτσι, δεν είμαστε σε θέση να εξηγήσουμε τι λαμβάνει υπόψη ένα μοντέλο, για μια συγκεκριμένη προβλεπόμενη λέξη, όταν ορίζει την κατανομή πιθανότητας που οδήγησε σε αυτήν την επιλογή συγκεκριμένα.
Σίγουρα, μπορούμε να δούμε τα στατιστικά στοιχεία και να γνωρίζουμε την έξοδο κάθε νευρώνα, αλλά δεν μπορούμε να εξηγήσουμε την υποκείμενη “διαδικασία σκέψης”.
Ως εκ τούτου, δεν μπορούμε να προβλέψουμε ποιες νέες αναδυόμενες συμπεριφορές θα αναπτύξουν αυτά τα μοντέλα.
Κοιτάζοντας όμως The Sims ή της Google περιπτώσεις, αυτές οι επείγουσες συμπεριφορές δεν φαίνονται καθόλου πρόβλημα, σωστά?
Είναι ακίνδυνα και πραγματικά ωφέλιμα!
Λοιπόν, η εικασία συνδετήρων θα πει το αντίθετο.
Ο Έλον Μασκ αποκάλυψε το ανθρωποειδές ρομπότ στο Tesla AI Day 2022(Ανοίγει σε νέα καρτέλα)
Το πρόβλημα με τον συνδετήρα
Επιτρέψτε μου να σας κάνω δύο ερωτήσεις:
Τι θα συμβεί αν το μοντέλο αρχίσει να δημιουργεί αναδυόμενες συμπεριφορές που δεν ευθυγραμμίζονται με τους στόχους της ανθρωπότητας;
Τι γίνεται αν αναπτύξουν επιβλαβείς ικανότητες για την ανθρωπότητα;
Το πρόβλημα ευθυγράμμισης μεταξύ AI και ανθρώπων δεν είναι αστείο.
Για παράδειγμα, σε ένα παγκοσμίου φήμης πλέον πείραμα σκέψης, ο φιλόσοφος Nick Bostrom υπέθεσε ότι αν αναθέσουμε σε μια τεχνητή νοημοσύνη να παράγει όσο το δυνατόν περισσότερους συνδετήρες, ανεξάρτητα από το τι, μπορεί να προκαλέσει μια αποκάλυψη προσπαθώντας να το πράξει, όπως το κόψιμο όλων των δέντρων για να αυξηθεί η παραγωγή, για παράδειγμα.
Φυσικά, αυτό φαίνεται σαν μια ανόητη πιθανότητα, αλλά αν από αυτές τις αναδυόμενες συμπεριφορές προκύψει ένα νέο, μοναχικό ανώτερο ον από εμάς, πραγματικά δεν ξέρουμε τι μας επιφυλάσσει.
Επομένως, το μόνο πράγμα που γνωρίζουμε είναι ότι δεν ξέρουμε τι δημιουργούμε.
Έτσι, αν επρόκειτο να ληφθεί μια απόφαση… τι θα έκανες?
