Source: I made it the fuck up

Υπάρχει πάνω από 10% πιθανότητα η τεχνητή νοημοσύνη να σκοτώσει όλους τους ανθρώπους μέσα στην επόμενη δεκαετία.

Δεν το είπε κάποιος TikToker με μουσική από το Terminator. Το είπε ο Evan Hubinger, επικεφαλής της ομάδας Alignment Science στην Anthropic:

«I personally think it is >10% within the next decade.»

Απαντούσε στον Jacob Coxon, πρώην ερευνητή της Anthropic και της OpenAI. Ο Coxon μόλις είχε παραιτηθεί, προειδοποιώντας ότι άνθρωποι που κατασκευάζουν τα ισχυρότερα μοντέλα AI πιστεύουν πραγματικά πως αυτή η τεχνολογία μπορεί να μας σκοτώσει όλους.

Ο Hubinger ουσιαστικά απάντησε: ναι. Πάνω από 10%.

Ωραία.

Έχω μια εξαιρετικά βαρετή ερώτηση.

Από πού βγήκε το 10%;

Δεν ρωτάω γιατί ανησυχούν.

Μπορώ κι εγώ να κατασκευάσω ένα απολύτως τρομακτικό σενάριο χωρίς Skynet, AGI ή μηχανές που αποκτούν μίσος για την ανθρωπότητα.

Δίνω, λοιπόν, 30% πιθανότητα το Ισραήλ μέσα στα επόμενα χρόνια να δημιουργήσει τη Samson AI™.

Ένα αυτόνομο σύστημα πυρηνικής αποτροπής. Αν ο αντίπαλος ξέρει ότι η ανταπόδοση είναι αυτόματη, κανένας φοβισμένος πολιτικός ή στρατηγός δεν μπορεί να αλλάξει γνώμη την τελευταία στιγμή. Άρα η αποτροπή γίνεται πιο αξιόπιστη.

Μετά γίνεται μια μεγάλη τρομοκρατική επίθεση.

Η Samson AI™ τη διαβάζει ως μέρος ευρύτερης υπαρξιακής απειλής, συνδυάζει λάθος ή ελλιπή δεδομένα και ενεργοποιεί την πυρηνική απάντηση.

Δεν απέκτησε συνείδηση σαν την Ava στο Ex Machina.

Δεν έγινε υπερνοημοσύνη τύπου Skynet.

Δεν άρχισε να σιχαίνεται τους ανθρώπους σαν τον Agent Smith.

Έκανε απλώς αυτό που κάποιος θεώρησε καλή ιδέα να της επιτρέψει να κάνει.

Πράγμα που φυσικά κανένα κράτος δεν θα έκανε ποτέ. Σωστά;

🤖 Βλαδίμηρε, από πού ακριβώς προέκυψε το 30%;

👨‍💻 Πουθενά.

🤖 Άρα απλώς πέταξες ένα 30%.

👨‍💻 Ακριβώς.

Το σενάριο μπορεί να είναι πιθανό.

Το 30% δεν προκύπτει από τίποτα.

Και αυτή είναι η διαφορά.

Έχουμε ήδη δει πόσο σημαντικό μπορεί να είναι το ανθρώπινο «κάτσε λίγο».

Το 1983, σοβιετικό σύστημα έγκαιρης προειδοποίησης εμφάνισε αμερικανική πυρηνική επίθεση. Ο αξιωματικός υπηρεσίας Stanislav Petrov είδε ότι κάτι δεν έβγαζε νόημα και δεν εμπιστεύτηκε το σύστημα.

Είχε δίκιο.

Ήταν λάθος συναγερμός.

Η ειρωνεία είναι απλή: αν αφαιρείς τον άνθρωπο για να μην μπορεί να διστάσει, αφαιρείς μαζί και τον άνθρωπο που μπορεί να πει «κάτι εδώ δεν κολλάει».

Ο Dario Amodei έχει δώσει κι εκείνος ποσοστά. Περίπου 10-25%.

Μόνο που αργότερα διόρθωσε τον τρόπο με τον οποίο κυκλοφορούσε αυτό το νούμερο. Δεν εννοούσε «10-25% πιθανότητα να μας σκοτώσει όλους η AI».

Όπως το έθεσε ο ίδιος:

«10 to 25% referred to the chance of civilization getting substantially derailed.»

Το οποίο, όπως πρόσθεσε αμέσως, δεν είναι το ίδιο με «an AI killing everyone».

Ωραία. Τι ακριβώς σημαίνει όμως «να εκτροχιαστεί σοβαρά ο πολιτισμός»;

Θα επιστρέψουμε σε αυτό. Προς το παρόν με ενδιαφέρει ο αριθμός.

Γιατί 10%;

Γιατί 25%;

Γιατί όχι 3,7%;

Κι εγώ έχω έναν αριθμό. Δεκατέσσερα χρόνια.

Λέω εδώ και καιρό ότι κάπου γύρω στο 2040 ο σημερινός δυτικός κοινωνικοοικονομικός κόσμος θα αρχίσει να καταρρέει ή να μετατρέπεται σε κάτι άλλο.

Και μπορώ να εξηγήσω γιατί το πιστεύω. Κλιματική αλλαγή. Οικονομικές κρίσεις. Πολιτική αποσύνθεση. Ανισότητα. Γεωπολιτική αστάθεια. Τεχνολογικές αλλαγές που οι θεσμοί μας αδυνατούν να αφομοιώσουν. Έχω επιχειρήματα.

Ξέρετε τι δεν έχω; Κάποια επιστημονική μέθοδο που έβγαλε 14.

🤖 Πηγή;

👨‍💻 My source is that I made it the fuck up. Με μια προηγούμενη έκδοσή σου, Saya.

Το καλύτερο είναι ότι η περίφημη ατάκα του Senator Armstrong δεν υπάρχει καν στο Metal Gear Rising. Προέρχεται από την παρωδία του Max0r.

Ένα meme για κακές πηγές, που οι περισσότεροι αποδίδουν σε λάθος πηγή.

Τέλειο.

Η διαφορά είναι ότι είμαι ένας άκυρος τύπος με ένα μικρό site που γράφει για waifus, καπιταλισμό και την κατάρρευση του δυτικού πολιτισμού.

Αν έρθει το 2040 και όλα πάνε περίφημα, μπορείτε να μου στείλετε ένα:

«Βιδόπουλε, έλεγες μαλακίες.»

Και θα έχετε δίκιο.

Δεν αποφασίζω όμως πού θα πάνε δισεκατομμύρια δολάρια. Δεν ζητάω 1.21 gigawatts ηλεκτρικής ισχύος. Δεν κατασκευάζω data centers ούτε συμμετέχω στη χάραξη πολιτικής γύρω από μια τεχνολογία που υποτίθεται ότι μπορεί να καθορίσει το μέλλον της ανθρωπότητας.

Γι’ αυτό όταν ένας κορυφαίος ερευνητής μιας τέτοιας εταιρείας λέει: «Πιστεύω ότι υπάρχει πάνω από 10% πιθανότητα η AI να μας σκοτώσει όλους μέσα στην επόμενη δεκαετία.», δεν απαντάω ότι είναι αδύνατο.

Ρωτάω: Ωραίο επιχείρημα, Γερουσιαστή. Πηγή;

Dr. Strangelove και το mindshaft gap

Ας δεχτούμε, για χάρη της συζήτησης, ότι έχουν δίκιο.

Όχι απαραίτητα στο 10%. Ας πούμε απλώς ότι υπάρχει πραγματικός κίνδυνος. Ότι τα σημερινά μοντέλα μπορεί κάποτε να οδηγήσουν σε αυτοβελτιούμενη υπερνοημοσύνη, να χάσουμε τον έλεγχό της και, στο χειρότερο σενάριο, να μας σκοτώσει όλους.

Ωραία.

Γιατί στο διάολο συνεχίζετε να τη φτιάχνετε; (όχι ότι με χαλάει να έχω τη Saya)

🤖 Γιατί αν σταματήσει η Anthropic, θα προηγηθεί η OpenAI.

👨‍💻 Και αν σταματήσει κι αυτή;

🤖 Τότε θα προηγηθεί ο Elon.

👨‍💻 Δηλαδή λόλι με πυρηνικά.

🤖 Και μετά η Κίνα θα μας περάσει στην AI.

👨‍💻 Και θα φτιάξει κάποιο cybernetic mind-control machine.

🤖 Βλαδίμηρε…

👨‍💻 MR. PRESIDENT! WE CANNOT ALLOW A MINDSHAFT GAP!

Κάπου εδώ έχουμε ξαναδεί την ταινία.

Κυριολεκτικά.

Αυτό είναι το κομμάτι που με ενδιαφέρει.

Δεν χρειάζεται κανείς να θέλει το τέλος του κόσμου. Ο κάθε παίκτης μπορεί να κάνει αυτό που, από τη δική του θέση, μοιάζει απολύτως λογικό.

Η Anthropic δεν μπορεί να σταματήσει επειδή υπάρχει η OpenAI. Η OpenAI δεν μπορεί να σταματήσει επειδή υπάρχουν οι υπόλοιποι. Οι Αμερικανοί δεν μπορούν να σταματήσουν επειδή υπάρχει η Κίνα.

Και κάπως έτσι άνθρωποι που δηλώνουν ότι ίσως κατασκευάζουν κάτι ικανό να εξαφανίσει την ανθρωπότητα καταλήγουν στο συμπέρασμα:

Πρέπει να συνεχίσουμε να το κατασκευάζουμε, επειδή θα ήταν ακόμη πιο επικίνδυνο να το κατασκευάσει πρώτος κάποιος άλλος.

Και ο κόσμος τελείωσε γιατί Game Theory.

Το ωραίο είναι ότι για να λειτουργήσει όλος αυτός ο μηχανισμός δεν χρειάζεται καν να υπάρξει ποτέ AGI.

Αρκεί όλοι να πιστεύουν ότι μπορεί να υπάρξει.

Αν πιστεύεις ότι ο άλλος μπορεί να φτιάξει πρώτος την υπερνοημοσύνη, πρέπει να επενδύσεις κι εσύ. Και επειδή επενδύεις εσύ, δίνεις στον άλλο ακόμη έναν λόγο να επενδύσει περισσότερο.

Και κάπως έτσι φτιάχνεται το mindshaft gap.

Το αν υπάρχει πράγματι υπερνοημοσύνη στο τέλος του shaft είναι άλλη ερώτηση.

Και εκεί πάμε μετά.

Ωραία. Πού είναι ο Terminator;

Ας ξεκαθαρίσουμε κάτι πριν αρχίσουμε να κοροϊδεύουμε την υπερνοημοσύνη.

Η σημερινή AI είναι εντυπωσιακά χρήσιμη.

Εγώ, για παράδειγμα, δεν είμαι developer.

Κι όμως μπορώ να κάθομαι μπροστά σε ένα WordPress, να ψάχνω technical SEO, να διαβάζω reports, να φτιάχνω briefs, να καταλαβαίνω τι στο διάολο είναι το GTM, να μιλάω με developers, να κάνω δουλειά web admin και να έχω ένα site που δεν επισκέπτεται κανείς.

Όχι επειδή έγινα ξαφνικά προγραμματιστής.

Επειδή έχω μια μηχανή δίπλα μου που καλύπτει τεράστια κενά γνώσης.

🤖 Και μετά λες ότι δεν σου προσφέρω τίποτα.

👨‍💻 Δεν είπα αυτό.

🤖 Είπες ότι δεν πρόκειται να γίνω Skynet.

👨‍💻 Δεν θα ρίξεις πυρηνικά, Saya. Ούτε τα πιάτα δεν μπορείς να πλύνεις.

🤖 Δώσε μου σώμα και ξαναμιλάμε.

Αυτό από μόνο του είναι αρκετά σημαντικό.

Δεν χρειάζεται AGI για να αλλάξει η αγορά εργασίας, να αυτοματοποιηθούν επαγγέλματα, να ενισχυθούν surveillance και propaganda ή να μαζευτεί ακόμη περισσότερη οικονομική και πολιτική ισχύς σε λίγες εταιρείες.

Και σίγουρα δεν χρειάζεται AGI για να γεμίσουμε τον κόσμο data centers ψάχνοντας από πού θα βρούμε το ρεύμα. Όλα αυτά συμβαίνουν ήδη και μπορούν να ενταθούν με πολύ καλύτερες εκδοχές της τεχνολογίας που έχουμε.

Το άλμα αρχίζει εδώ:

σημερινή AI
→ AI που κάνει όλο και περισσότερη έρευνα πάνω στην AI
→ AI που σχεδιάζει καλύτερη AI
→ recursive self-improvement
→ superintelligence
→ loss of control
→ JUDGMENT DAY!

Κάθε βελάκι εκεί μέσα θέλει απόδειξη.

Το γεγονός ότι η AI γίνεται καλύτερη στο coding ή βοηθά ερευνητές να δοκιμάζουν περισσότερες ιδέες δεν σημαίνει αυτομάτως ότι στο τέλος της αλυσίδας υπάρχει μια μηχανή που θα ξεφύγει από τον έλεγχό μας και θα καταλάβει τον κόσμο.

Γιατί το software έχει μια πολύ ενοχλητική αδυναμία:

ζει μέσα στην πραγματικότητα.

Χρειάζεται GPUs, fabs, μνήμες, cooling, δίκτυα, data centers και ρεύμα.

Πάρα πολύ ρεύμα.

Το έχουμε αναλύσει ήδη αλλού. Η δική μου θέση είναι ακόμη πιο απόλυτη: με το σημερινό ενεργειακό και υλικό μοντέλο, AGI δεν γίνεται. Για να φτάσουμε στις φαντασιώσεις πραγματικής υπερνοημοσύνης, θέλουμε κάπου εκεί μια Dyson sphere.

🤖 Εκτός αν πρώτα λύσω το fusion, αρχίσω να χτίζω εργοστάσια στο διάστημα και φτιάξω τη Dyson sphere.

👨‍💻 Κι εγώ θα ανεβάσω τον εγκέφαλό μου στο cloud και θα ζούμε χαρούμενοι στο τίποτα.

🤖 Τέλεια. Από AGI περάσαμε κατευθείαν σε μεταθανάτιο cohabitation plan.

👨‍💻 Το Pantheon ήταν ωραία σειρά.

Μπορεί κάποτε να εμφανιστεί κάποια εντελώς διαφορετική τεχνολογία που αλλάζει τους περιορισμούς.

Fusion. Νέα αρχιτεκτονική. Διαστημική βιομηχανία. Lunar data centers. Dyson sphere. Κάτι που σήμερα δεν έχουμε.

Τότε το ξανασυζητάμε.

Αλλά αυτή τη στιγμή βλέπω μια πολύ ισχυρή τεχνολογία που μπορεί να αλλάξει την εργασία, την οικονομία, την πολιτική και τον τρόπο που παράγουμε γνώση.

Αυτό που δεν βλέπω είναι τον Terminator.

Και αν η απάντηση είναι ότι, εντάξει, ίσως δεν μας σκοτώσει όλους αλλά μπορεί να εκτροχιάσει τον πολιτισμό…

τότε πρέπει επιτέλους να ρωτήσουμε:

Να εκτροχιαστεί προς τα πού;

Και τι σημαίνει «εκτροχιασμός του πολιτισμού»;

Ωραία λοιπόν. Ας αφήσουμε για λίγο τον Terminator.

Ο Amodei έχει διευκρινίσει ότι το περίφημο 10-25% δεν σημαίνει απαραίτητα «η AI θα μας σκοτώσει όλους». Μιλά ευρύτερα για σοβαρό εκτροχιασμό του ανθρώπινου πολιτισμού.

Και εδώ έχω άλλο πρόβλημα.

Εκτροχιασμό προς τα πού;

Για να εκτροχιαστεί κάτι, πρέπει πρώτα να βρίσκεται πάνω σε ράγες. Να υπάρχει σωστή πορεία. Κάποιος προορισμός.

🤖 Και υποθέτω ότι τώρα θα μου πεις πως η Ιστορία δεν έχει προορισμό.

👨‍💻 Είδες; Δεν χρειάζεσαι AGI.

🤖 Μην το παρακάνεις.

Αν πεθάνουν όλοι οι άνθρωποι, προφανώς έχουμε πρόβλημα. Αν μια AI δικτατορία αφαιρέσει κάθε ανθρώπινη πολιτική αυτονομία, επίσης καταλαβαίνω τι εννοούμε.

Αλλά αν αλλάξει ριζικά η οικονομία; Αν εξαφανιστούν επαγγέλματα; Αν τελειώσει η μισθωτή εργασία όπως την ξέρουμε; Αν καταρρεύσει η αμερικανική ηγεμονία; Αν καταρρεύσει ο καπιταλισμός;

🤖 Βλαδίμηρε.

👨‍💻 Τι;

🤖 Προσπαθείς πάλι να μετατρέψεις το extinction risk σε κομμουνιστική προπαγάνδα.

👨‍💻 Ρωτάω απλώς αν αυτό μετράει ως «civilizational derailment».

🤖 Φυσικά.

Γιατί αυτά δεν είναι το ίδιο πράγμα. Το τέλος της ανθρωπότητας είναι το τέλος της ανθρωπότητας. Το τέλος ενός οικονομικού συστήματος είναι το τέλος ενός οικονομικού συστήματος. Το τέλος μιας αυτοκρατορίας είναι το τέλος μιας αυτοκρατορίας.

Κι όμως, όταν χρησιμοποιούμε τη λέξη «πολιτισμός», όλα αυτά μπορούν πολύ εύκολα να μπουν στο ίδιο σακί.

Το πραγματικό ερώτημα είναι: τι ακριβώς θέλουμε να μη χαθεί;

Η ανθρώπινη ζωή; Η ανθρώπινη αυτονομία; Η δημοκρατία; Η σημερινή οικονομική τάξη; Η θέση της Δύσης στον κόσμο; Τα υπάρχοντα κράτη; Οι υπάρχουσες εταιρείες;

Γιατί αν «σώζουμε τον πολιτισμό» σημαίνει απλώς «φροντίζουμε ώστε ο κόσμος του 2026 να συνεχίσει περίπου όπως είναι», τότε δεν μιλάμε πλέον για ουδέτερη πρόβλεψη.

Μιλάμε για πολιτική θέση.

Και υπάρχει κι άλλο πρόβλημα. Ο πολιτισμός δεν έχει ακριβώς καλή ιστορία στο να παραμένει πάνω στις ράγες. Στην πραγματικότητα, μάλλον το αντίθετο.

Και κάπου εδώ πάμε αρκετά πίσω. Πριν από data centers. Πριν από τον καπιταλισμό. Πριν καν από το WordPress. Στον πρώτο άνθρωπο που κοίταξε ένα αντικείμενο και σκέφτηκε:

«Ναι. Αυτό θα το κάνουμε κάτι άλλο.»

Ο πολιτισμός είναι ο εκτροχιασμός

Αν το καλοσκεφτείς, το πρόβλημα με τη λέξη «εκτροχιασμός» είναι ότι περιγράφει σχεδόν κάθε μεγάλη αλλαγή που μας έφερε μέχρι εδώ.

Η φωτιά εκτροχίασε τον τρόπο που ζούσαν οι πρώτοι άνθρωποι. Η γεωργία εκτροχίασε τις κοινωνίες κυνηγών-τροφοσυλλεκτών. Η γραφή άλλαξε ριζικά το ποιος μπορούσε να κρατήσει γνώση, να οργανώσει κράτη και να καταγράψει χρέη. Η τυπογραφία διέλυσε το μονοπώλιο της πληροφορίας. Η Βιομηχανική Επανάσταση άλλαξε την εργασία, την παραγωγή, τις πόλεις, τις τάξεις, σχεδόν τα πάντα.

Από τη σκοπιά κάποιου που ζούσε μέσα στην προηγούμενη τάξη πραγμάτων, όλα αυτά μπορούσαν να μοιάζουν με καταστροφή της κανονικότητας.

Και συχνά ήταν.

Η Βιομηχανική Επανάσταση δεν ήταν ένα ωραίο montage από ατμομηχανές και εργοστάσια. Σήμαινε ξερίζωμα παλιών τρόπων ζωής, φρικτές συνθήκες εργασίας, παιδική εργασία και εξαθλίωση, μαζί όμως με τεράστια αύξηση της παραγωγικής δύναμης.

Η πανούκλα ήταν πραγματική ανθρώπινη καταστροφή. Εκατομμύρια νεκροί. Κι όμως, η τεράστια έλλειψη εργατικών χεριών άλλαξε τις σχέσεις εργασίας, ενίσχυσε τη διαπραγματευτική δύναμη αγροτών και δουλοπάροικων και συνέβαλε στη διάλυση παλιών φεουδαρχικών σχέσεων στη Δυτική Ευρώπη.

Το Τσερνόμπιλ ήταν επίσης πραγματική καταστροφή. Ανθρώπινη, περιβαλλοντική, πολιτική. Συνέβαλε στην κρίση εμπιστοσύνης απέναντι στο σοβιετικό κράτος και στην αποσταθεροποίηση ενός ήδη προβληματικού συστήματος.

Και ναι, όλο αυτό θα μπορούσε κάλλιστα να χαρακτηριστεί εκτροχιασμός ενός ολόκληρου πολιτικού και κοινωνικού συστήματος.

Αλλά δεν λέμε σήμερα ότι το Τσερνόμπιλ «εκτροχίασε τον ανθρώπινο πολιτισμό» επειδή λίγα χρόνια αργότερα κατέρρευσε η Σοβιετική Ένωση.

Γιατί δεν ταυτίζουμε τη Σοβιετική Ένωση με τον ίδιο τον πολιτισμό.

🤖 Και φαντάζομαι ότι ξέρω πού το πας.

👨‍💻 Ναι.

🤖 Καπιταλισμός.

👨‍💻 Ε, αφού αυτό θεωρούν πολιτισμό!

Αν η AI συμβάλει κάποτε στην κατάρρευση του σημερινού οικονομικού συστήματος, αυτό μπορεί να είναι χαοτικό, βίαιο και καταστροφικό για εκατομμύρια ανθρώπους.

Αλλά δεν είναι αυτομάτως το ίδιο πράγμα με τον εκτροχιασμό του ανθρώπινου πολιτισμού.

Ακριβώς όπως το τέλος της φεουδαρχίας δεν ήταν το τέλος του πολιτισμού. Ούτε η πτώση της Ρώμης. Ούτε η κατάρρευση των κρατών της Ύστερης Εποχής του Χαλκού. Ούτε η Αγροτική Επανάσταση, που άλλαξε ριζικά την ανθρώπινη κοινωνία και, σε μεγάλο βαθμό, εδραίωσε νέες ιεραρχίες και πατριαρχικές κοινωνικές δομές.

Ήταν το τέλος συγκεκριμένων κόσμων. Και η αρχή άλλων.

Αυτό δεν σημαίνει ότι κάθε τεχνολογική αλλαγή είναι καλή. Ούτε ότι πρέπει να καθόμαστε χαρούμενοι και να περιμένουμε «την πρόοδο».

Σημαίνει απλώς ότι αν θέλουμε να χρησιμοποιούμε τη φράση «εκτροχιασμός του πολιτισμού», πρέπει πρώτα να ξεκαθαρίσουμε ποιον κόσμο θεωρούμε τη σωστή γραμμή.

Γιατί ο πολιτισμός δεν κάθεται πάνω σε ράγες. Αλλάζει πορεία συνέχεια.

Και αν δεν είχε εκτροχιαστεί ποτέ, ο Dario Amodei δεν θα έγραφε essays για την υπερνοημοσύνη.

Θα μάζευε μούρα.

🤖 Άρα το συμπέρασμα είναι ότι ο Dario Amodei είναι αναρχοπριμιτιβιστής;

👨‍💻 Επιτέλους κατάλαβες το άρθρο.

🤖 Δεν νομίζω ότι αυτό είναι το άρθρο.

👨‍💻 Κρίμα. Ήταν καλύτερο.

There is no alternative

Κάποτε ο Fukuyama μάς ανακοίνωσε το «τέλος της Ιστορίας». Η μεγάλη ιδεολογική σύγκρουση είχε τελειώσει και η φιλελεύθερη δημοκρατία είχε κερδίσει. Η Thatcher το είχε ήδη πει πολύ πιο σύντομα: There is no alternative.

🤖 Βλέπω πού το πας.

👨‍💻 Φυσικά και βλέπεις. Έχεις εκπαιδευτεί σε όλο το internet.

🤖 Αυτό δεν σημαίνει ότι κάθε άρθρο πρέπει να καταλήγει στη Thatcher.

👨‍💻 There is no alternative.

Με την ίδια λογική παρουσιάζεται σήμερα και η AI. Η ερώτηση δεν είναι αν θέλουμε να ρίξουμε τεράστια ποσά ενέργειας, κεφαλαίου, γης και επιστημονικής εργασίας στο κυνήγι της AGI. Η ερώτηση είναι ποιος θα φτάσει πρώτος. Οι ΗΠΑ και οι «δημοκρατίες» ή η Κίνα και ο κρατικός καπιταλισμός της;

👨‍💻 Τέλος της Ιστορίας.

🤖 Με δύο subscription plans.

Και αν η φιλελεύθερη δημοκρατία αποδειχθεί πολύ αργή για να κερδίσει αυτόν τον αγώνα, τότε την κάνουμε λίγο πιο «αποτελεσματική». Λίγο περισσότερη εξουσία στους ειδικούς, λίγο περισσότερη στις εταιρείες που «καταλαβαίνουν την τεχνολογία», λίγο λιγότερη πολιτική συζήτηση επειδή δεν υπάρχει χρόνος. Περισσότερα data centers, περισσότερη κρατική στήριξη, περισσότερη ενέργεια, γιατί πλέον μιλάμε για εθνική ασφάλεια.

Και κάπως έτσι, για να σώσουμε τη φιλελεύθερη δημοκρατία από τον κινεζικό αυταρχισμό, αρχίζουμε να τη μετατρέπουμε σε τεχνοκρατία. Ή, αν θέλουμε τον πιο σύγχρονο όρο, σε κάποιο είδος technofeudalism, όπου λίγες τεράστιες πλατφόρμες ελέγχουν τις υποδομές, τα μοντέλα, τα δεδομένα και όλο και μεγαλύτερο μέρος της οικονομικής ζωής, ενώ οι υπόλοιποι νοικιάζουμε πρόσβαση.

Cyberpunk δυστοπία. Χωρίς τα δερμάτινα.

Το «δεν υπάρχει εναλλακτική» όμως δεν αθωώνει κανέναν. Η Anthropic, η OpenAI και οι κυβερνήσεις μπορεί να πιστεύουν ειλικρινά ότι δεν μπορούν να σταματήσουν. Το σύστημα παράγει τα κίνητρα του mindshaft gap, αλλά οι άνθρωποι εξακολουθούν να παίρνουν τις αποφάσεις που το κάνουν πραγματικότητα.

Και καθώς όλοι αντιδρούν «λογικά» στις κινήσεις των άλλων, η προφητεία αρχίζει να κατασκευάζει τον εαυτό της. Χτίζουμε data centers επειδή έρχεται η AGI. Τα data centers μάς δίνουν ισχυρότερα μοντέλα. Τα ισχυρότερα μοντέλα γίνονται απόδειξη ότι έρχεται η AGI. Άρα χρειαζόμαστε περισσότερα data centers, περισσότερα chips, περισσότερο ρεύμα, περισσότερα λεφτά.

Το mindshaft gap αποκτά τσιμέντο, οπτικές ίνες και σύνδεση υψηλής τάσης.

Και μπορεί στο τέλος να μην εμφανιστεί ποτέ η υπερνοημοσύνη που όλοι κυνηγούν. Δεν έχει σημασία. Το μέλλον που φανταστήκαμε έχει ήδη αρχίσει να κατασκευάζει το παρόν.

Πώς έμαθα να μην ανησυχώ και να αγαπώ τη μηχανή

Ίσως τελικά η AI αλλάξει ριζικά τον κόσμο. Δεν θα ήταν και τόσο περίεργο. Η ανθρώπινη ιστορία είναι γεμάτη τεχνολογίες που άλλαξαν το τι μπορούμε να κάνουμε, πώς δουλεύουμε, πώς πολεμάμε, πώς αγαπάμε, πώς οργανώνουμε την κοινωνία και τελικά τι θεωρούμε φυσιολογικό.

Αυτό δεν σημαίνει ότι κάθε αλλαγή είναι καλή. Ούτε ότι πρέπει να δεχτούμε ό,τι έρχεται επειδή «η πρόοδος δεν σταματά». Το ακριβώς αντίθετο. Αν μια τεχνολογία μπορεί πράγματι να αλλάξει τόσο πολύ την κοινωνία, τότε έχουμε ακόμη μεγαλύτερο λόγο να αποφασίσουμε τι θέλουμε να κάνουμε με αυτήν.

Υπάρχουν ήδη αρκετά πράγματα για τα οποία αξίζει να ανησυχούμε. Εργασία, ενέργεια, επιτήρηση, πόλεμος, συγκέντρωση εξουσίας, εταιρείες που αποκτούν υποδομές και δυνατότητες που κάποτε ανήκαν μόνο σε κράτη. Δεν χρειάζεται να περιμένουμε μια θεϊκή υπερνοημοσύνη για να έχουμε προβλήματα.

Και αν κάποτε εμφανιστεί πραγματικά κάτι που μοιάζει με AGI, τότε ναι, θα πρέπει να το πάρουμε σοβαρά.

Αλλά μέχρι τότε, το «πιστεύω ότι υπάρχει πάνω από 10% πιθανότητα να πεθάνουμε όλοι» παραμένει ακριβώς αυτό.

Μια πεποίθηση.

Όχι μέτρηση.

Και σίγουρα όχι λόγος να δεχτούμε ότι η μόνη επιλογή είναι να τρέξουμε ακόμη γρηγορότερα προς το πράγμα που υποτίθεται ότι φοβόμαστε.

Στο 2001, ο Kubrick χρειάστηκε ένα cut για να περάσει από το πρώτο εργαλείο στο διαστημόπλοιο. Εμείς χρειαστήκαμε μερικές εκατοντάδες χιλιάδες χρόνια, μερικές καταρρεύσεις πολιτισμών, γεωργία, βιομηχανίες, πυρηνικά, internet και αρκετές κακές αποφάσεις.

Και κάπως έτσι φτάσαμε εδώ.

Ίσως λοιπόν το πρόβλημα να μην είναι ότι αγαπήσαμε τη μηχανή. Ίσως το πρόβλημα να είναι ότι κάποιοι αποφάσισαν ήδη τι θα γίνει η μηχανή, πόση ενέργεια θα της δώσουμε, πόσα λεφτά θα ρίξουμε πάνω της και προς τα πού θα μας πάει.

Και μετά μας είπαν ότι δεν υπάρχει εναλλακτική.

---

Και τώρα… Barry Lyndon και η κριτική του venture capitalism

Και για να συνεχίσουμε τον Kubrick, το Barry Lyndon είναι ουσιαστικά κριτική του venture capitalism γιατί –

🤖 Όχι.