Οι εκρήξεις νευρώνων μπορούν να μιμηθούν τη διάσημη στρατηγική μάθησης AI
Κάθε φορά που ένας άνθρωπος ή μια μηχανή μαθαίνει πώς να βελτιώνεται σε μια εργασία, ένα ίχνος αποδεικτικών στοιχείων μένει πίσω. Μια ακολουθία φυσικών αλλαγών - σε κύτταρα στον εγκέφαλο ή σε αριθμητικές τιμές σε έναν αλγόριθμο - αποτελούν τη βάση της βελτιωμένης απόδοσης. Αλλά το πώς το σύστημα καταλαβαίνει τι ακριβώς αλλαγές πρέπει να κάνει δεν είναι μικρό κατόρθωμα. Ονομάζεται πρόβλημα ανάθεσης πίστωσης, στο οποίο ένας εγκέφαλος ή ένα σύστημα τεχνητής νοημοσύνης πρέπει να εντοπίσει ποια κομμάτια στη σειρά του είναι υπεύθυνα για σφάλματα και στη συνέχεια να κάνει τις απαραίτητες αλλαγές. Με πιο απλά λόγια:Είναι ένα παιχνίδι ευθυνών για να βρείτε ποιος φταίει.
Οι μηχανικοί της τεχνητής νοημοσύνης έλυσαν το πρόβλημα της ανάθεσης πιστώσεων για μηχανές με έναν ισχυρό αλγόριθμο που ονομάζεται backpropagation, ο οποίος έγινε δημοφιλής το 1986 με την εργασία των Geoffrey Hinton, David Rumelhart και Ronald Williams. Είναι τώρα το άλογο που εξουσιοδοτεί τη μάθηση στα πιο επιτυχημένα συστήματα AI, γνωστά ως βαθιά νευρωνικά δίκτυα, τα οποία έχουν κρυφά στρώματα τεχνητών «νευρώνων» μεταξύ των επιπέδων εισόδου και εξόδου. Και τώρα, σε μια εργασία που δημοσιεύτηκε στο Nature Neuroscience Τον Μάιο, οι επιστήμονες μπορεί τελικά να βρήκαν ένα ισοδύναμο για ζωντανούς εγκεφάλους που θα μπορούσαν να λειτουργήσουν σε πραγματικό χρόνο.
Μια ομάδα ερευνητών με επικεφαλής τον Richard Naud του Πανεπιστημίου της Οτάβα και τον Blake Richards του Πανεπιστημίου McGill και του Mila AI Institute στο Κεμπέκ αποκάλυψε ένα νέο μοντέλο του αλγόριθμου εκμάθησης του εγκεφάλου που μπορεί να μιμηθεί τη διαδικασία οπισθοδιάδοσης. Φαίνεται τόσο ρεαλιστικό που οι πειραματιστές νευροεπιστήμονες το έχουν προσέξει και τώρα ενδιαφέρονται να μελετήσουν πραγματικούς νευρώνες για να μάθουν εάν ο εγκέφαλος το κάνει πράγματι.
«Οι ιδέες που προέρχονται από την πιο θεωρητική πλευρά μπορούν να δώσουν το έναυσμα για να κάνουμε δύσκολα πειράματα και για τα χρήματά μου αυτό το έγγραφο ξεπερνά τον πήχη για αυτό», δήλωσε ο Μάθιου Λάρκουμ, ένας πειραματικός νευροεπιστήμονας στο Πανεπιστήμιο Humboldt του Βερολίνου. "Είναι βιολογικά εύλογο και θα μπορούσε να έχει μεγάλες επιπτώσεις."
Ωστόσο, οι δύο διαδικασίες δεν είναι ακριβώς ίδιες. Όταν ένα βαθύ νευρωνικό δίκτυο εκπαιδεύεται να αναγνωρίζει μια εικόνα, προχωρά σε δύο στάδια:διάδοση προς τα εμπρός πρώτα και μετά οπίσθια διάδοση, όταν συμβαίνει η «μάθηση». Κατά το πρώτο στάδιο, οι νευρώνες στο στρώμα εισόδου κωδικοποιούν χαρακτηριστικά της εικόνας και τη μεταδίδουν. Στη συνέχεια, οι νευρώνες στα κρυφά στρώματα εκτελούν υπολογισμούς και στέλνουν τα αποτελέσματά τους στο επίπεδο εξόδου, το οποίο φτύνει την πρόβλεψή του για την εικόνα, όπως "γάτα". Αλλά αν η εικόνα ήταν στην πραγματικότητα ενός σκύλου, τότε εναπόκειται στον αλγόριθμο backpropagation να μπει και να διορθώσει τι πήγε στραβά προσαρμόζοντας τα βάρη που συνδέουν τους νευρώνες.
Αυτές οι αλλαγές βασίζονται στον υπολογισμό του τρόπου με τον οποίο κάθε νευρώνας θα μπορούσε να συνεισφέρει λιγότερο στο συνολικό σφάλμα, ξεκινώντας από τους νευρώνες στην κορυφή, πλησιέστερα στο επίπεδο εξόδου και στη συνέχεια μετακινούμενοι προς τα πίσω σε κάθε επίπεδο. Εάν ο αλγόριθμος οπίσθιας διάδοσης εκτιμήσει ότι η αύξηση της δραστηριότητας ενός δεδομένου νευρώνα θα βελτιώσει την πρόβλεψη εξόδου, για παράδειγμα, τότε τα βάρη αυτού του νευρώνα θα αυξηθούν. Ο στόχος είναι να αλλάξουμε όλες τις συνδέσεις στο νευρωνικό δίκτυο — η καθεμία από ένα μικρό κομμάτι προς τη σωστή κατεύθυνση — έως ότου οι προβλέψεις εξόδου είναι σωστές συχνότερα.
Για δεκαετίες, οι ερευνητές προσπαθούσαν να καταλάβουν πώς ο εγκέφαλος θα μπορούσε να εκτελέσει κάτι σαν backpropagation για να λύσει το πρόβλημα της ανάθεσης πίστωσης. Η ίδια η οπίσθια διάδοση δεν είναι βιολογικά εύλογη γιατί, μεταξύ άλλων, οι πραγματικοί νευρώνες δεν μπορούν απλώς να σταματήσουν να επεξεργάζονται τον εξωτερικό κόσμο και να περιμένουν να ξεκινήσει η οπισθοδιάδοση — αν το έκαναν, θα καταλήξαμε με κενά στην όραση ή την ακοή μας.
Το νέο μοντέλο των Naud και Richards το ξεπέρασε αυτό με μια απλή αλλαγή στην κανονική κατανόηση του τρόπου με τον οποίο οι νευρώνες επικοινωνούν μεταξύ τους. Γνωρίζουμε από καιρό ότι οι νευρώνες λειτουργούν ως bit, ικανοί για δύο μόνο εξόδους, είτε στέλνοντας μια ακίδα ηλεκτρικής δραστηριότητας σε έναν άλλο νευρώνα είτε δεν τον στέλνουν — είτε ένα 1 είτε ένα 0. Αλλά είναι επίσης αλήθεια ότι οι νευρώνες μπορούν να στείλουν μια «έκρηξη ” των αιχμών σε γρήγορη διαδοχή. Και με αυτόν τον τρόπο έχει αποδειχθεί ότι αλλάζει τις συνδέσεις μεταξύ των νευρώνων, καθιστώντας τις εκρήξεις φυσικό υποψήφιο για την επίλυση του προβλήματος της εκχώρησης πιστώσεων. Στο νέο μοντέλο, η ομάδα θεώρησε ότι ο νευρώνας εκρήγνυται ένα τρίτο σήμα εξόδου, μια ροή 1 δευτερολέπτων τόσο κοντά μεταξύ τους που ουσιαστικά γίνεται 2. Αντί να κωδικοποιεί οτιδήποτε σχετικά με τον εξωτερικό κόσμο, ο 2 λειτουργεί ως «διδακτικό σήμα» για να πει σε άλλους νευρώνες εάν θα ενισχύσουν ή θα αποδυναμώσουν τις συνδέσεις τους μεταξύ τους, με βάση το σφάλμα που συγκεντρώθηκε στην κορυφή του κυκλώματος.
Αλλά για να λύσει αυτό το διδακτικό σήμα το πρόβλημα της ανάθεσης πιστωτικών μονάδων χωρίς να πατήσει «παύση» στην αισθητηριακή επεξεργασία, το μοντέλο τους απαιτούσε ένα άλλο βασικό κομμάτι. Η ομάδα των Naud και Richards πρότεινε ότι οι νευρώνες έχουν ξεχωριστά διαμερίσματα στο επάνω και στο κάτω μέρος τους που επεξεργάζονται τον νευρωνικό κώδικα με εντελώς διαφορετικούς τρόπους.
"[Το μοντέλο μας] δείχνει ότι μπορείτε πραγματικά να έχετε δύο σήματα, ένα να ανεβαίνει και ένα να κατεβαίνει, και μπορούν να περάσουν το ένα το άλλο", είπε ο Naud.
Για να γίνει αυτό δυνατό, το μοντέλο τους υποστηρίζει ότι κλαδιά που μοιάζουν με δέντρα που λαμβάνουν εισόδους στις κορυφές των νευρώνων ακούν μόνο για εκρήξεις - το εσωτερικό σήμα διδασκαλίας - προκειμένου να συντονίσουν τις συνδέσεις τους και να μειώσουν το σφάλμα. Ο συντονισμός γίνεται από πάνω προς τα κάτω, ακριβώς όπως στην οπίσθια διάδοση, επειδή στο μοντέλο τους, οι νευρώνες στην κορυφή ρυθμίζουν την πιθανότητα οι νευρώνες από κάτω τους να στείλουν μια έκρηξη. Οι ερευνητές έδειξαν ότι όταν ένα δίκτυο έχει περισσότερες εκρήξεις, οι νευρώνες τείνουν να αυξάνουν την ισχύ των συνδέσεών τους, ενώ η ισχύς των συνδέσεων τείνει να μειώνεται όταν τα σήματα ριπής είναι λιγότερο συχνά. Η ιδέα είναι ότι το σήμα έκρηξης λέει στους νευρώνες ότι θα πρέπει να είναι ενεργοί κατά τη διάρκεια της εργασίας, ενισχύοντας τις συνδέσεις τους, εάν με αυτόν τον τρόπο μειώνεται το σφάλμα. Η απουσία ριπών λέει στους νευρώνες ότι πρέπει να είναι ανενεργοί και μπορεί να χρειαστεί να αποδυναμώσουν τις συνδέσεις τους.
Ταυτόχρονα, οι κλάδοι στο κάτω μέρος του νευρώνα αντιμετωπίζουν τις εκρήξεις σαν να ήταν μεμονωμένες αιχμές - το κανονικό σήμα του εξωτερικού κόσμου - που τους επιτρέπει να συνεχίσουν να στέλνουν αισθητηριακές πληροφορίες προς τα πάνω στο κύκλωμα χωρίς διακοπή.
«Εκ των υστέρων, η ιδέα που παρουσιάζεται φαίνεται λογική και νομίζω ότι αυτό μιλάει για την ομορφιά της», δήλωσε ο João Sacramento, ένας υπολογιστικός νευροεπιστήμονας στο Πανεπιστήμιο της Ζυρίχης και στο ETH Zurich. "Νομίζω ότι είναι υπέροχο."
Κάποιοι άλλοι είχαν προσπαθήσει να ακολουθήσουν παρόμοια λογική στο παρελθόν. Πριν από είκοσι χρόνια, ο Konrad Kording του Πανεπιστημίου της Πενσυλβάνια και ο Peter König του Πανεπιστημίου Osnabrück στη Γερμανία πρότειναν ένα πλαίσιο μάθησης με νευρώνες δύο διαμερισμάτων. Ωστόσο, η πρότασή τους δεν είχε πολλές από τις συγκεκριμένες λεπτομέρειες του νεότερου μοντέλου που είναι βιολογικά σχετικές και ήταν απλώς μια πρόταση — δεν μπορούσαν να αποδείξουν ότι θα μπορούσε πραγματικά να λύσει το πρόβλημα της εκχώρησης πίστωσης.
«Τότε, απλώς μας έλειπε η ικανότητα να δοκιμάσουμε αυτές τις ιδέες», είπε ο Kording. Θεωρεί τη νέα εργασία "τεράστια δουλειά" και θα την παρακολουθήσει στο δικό του εργαστήριο.
Με τη σημερινή υπολογιστική ισχύ, ο Naud, ο Richards και οι συνεργάτες τους προσομοίωσαν με επιτυχία το μοντέλο τους, με τους νευρώνες που εκρήγνυνται να παίζουν το ρόλο του κανόνα μάθησης. Έδειξαν ότι λύνει το πρόβλημα ανάθεσης πιστωτικών μονάδων σε μια κλασική εργασία γνωστή ως XOR, η οποία απαιτεί εκμάθηση να ανταποκρίνεται όταν μία από τις δύο εισόδους (αλλά όχι και οι δύο) είναι 1. Έδειξαν επίσης ότι ένα βαθύ νευρωνικό δίκτυο που δημιουργήθηκε με τον κανόνα έκρηξης θα μπορούσε να προσεγγίσει την απόδοση του αλγορίθμου backpropagation σε δύσκολες εργασίες ταξινόμησης εικόνων. Ωστόσο, υπάρχει ακόμη περιθώριο βελτίωσης, καθώς ο αλγόριθμος backpropagation ήταν ακόμα πιο ακριβής και κανένας από τους δύο δεν ταιριάζει πλήρως με τις ανθρώπινες δυνατότητες.
«Πρέπει να υπάρχουν λεπτομέρειες που δεν έχουμε και πρέπει να βελτιώσουμε το μοντέλο», είπε ο Naud. "Ο κύριος στόχος της εργασίας είναι να πει ότι το είδος της μάθησης που κάνουν οι μηχανές μπορεί να προσεγγιστεί με φυσιολογικές διαδικασίες."
Οι ερευνητές της τεχνητής νοημοσύνης είναι επίσης ενθουσιασμένοι, καθώς το να καταλάβουμε πώς προσεγγίζει ο εγκέφαλος την αντίστροφη διάδοση θα μπορούσε τελικά να βελτιώσει τον τρόπο με τον οποίο μαθαίνουν και τα συστήματα τεχνητής νοημοσύνης. «Αν το καταλάβουμε, τότε αυτό μπορεί τελικά να οδηγήσει σε συστήματα που μπορούν να λύσουν υπολογιστικά προβλήματα τόσο αποτελεσματικά όσο ο εγκέφαλος», δήλωσε ο Marcel van Gerven, πρόεδρος του τμήματος τεχνητής νοημοσύνης στο Ινστιτούτο Donders στο Πανεπιστήμιο Radboud στην Ολλανδία.
Το νέο μοντέλο προτείνει ότι η συνεργασία μεταξύ της νευροεπιστήμης και της τεχνητής νοημοσύνης θα μπορούσε επίσης να ξεπεράσει την κατανόησή μας για το καθένα μόνο του και αντ' αυτού να βρει τις γενικές αρχές που είναι απαραίτητες για να μπορούν οι εγκέφαλοι και οι μηχανές να μαθαίνουν οτιδήποτε.
«Αυτές είναι αρχές που, τελικά, ξεπερνούν τα υγρά», είπε ο Larkum.
