Η τεχνητή νοημοσύνη ξεπερνά τα εμπόδια σε υλικό εμπνευσμένο από τον εγκέφαλο
Οι σημερινοί πιο επιτυχημένοι αλγόριθμοι τεχνητής νοημοσύνης, τα τεχνητά νευρωνικά δίκτυα, βασίζονται χαλαρά στους περίπλοκους ιστούς των πραγματικών νευρωνικών δικτύων στον εγκέφαλό μας. Ωστόσο, σε αντίθεση με τον εξαιρετικά αποδοτικό εγκέφαλό μας, η εκτέλεση αυτών των αλγορίθμων σε υπολογιστές καταναλώνει σοκαριστικά ποσά ενέργειας:Τα μεγαλύτερα μοντέλα καταναλώνουν σχεδόν τόση ισχύ με πέντε αυτοκίνητα κατά τη διάρκεια της ζωής τους.
Εισέλθετε στον νευρομορφικό υπολογισμό, μια πιο στενή αντιστοιχία με τις αρχές σχεδιασμού και τη φυσική του εγκεφάλου μας που θα μπορούσε να γίνει το μέλλον της τεχνητής νοημοσύνης που εξοικονομεί ενέργεια. Αντί να μεταφέρουμε δεδομένα σε μεγάλες αποστάσεις μεταξύ μιας κεντρικής μονάδας επεξεργασίας και των τσιπ μνήμης, τα νευρομορφικά σχέδια μιμούνται την αρχιτεκτονική της μάζας που μοιάζει με ζελέ στα κεφάλια μας, με υπολογιστικές μονάδες (νευρώνες) τοποθετημένες δίπλα στη μνήμη (αποθηκευμένες στις συνάψεις που συνδέουν τους νευρώνες) . Για να γίνουν ακόμα πιο εγκεφαλικά, οι ερευνητές συνδυάζουν νευρομορφικά τσιπ με αναλογικούς υπολογιστές, οι οποίοι μπορούν να επεξεργάζονται συνεχή σήματα, όπως ακριβώς οι πραγματικοί νευρώνες. Τα τσιπ που προκύπτουν διαφέρουν πολύ από την τρέχουσα αρχιτεκτονική και τον τρόπο υπολογισμού των υπολογιστών που χρησιμοποιούν μόνο ψηφιακούς υπολογιστές που βασίζονται σε δυαδική επεξεργασία σήματος 0 και 1.
Με οδηγό τον εγκέφαλο, τα νευρομορφικά τσιπ υπόσχονται μια μέρα να καταρρίψουν την κατανάλωση ενέργειας υπολογιστικών εργασιών βαρέων δεδομένων όπως η τεχνητή νοημοσύνη. Δυστυχώς, οι αλγόριθμοι τεχνητής νοημοσύνης δεν έχουν παίξει καλά με τις αναλογικές εκδόσεις αυτών των τσιπ εξαιτίας ενός προβλήματος που είναι γνωστό ως ασυμφωνία συσκευών:Στο τσιπ, μικροσκοπικά στοιχεία εντός των αναλογικών νευρώνων δεν ταιριάζουν σε μέγεθος λόγω της διαδικασίας κατασκευής. Επειδή τα μεμονωμένα τσιπ δεν είναι αρκετά εξελιγμένα για να εκτελέσουν τις πιο πρόσφατες διαδικασίες εκπαίδευσης, οι αλγόριθμοι πρέπει πρώτα να εκπαιδευτούν ψηφιακά σε υπολογιστές. Στη συνέχεια, όμως, όταν οι αλγόριθμοι μεταφέρονται στο τσιπ, η απόδοσή τους καταρρέει μόλις συναντήσουν την αναντιστοιχία στο αναλογικό υλικό.
Τώρα, μια εργασία που δημοσιεύτηκε τον περασμένο μήνα στο Πρακτικά της Εθνικής Ακαδημίας Επιστημών αποκάλυψε επιτέλους έναν τρόπο να παρακάμψει αυτό το πρόβλημα. Μια ομάδα ερευνητών με επικεφαλής τον Friedemann Zenke στο Ινστιτούτο Βιοϊατρικής Έρευνας Friedrich Miescher και τον Johannes Schemmel στο Πανεπιστήμιο της Χαϊδελβέργης έδειξε ότι ένας αλγόριθμος τεχνητής νοημοσύνης γνωστός ως νευρωνικό δίκτυο - το οποίο χρησιμοποιεί το διακριτικό σήμα επικοινωνίας του εγκεφάλου, γνωστό ως ακίδα - θα μπορούσε εργαστείτε με το τσιπ για να μάθετε πώς να αντισταθμίζετε την αναντιστοιχία της συσκευής. Η εργασία είναι ένα σημαντικό βήμα προς τον αναλογικό νευρομορφικό υπολογισμό με AI.
«Το εκπληκτικό είναι ότι λειτούργησε τόσο καλά», είπε ο Sander Bohte, ειδικός σε νευρωνικά δίκτυα στο CWI, το εθνικό ερευνητικό ινστιτούτο για τα μαθηματικά και την επιστήμη των υπολογιστών στην Ολλανδία. "Είναι ένα πολύ επίτευγμα και πιθανότατα ένα σχέδιο για περισσότερα με αναλογικά νευρομορφικά συστήματα."
Η σημασία του αναλογικού υπολογισμού για τους υπολογιστές βασισμένους στον εγκέφαλο είναι λεπτή. Οι ψηφιακοί υπολογιστές μπορούν να αναπαραστήσουν αποτελεσματικά μια δυαδική πτυχή του σήματος ακίδας του εγκεφάλου, μια ηλεκτρική ώθηση που εκτοξεύεται μέσω ενός νευρώνα σαν κεραυνός. Όπως συμβαίνει με ένα δυαδικό ψηφιακό σήμα, είτε η ακίδα αποστέλλεται είτε όχι. Αλλά οι αιχμές αποστέλλονται με την πάροδο του χρόνου συνεχώς - είναι ένα αναλογικό σήμα - και το πώς οι νευρώνες μας αποφασίζουν να στείλουν μια ακίδα είναι επίσης συνεχές, με βάση μια τάση μέσα στο κελί που αλλάζει με την πάροδο του χρόνου. (Όταν η τάση φτάσει σε ένα συγκεκριμένο όριο σε σύγκριση με την τάση έξω από την κυψέλη, ο νευρώνας στέλνει μια ακίδα.)
«Σε αναλογία βρίσκεται η ομορφιά των βασικών υπολογισμών του εγκεφάλου. Η μίμηση αυτής της βασικής πτυχής του εγκεφάλου είναι ένας από τους κύριους μοχλούς του νευρομορφικού υπολογισμού», δήλωσε η Charlotte Frenkel, ερευνήτρια νευρομορφικής μηχανικής στο Πανεπιστήμιο της Ζυρίχης και στο ETH Zurich.
Το 2011, μια ομάδα ερευνητών στο Πανεπιστήμιο της Χαϊδελβέργης άρχισε να αναπτύσσει ένα νευρομορφικό τσιπ με αναλογικές και ψηφιακές πτυχές για να μοντελοποιήσει στενά τον εγκέφαλο για πειράματα νευροεπιστήμης. Τώρα με επικεφαλής τον Schemmel, η ομάδα αποκάλυψε την τελευταία έκδοση του τσιπ, που ονομάζεται BrainScaleS-2. Κάθε αναλογικός νευρώνας στο τσιπ μιμείται τα εισερχόμενα και εξερχόμενα ρεύματα και τις αλλαγές τάσης ενός εγκεφαλικού κυττάρου.
"Έχετε πραγματικά ένα δυναμικό σύστημα που ανταλλάσσει συνεχώς πληροφορίες", είπε ο Schemmel. Και επειδή τα υλικά έχουν διαφορετικές ηλεκτρικές ιδιότητες, το τσιπ μεταφέρει πληροφορίες 1.000 φορές πιο γρήγορα από τον εγκέφαλό μας.
Αλλά επειδή οι ιδιότητες των αναλογικών νευρώνων ποικίλλουν τόσο ελαφρώς - το πρόβλημα της ασυμφωνίας της συσκευής - οι τάσεις και τα επίπεδα του ρεύματος ποικίλλουν επίσης μεταξύ των νευρώνων. Οι αλγόριθμοι δεν μπορούν να το χειριστούν αυτό, καθώς εκπαιδεύτηκαν σε υπολογιστές με απόλυτα πανομοιότυπους ψηφιακούς νευρώνες και ξαφνικά η απόδοσή τους στο τσιπ πέφτει κατακόρυφα.
Το νέο έργο δείχνει έναν δρόμο προς τα εμπρός. Συμπεριλαμβάνοντας το τσιπ στη διαδικασία εκπαίδευσης, οι συγγραφείς έδειξαν ότι τα νευρωνικά δίκτυα θα μπορούσαν να μάθουν πώς να διορθώνουν τις μεταβαλλόμενες τάσεις στο τσιπ BrainScaleS-2. «Αυτή η διάταξη εκπαίδευσης είναι μια από τις πρώτες πειστικές αποδείξεις ότι η μεταβλητότητα όχι μόνο μπορεί να αντισταθμιστεί [για], αλλά και πιθανότατα να αξιοποιηθεί», είπε ο Frenkel.
Για να αντιμετωπίσει την αναντιστοιχία συσκευών, η ομάδα συνδύασε μια προσέγγιση που επιτρέπει στο τσιπ να μιλάει στον υπολογιστή με μια νέα μέθοδο εκμάθησης που ονομάζεται υποκατάστατες διαβαθμίσεις, η οποία αναπτύχθηκε από κοινού από τον Zenke ειδικά για τα νευρωνικά δίκτυα αιχμής. Λειτουργεί αλλάζοντας τις συνδέσεις μεταξύ των νευρώνων για να ελαχιστοποιήσει πόσα σφάλματα κάνει ένα νευρωνικό δίκτυο σε μια εργασία. (Αυτή είναι παρόμοια με τη μέθοδο που χρησιμοποιείται από νευρωνικά δίκτυα χωρίς αιχμή, που ονομάζεται backpropagation.)
Ουσιαστικά, η μέθοδος υποκατάστατης κλίσης ήταν σε θέση να διορθώσει τις ατέλειες του τσιπ κατά τη διάρκεια της εκπαίδευσης στον υπολογιστή. Πρώτον, το spiking νευρωνικό δίκτυο εκτελεί μια απλή εργασία χρησιμοποιώντας τις μεταβαλλόμενες τάσεις των αναλογικών νευρώνων στο τσιπ, στέλνοντας καταγραφές των τάσεων πίσω στον υπολογιστή. Εκεί, ο αλγόριθμος μαθαίνει αυτόματα πώς να αλλάζει καλύτερα τις συνδέσεις μεταξύ των νευρώνων του για να εξακολουθεί να παίζει όμορφα με τους αναλογικούς νευρώνες, ενημερώνοντάς τους συνεχώς στο τσιπ ενώ μαθαίνει. Στη συνέχεια, όταν ολοκληρωθεί η εκπαίδευση, το spiking νευρωνικό δίκτυο εκτελεί την εργασία στο τσιπ. Οι ερευνητές αναφέρουν ότι το δίκτυό τους έφτασε στο ίδιο επίπεδο ακρίβειας σε μια εργασία ομιλίας και όρασης με τα κορυφαία νευρωνικά δίκτυα που εκτελούν την εργασία σε υπολογιστές. Με άλλα λόγια, ο αλγόριθμος έμαθε ακριβώς τι αλλαγές θα έπρεπε να κάνει για να ξεπεραστεί το πρόβλημα ασυμφωνίας συσκευής.
«Η απόδοση που πέτυχαν για να αντιμετωπίσουν ένα πραγματικό πρόβλημα με αυτό το σύστημα είναι ένα μεγάλο επίτευγμα», δήλωσε ο Thomas Nowotny, ένας υπολογιστικός νευροεπιστήμονας στο Πανεπιστήμιο του Sussex. Και, όπως ήταν αναμενόμενο, το κάνουν με εντυπωσιακή ενεργειακή απόδοση. Οι συγγραφείς λένε ότι η εκτέλεση του αλγορίθμου τους στο τσιπ κατανάλωνε περίπου 1.000 φορές λιγότερη ενέργεια από ό,τι θα απαιτούσε ένας τυπικός επεξεργαστής.
Ωστόσο, ο Frenkel επισημαίνει ότι ενώ η κατανάλωση ενέργειας είναι καλά νέα μέχρι στιγμής, τα νευρομορφικά τσιπ θα πρέπει ακόμα να αποδεικνύονται έναντι του υλικού που έχει βελτιστοποιηθεί για παρόμοιες εργασίες αναγνώρισης ομιλίας και όρασης, αντί για τυπικούς επεξεργαστές. Και ο Nowotny προειδοποιεί ότι η προσέγγιση μπορεί να έχει πρόβλημα με την κλιμάκωση σε μεγάλες πρακτικές εργασίες, καθώς εξακολουθεί να απαιτεί τη μεταφορά των δεδομένων μεταξύ υπολογιστή και τσιπ.
Ο μακροπρόθεσμος στόχος είναι τα νευρωνικά δίκτυα να εκπαιδεύονται και να λειτουργούν σε νευρομορφικά τσιπ από την αρχή μέχρι το τέλος, χωρίς να χρειάζεται καθόλου υπολογιστής. Αλλά αυτό θα απαιτούσε τη δημιουργία μιας νέας γενιάς chip, η οποία διαρκεί χρόνια, είπε ο Nowotny.
Προς το παρόν, η ομάδα του Zenke και του Schemmel είναι στην ευχάριστη θέση να δείξει ότι οι αλγόριθμοι νευρωνικών δικτύων spiking μπορούν να χειριστούν τις μικροσκοπικές παραλλαγές μεταξύ αναλογικών νευρώνων σε νευρομορφικό υλικό. «Μπορείτε να βασιστείτε σε 60 ή 70 χρόνια εμπειρίας και ιστορίας λογισμικού για ψηφιακούς υπολογιστές», είπε ο Schemmel. "Για αυτόν τον αναλογικό υπολογισμό, πρέπει να κάνουμε τα πάντα μόνοι μας."
