Πρόβλεψη αβεβαιότητας:Πώς η μηχανική μάθηση αντιμετωπίζει το χάος

Πριν από μισό αιώνα, οι πρωτοπόροι της θεωρίας του χάους ανακάλυψαν ότι το «φαινόμενο της πεταλούδας» καθιστά αδύνατη τη μακροπρόθεσμη πρόβλεψη. Ακόμη και η μικρότερη διαταραχή σε ένα περίπλοκο σύστημα (όπως ο καιρός, η οικονομία ή σχεδόν οτιδήποτε άλλο) μπορεί να αγγίξει μια συνένωση γεγονότων που οδηγεί σε ένα δραματικά αποκλίνον μέλλον. Αδυνατώντας να εντοπίσουμε την κατάσταση αυτών των συστημάτων με επαρκή ακρίβεια για να προβλέψουμε πώς θα εξελιχθούν, ζούμε κάτω από ένα πέπλο αβεβαιότητας.

Αλλά τώρα τα ρομπότ είναι εδώ για να βοηθήσουν.

Σε μια σειρά αποτελεσμάτων που αναφέρονται στα περιοδικά Physical Review Letters και Χάος , οι επιστήμονες χρησιμοποίησαν τη μηχανική μάθηση - την ίδια υπολογιστική τεχνική πίσω από τις πρόσφατες επιτυχίες στην τεχνητή νοημοσύνη - για να προβλέψουν τη μελλοντική εξέλιξη των χαοτικών συστημάτων σε εκπληκτικά μακρινούς ορίζοντες. Η προσέγγιση επαινείται από εξωτερικούς ειδικούς ως πρωτοποριακή και πιθανόν να βρει ευρεία εφαρμογή.

«Το βρίσκω πραγματικά εκπληκτικό πόσο μακριά στο μέλλον προβλέπουν» τη χαοτική εξέλιξη ενός συστήματος, δήλωσε ο Herbert Jaeger, καθηγητής υπολογιστικής επιστήμης στο Πανεπιστήμιο Jacobs στη Βρέμη της Γερμανίας.

Τα ευρήματα προέρχονται από τον βετεράνο θεωρητικό του χάους Έντουαρντ Οτ και τέσσερις συνεργάτες του στο Πανεπιστήμιο του Μέριλαντ. Χρησιμοποίησαν έναν αλγόριθμο μηχανικής μάθησης που ονομάζεται reservoir computing για να «μάθουν» τη δυναμική ενός αρχετυπικού χαοτικού συστήματος που ονομάζεται εξίσωση Kuramoto-Sivashinsky. Η εξελισσόμενη λύση αυτής της εξίσωσης συμπεριφέρεται σαν μέτωπο φλόγας, που τρεμοπαίζει καθώς προχωρά μέσα από ένα εύφλεκτο μέσο. Η εξίσωση περιγράφει επίσης τα κύματα μετατόπισης στο πλάσμα και άλλα φαινόμενα και χρησιμεύει ως "ένα δοκιμαστικό κρεβάτι για τη μελέτη των αναταράξεων και του χωροχρονικού χάους", δήλωσε ο Jaideep Pathak, μεταπτυχιακός φοιτητής του Ott και ο κύριος συγγραφέας των νέων εργασιών.

Αφού εκπαιδεύτηκε σε δεδομένα από την προηγούμενη εξέλιξη της εξίσωσης Kuramoto-Sivashinsky, ο υπολογιστής δεξαμενής των ερευνητών θα μπορούσε στη συνέχεια να προβλέψει στενά πώς το σύστημα που μοιάζει με φλόγα θα συνέχιζε να εξελίσσεται σε οκτώ «χρόνους Lyapunov» στο μέλλον, οκτώ φορές πιο μπροστά από ό,τι επέτρεπαν οι προηγούμενες μέθοδοι, χαλαρά μιλώντας. Ο χρόνος Lyapunov αντιπροσωπεύει πόσο χρόνο χρειάζεται για να αποκλίνουν εκθετικά δύο σχεδόν πανομοιότυπες καταστάσεις ενός χαοτικού συστήματος. Ως εκ τούτου, ορίζει συνήθως τον ορίζοντα προβλεψιμότητας.

«Αυτό είναι πραγματικά πολύ καλό», είπε ο Holger Kantz, θεωρητικός του χάους στο Ινστιτούτο Max Planck για τη Φυσική των Μιγαδικών Συστημάτων στη Δρέσδη της Γερμανίας, σχετικά με την πρόβλεψη του οκτώ χρόνου Lyapunov. "Η τεχνική της μηχανικής μάθησης είναι σχεδόν εξίσου καλή με τη γνώση της αλήθειας, να λέμε."

Ο αλγόριθμος δεν γνωρίζει τίποτα για την ίδια την εξίσωση Kuramoto-Sivashinsky. βλέπει μόνο τα δεδομένα που καταγράφονται για την εξελισσόμενη λύση της εξίσωσης. Αυτό καθιστά την προσέγγιση μηχανικής μάθησης ισχυρή. Σε πολλές περιπτώσεις, οι εξισώσεις που περιγράφουν ένα χαοτικό σύστημα δεν είναι γνωστές, ακρωτηριάζοντας τις προσπάθειες των δυναμικών να τα μοντελοποιήσουν και να τα προβλέψουν. Τα αποτελέσματα της Ott και της εταιρείας υποδηλώνουν ότι δεν χρειάζεστε τις εξισώσεις - μόνο δεδομένα. "Αυτό το έγγραφο υποδηλώνει ότι μια μέρα θα μπορούσαμε ίσως να προβλέψουμε τον καιρό με αλγόριθμους μηχανικής μάθησης και όχι με εξελιγμένα μοντέλα της ατμόσφαιρας", είπε ο Kantz.

Εκτός από την πρόγνωση του καιρού, οι ειδικοί λένε ότι η τεχνική της μηχανικής μάθησης θα μπορούσε να βοηθήσει στην παρακολούθηση των καρδιακών αρρυθμιών για σημάδια επικείμενων καρδιακών προσβολών και στην παρακολούθηση των μοτίβων πυροδότησης νευρώνων στον εγκέφαλο για σημάδια αιχμών νευρώνων. Πιο εικαστικά, θα μπορούσε επίσης να βοηθήσει στην πρόβλεψη αδίστακτων κυμάτων, που θέτουν σε κίνδυνο πλοία, και πιθανώς ακόμη και σεισμούς.

Ο Ott ελπίζει ιδιαίτερα ότι τα νέα εργαλεία θα αποδειχθούν χρήσιμα για την εκ των προτέρων προειδοποίηση για ηλιακές καταιγίδες, όπως αυτή που ξέσπασε σε 35.000 μίλια της επιφάνειας του ήλιου το 1859. Αυτό το μαγνητικό ξέσπασμα δημιούργησε το βόρειο σέλας ορατό σε όλη τη Γη και εκτόξευσε ορισμένα τηλεγραφικά συστήματα, ενώ παράγει αρκετή τάση για να επιτρέψει σε άλλες γραμμές τροφοδοσίας να απενεργοποιηθούν. Εάν μια τέτοια ηλιακή καταιγίδα έπληξε τον πλανήτη απροσδόκητα σήμερα, οι ειδικοί λένε ότι θα έβλαπτε σοβαρά την ηλεκτρονική υποδομή της Γης. "Αν ήξερες ότι ερχόταν η καταιγίδα, θα μπορούσατε απλώς να απενεργοποιήσετε την τροφοδοσία και να την ενεργοποιήσετε ξανά αργότερα", είπε ο Ott.

Αυτός, ο Pathak και οι συνάδελφοί τους Brian Hunt, Michelle Girvan και Zhixin Lu (που τώρα βρίσκεται στο Πανεπιστήμιο της Πενσυλβάνια) πέτυχαν τα αποτελέσματά τους συνθέτοντας υπάρχοντα εργαλεία. Πριν από έξι ή επτά χρόνια, όταν ο ισχυρός αλγόριθμος που είναι γνωστός ως «deep learning» άρχιζε να κυριαρχεί σε εργασίες AI, όπως η αναγνώριση εικόνας και ομιλίας, άρχισαν να διαβάζουν για τη μηχανική μάθηση και να σκέφτονται έξυπνους τρόπους για να το εφαρμόσουν στο χάος. Έμαθαν για μια χούφτα πολλά υποσχόμενα αποτελέσματα πριν από την επανάσταση της βαθιάς μάθησης. Το πιο σημαντικό, στις αρχές της δεκαετίας του 2000, ο Jaeger και ο συνάδελφος Γερμανός θεωρητικός του χάους Harald Haas χρησιμοποίησαν ένα δίκτυο τυχαία συνδεδεμένων τεχνητών νευρώνων - που αποτελούν τη «δεξαμενή» στον υπολογισμό των δεξαμενών - για να μάθουν τη δυναμική τριών χαοτικά συνεξελισσόμενων μεταβλητών. Μετά την εκπαίδευση στις τρεις σειρές αριθμών, το δίκτυο μπορούσε να προβλέψει τις μελλοντικές τιμές των τριών μεταβλητών σε έναν εντυπωσιακά μακρινό ορίζοντα. Ωστόσο, όταν υπήρχαν περισσότερες από λίγες αλληλεπιδρώντες μεταβλητές, οι υπολογισμοί έγιναν απίστευτα δυσκίνητοι. Ο Ott και οι συνεργάτες του χρειάζονταν ένα πιο αποτελεσματικό σχέδιο για να κάνουν τον υπολογισμό των δεξαμενών σχετικό με μεγάλα χαοτικά συστήματα, τα οποία έχουν τεράστιους αριθμούς αλληλένδετων μεταβλητών. Κάθε θέση κατά μήκος του μπροστινού μέρους μιας φλόγας που προωθείται, για παράδειγμα, έχει στοιχεία ταχύτητας σε τρεις χωρικές κατευθύνσεις για παρακολούθηση.

Χρειάστηκαν χρόνια για να επιτευχθεί η απλή λύση. «Αυτό που εκμεταλλευτήκαμε ήταν η τοποθεσία των αλληλεπιδράσεων» σε χωρικά εκτεταμένα χαοτικά συστήματα, είπε ο Pathak. Τοπικότητα σημαίνει ότι οι μεταβλητές σε ένα μέρος επηρεάζονται από μεταβλητές σε κοντινά μέρη αλλά όχι από μέρη μακριά. «Χρησιμοποιώντας αυτό», εξήγησε ο Pathak, «μπορούμε ουσιαστικά να χωρίσουμε το πρόβλημα σε κομμάτια». Δηλαδή, μπορείτε να παραλληλίσετε το πρόβλημα, χρησιμοποιώντας μια δεξαμενή νευρώνων για να μάθετε για μια ενημερωμένη έκδοση κώδικα ενός συστήματος, μια άλλη δεξαμενή για να μάθετε για την επόμενη ενημέρωση κώδικα και ούτω καθεξής, με μικρές επικαλύψεις γειτονικών τομέων για να λάβετε υπόψη τις αλληλεπιδράσεις τους.

Η παραλληλοποίηση επιτρέπει στην υπολογιστική προσέγγιση της δεξαμενής να χειρίζεται χαοτικά συστήματα σχεδόν οποιουδήποτε μεγέθους, εφόσον αναλογικοί πόροι υπολογιστή είναι αφιερωμένοι στην εργασία.

Ο Ott εξήγησε τον υπολογισμό της δεξαμενής ως μια διαδικασία τριών βημάτων. Ας πούμε ότι θέλετε να το χρησιμοποιήσετε για να προβλέψετε την εξέλιξη μιας πυρκαγιάς που εξαπλώνεται. Αρχικά, μετράτε το ύψος της φλόγας σε πέντε διαφορετικά σημεία κατά μήκος του μετώπου της φλόγας, συνεχίζοντας να μετράτε το ύψος σε αυτά τα σημεία στο μπροστινό μέρος καθώς η φλόγα που τρεμοπαίζει προχωρά σε μια χρονική περίοδο. Τροφοδοτείτε αυτές τις ροές δεδομένων σε τυχαία επιλεγμένους τεχνητούς νευρώνες στη δεξαμενή. Τα δεδομένα εισόδου ενεργοποιούν τους νευρώνες να πυροδοτήσουν, ενεργοποιώντας τους συνδεδεμένους νευρώνες με τη σειρά τους και στέλνοντας έναν καταρράκτη σημάτων σε όλο το δίκτυο.

Το δεύτερο βήμα είναι να κάνουμε το νευρωνικό δίκτυο να μάθει τη δυναμική του εξελισσόμενου μετώπου φλόγας από τα δεδομένα εισόδου. Για να το κάνετε αυτό, καθώς τροφοδοτείτε δεδομένα, παρακολουθείτε επίσης την ισχύ του σήματος αρκετών τυχαία επιλεγμένων νευρώνων στη δεξαμενή. Η στάθμιση και ο συνδυασμός αυτών των σημάτων με πέντε διαφορετικούς τρόπους παράγει πέντε αριθμούς ως εξόδους. Ο στόχος είναι να προσαρμόσετε τα βάρη των διαφόρων σημάτων που υπεισέρχονται στον υπολογισμό των εξόδων έως ότου αυτές οι έξοδοι ταιριάζουν σταθερά με το επόμενο σύνολο εισόδων - τα πέντε νέα ύψη που μετρήθηκαν λίγο αργότερα κατά μήκος του μετώπου της φλόγας. "Αυτό που θέλετε είναι η έξοδος να είναι η είσοδος λίγο αργότερα", εξήγησε ο Ott.

Για να μάθει τα σωστά βάρη, ο αλγόριθμος απλώς συγκρίνει κάθε σύνολο εξόδων ή προβλεπόμενα ύψη φλόγας σε καθένα από τα πέντε σημεία, με το επόμενο σύνολο εισόδων ή πραγματικά ύψη φλόγας, αυξάνοντας ή μειώνοντας τα βάρη των διαφόρων σημάτων κάθε φορά με όποιον τρόπο θα έκανε οι συνδυασμοί τους να δώσουν τις σωστές τιμές για τις πέντε εξόδους. Από το ένα χρονικό βήμα στο επόμενο, καθώς τα βάρη συντονίζονται, οι προβλέψεις βελτιώνονται σταδιακά, έως ότου ο αλγόριθμος είναι σταθερά σε θέση να προβλέψει την κατάσταση της φλόγας ένα βήμα αργότερα.

«Στο τρίτο βήμα, κάνεις πραγματικά την πρόβλεψη», είπε ο Ott. Η δεξαμενή, έχοντας μάθει τη δυναμική του συστήματος, μπορεί να αποκαλύψει πώς θα εξελιχθεί. Το δίκτυο ουσιαστικά αναρωτιέται τι θα συμβεί. Οι έξοδοι ανατροφοδοτούνται όπως οι νέες είσοδοι, των οποίων οι έξοδοι ανατροφοδοτούνται ως είσοδοι και ούτω καθεξής, κάνοντας μια προβολή του πώς θα εξελιχθούν τα ύψη στις πέντε θέσεις στο μέτωπο της φλόγας. Άλλες δεξαμενές που λειτουργούν παράλληλα προβλέπουν την εξέλιξη του ύψους σε άλλα σημεία της φλόγας.

Σε μια πλοκή στο PRL τους Έγγραφο, το οποίο εμφανίστηκε τον Ιανουάριο, οι ερευνητές δείχνουν ότι η προβλεπόμενη φλόγα λύση στην εξίσωση Kuramoto-Sivashinsky ταιριάζει ακριβώς με την αληθινή λύση έως και οκτώ φορές Lyapunov προτού τελικά επικρατήσει το χάος και οι πραγματικές και οι προβλεπόμενες καταστάσεις του συστήματος αποκλίνουν.

Η συνήθης προσέγγιση για την πρόβλεψη ενός χαοτικού συστήματος είναι η μέτρηση των συνθηκών του σε μια στιγμή όσο το δυνατόν ακριβέστερα, η χρήση αυτών των δεδομένων για τη βαθμονόμηση ενός φυσικού μοντέλου και στη συνέχεια η εξέλιξη του μοντέλου προς τα εμπρός. Ως μια εκτίμηση, θα πρέπει να μετρήσετε τις αρχικές συνθήκες ενός τυπικού συστήματος 100.000.000 φορές με μεγαλύτερη ακρίβεια για να προβλέψετε τη μελλοντική του εξέλιξη οκτώ φορές πιο μπροστά.

Γι' αυτό η μηχανική μάθηση είναι «μια πολύ χρήσιμη και ισχυρή προσέγγιση», δήλωσε ο Ulrich Parlitz του Ινστιτούτου Max Planck για Δυναμική και Αυτο-Οργάνωση στο Γκέτινγκεν της Γερμανίας, ο οποίος, όπως ο Jaeger, εφάρμοσε επίσης τη μηχανική μάθηση σε χαοτικά συστήματα χαμηλών διαστάσεων στις αρχές της δεκαετίας του 2000. «Νομίζω ότι δεν λειτουργεί μόνο στο παράδειγμα που παρουσιάζουν, αλλά είναι καθολικό από κάποια άποψη και μπορεί να εφαρμοστεί σε πολλές διαδικασίες και συστήματα». Σε ένα άρθρο που θα δημοσιευτεί σύντομα στο Chaos , ο Parlitz και ένας συνεργάτης του εφάρμοσαν υπολογισμό δεξαμενής για να προβλέψουν τη δυναμική των «διεγερσίμων μέσων», όπως ο καρδιακός ιστός. Ο Parlitz υποψιάζεται ότι η βαθιά μάθηση, ενώ είναι πιο περίπλοκη και εντατική υπολογιστικά από την υπολογιστική δεξαμενή, θα λειτουργήσει επίσης καλά για την αντιμετώπιση του χάους, όπως και άλλοι αλγόριθμοι μηχανικής μάθησης. Πρόσφατα, ερευνητές στο Ινστιτούτο Τεχνολογίας της Μασαχουσέτης και στο ETH της Ζυρίχης πέτυχαν παρόμοια αποτελέσματα με την ομάδα του Μέριλαντ χρησιμοποιώντας ένα νευρωνικό δίκτυο «μακράς βραχυπρόθεσμης μνήμης», το οποίο έχει επαναλαμβανόμενους βρόχους που του επιτρέπουν να αποθηκεύει προσωρινές πληροφορίες για μεγάλο χρονικό διάστημα.

Από το έργο στο PRL τους paper, Ott, Pathak, Girvan, Lu και άλλοι συνεργάτες έχουν έρθει πιο κοντά σε μια πρακτική εφαρμογή της τεχνικής πρόβλεψής τους. Σε νέα έρευνα που έγινε δεκτή για δημοσίευση στο Chaos , έδειξαν ότι βελτιωμένες προβλέψεις χαοτικών συστημάτων όπως η εξίσωση Kuramoto-Sivashinsky καθίστανται δυνατές με τον υβριδισμό της προσέγγισης που βασίζεται στα δεδομένα, της μηχανικής μάθησης και της παραδοσιακής πρόβλεψης που βασίζεται σε μοντέλα. Ο Ott βλέπει αυτό ως μια πιο πιθανή οδό για τη βελτίωση της πρόβλεψης καιρού και παρόμοιες προσπάθειες, καθώς δεν έχουμε πάντα πλήρη δεδομένα υψηλής ανάλυσης ή τέλεια φυσικά μοντέλα. «Αυτό που πρέπει να κάνουμε είναι να χρησιμοποιήσουμε την καλή γνώση που έχουμε εκεί που την έχουμε», είπε, «και εάν έχουμε άγνοια, θα πρέπει να χρησιμοποιήσουμε τη μηχανική μάθηση για να καλύψουμε τα κενά όπου βρίσκεται η άγνοια». Οι προβλέψεις της δεξαμενής μπορούν ουσιαστικά να βαθμονομήσουν τα μοντέλα. Στην περίπτωση της εξίσωσης Kuramoto-Sivashinsky, οι ακριβείς προβλέψεις επεκτείνονται σε 12 φορές Lyapunov.

Η διάρκεια ενός χρόνου Lyapunov ποικίλλει για διαφορετικά συστήματα, από χιλιοστά του δευτερολέπτου έως εκατομμύρια χρόνια. (Είναι λίγες μέρες στην περίπτωση του καιρού.) Όσο πιο σύντομο είναι, τόσο πιο ευαίσθητο ή πιο επιρρεπές στο φαινόμενο της πεταλούδας είναι ένα σύστημα, με παρόμοιες καταστάσεις να αναχωρούν πιο γρήγορα για ανόμοια μέλλοντα. Τα χαοτικά συστήματα είναι παντού στη φύση, ξεθωριάζουν λίγο πολύ γρήγορα. Ωστόσο, περιέργως, το ίδιο το χάος είναι δύσκολο να εντοπιστεί. «Είναι ένας όρος που χρησιμοποιούν οι περισσότεροι άνθρωποι στα δυναμικά συστήματα, αλλά κρατούν τη μύτη τους κατά τον χρήση», δήλωσε η Amie Wilkinson, καθηγήτρια μαθηματικών στο Πανεπιστήμιο του Σικάγο. «Νιώθεις λίγο αγενής που λες κάτι είναι χαοτικό», είπε, επειδή τραβάει την προσοχή των ανθρώπων, ενώ δεν υπάρχει συμφωνημένος μαθηματικός ορισμός ή απαραίτητες και επαρκείς προϋποθέσεις. «Δεν υπάρχει εύκολη ιδέα», συμφώνησε ο Kantz. Σε ορισμένες περιπτώσεις, ο συντονισμός μιας μεμονωμένης παραμέτρου ενός συστήματος μπορεί να το κάνει από χαοτικό σε σταθερό ή το αντίστροφο.

Ο Wilkinson και ο Kantz ορίζουν και οι δύο το χάος ως προς το τέντωμα και το δίπλωμα, όπως το επαναλαμβανόμενο τέντωμα και δίπλωμα της ζύμης στην παρασκευή σφολιάτας. Κάθε κομμάτι ζύμης τεντώνεται οριζόντια κάτω από τον πλάστη, χωρίζοντας εκθετικά γρήγορα σε δύο χωρικές κατευθύνσεις. Στη συνέχεια, η ζύμη διπλώνεται και ισιώνεται, συμπιέζοντας τα κοντινά μπαλώματα στην κατακόρυφη κατεύθυνση. Ο καιρός, οι πυρκαγιές, η θυελλώδης επιφάνεια του ήλιου και όλα τα άλλα χαοτικά συστήματα ενεργούν ακριβώς με αυτόν τον τρόπο, είπε ο Kantz. "Για να έχετε αυτήν την εκθετική απόκλιση τροχιών χρειάζεστε αυτό το τέντωμα και για να μην ξεφύγετε στο άπειρο χρειάζεστε λίγη αναδίπλωση", όπου η αναδίπλωση προέρχεται από μη γραμμικές σχέσεις μεταξύ μεταβλητών στα συστήματα.

Το τέντωμα και η συμπίεση στις διαφορετικές διαστάσεις αντιστοιχούν στους θετικούς και αρνητικούς "εκθέτες Lyapunov" ενός συστήματος, αντίστοιχα. Σε άλλο πρόσφατο άρθρο στο Χάος , η ομάδα του Μέριλαντ ανέφερε ότι ο υπολογιστής της δεξαμενής μπορούσε να μάθει με επιτυχία τις τιμές αυτών των χαρακτηριστικών εκθετών από δεδομένα σχετικά με την εξέλιξη ενός συστήματος. Το γιατί ακριβώς το reservoir computing είναι τόσο καλό στην εκμάθηση της δυναμικής των χαοτικών συστημάτων δεν είναι ακόμα καλά κατανοητό, πέρα ​​από την ιδέα ότι ο υπολογιστής συντονίζει τους δικούς του τύπους ως απόκριση στα δεδομένα έως ότου οι τύποι αντιγράψουν τη δυναμική του συστήματος. Η τεχνική λειτουργεί τόσο καλά, στην πραγματικότητα, που ο Ott και ορισμένοι από τους άλλους ερευνητές του Μέριλαντ σκοπεύουν τώρα να χρησιμοποιήσουν τη θεωρία του χάους ως τρόπο για να κατανοήσουν καλύτερα τις εσωτερικές μηχανορραφίες των νευρωνικών δικτύων.

Αυτό το άρθρο ανατυπώθηκε στο Wired.com στα Ισπανικά στη διεύθυνση Investigacionyciencia.es