Γλωσσάριο

Συναρτήσεις ενεργοποίησης

Τι είναι Συναρτήσεις ενεργοποίησης;

Οι συναρτήσεις ενεργοποίησης καθορίζουν πόσο έντονα ένας νευρώνας σε ένα τεχνητό νευρωνικό δίκτυο μεταδίδει το σήμα του. Εισάγουν μη γραμμικότητα – μόνο έτσι μπορεί το δίκτυο να αναπαραστήσει σύνθετες σχέσεις όπως η γλώσσα ή οι εικόνες. Συνήθη παραδείγματα είναι η ReLU, που μηδενίζει τις αρνητικές τιμές, η σιγμοειδής για πιθανότητες μεταξύ 0 και 1 και η GELU, που χρησιμοποιείται σε πολλά μοντέλα transformer. Η επιλογή επηρεάζει την ταχύτητα και τη σταθερότητα της εκπαίδευσης.

Θέματα

Νευρωνικά δίκτυα
Βαθιά μάθηση
Βασικές έννοιες

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Τεχνητά νευρωνικά δίκτυα (ANN)

Τα τεχνητά νευρωνικά δίκτυα (artificial neural networks, ANN) είναι υπολογιστικά μοντέλα που αποτελούνται από πολλές συνδεδεμένες μονάδες («νευρώνες») οργανωμένες σε στρώματα, οι οποίες επεξεργάζονται εισόδους μέσω σταθμισμένων συνδέσεων. Κατά την εκπαίδευση, τα βάρη προσαρμόζονται βήμα προς βήμα με τη βοήθεια παραδειγμάτων, συνήθως με οπισθοδιάδοση (backpropagation). Τα ANN αποτελούν το θεμέλιο της βαθιάς μάθησης και τροφοδοτούν την αναγνώριση εικόνας, την αναγνώριση ομιλίας και τα μεγάλα γλωσσικά μοντέλα. Παρά τη βιολογική τους έμπνευση, λειτουργούν πολύ απλούστερα από τον ανθρώπινο εγκέφαλο.

Βαθιά μάθηση
βασικές έννοιες ΤΝ
+1

Backpropagation

Η οπισθοδιάδοση (backpropagation) είναι η τυπική μέθοδος με την οποία μαθαίνουν τα νευρωνικά δίκτυα. Μετά από κάθε πρόβλεψη, το σφάλμα μετριέται και διαδίδεται προς τα πίσω μέσα από τα επίπεδα του δικτύου, δείχνοντας πόσο συνέβαλε σε αυτό κάθε βάρος. Μια μέθοδος βελτιστοποίησης, όπως η κάθοδος κλίσης, προσαρμόζει στη συνέχεια τα βάρη βήμα προς βήμα. Χωρίς οπισθοδιάδοση, η εκπαίδευση των σημερινών μοντέλων γλώσσας και εικόνας θα ήταν πρακτικά αδύνατη.

Νευρωνικά δίκτυα
Training
+1

Βαθιά μάθηση

Η βαθιά μάθηση (deep learning) είναι ένας κλάδος της μηχανικής μάθησης που χρησιμοποιεί τεχνητά νευρωνικά δίκτυα με πολλά στρώματα. Τέτοια δίκτυα μαθαίνουν από μεγάλους όγκους δεδομένων ποια χαρακτηριστικά έχουν σημασία – από τις ακμές σε εικόνες έως τις σχέσεις νοήματος σε κείμενα. Η βαθιά μάθηση στηρίζει τα σημερινά γλωσσικά μοντέλα, την αναγνώριση εικόνας και ομιλίας και τη μηχανική μετάφραση, και συνήθως απαιτεί σημαντική υπολογιστική ισχύ και δεδομένα εκπαίδευσης.

νευρωνικά δίκτυα
μηχανική μάθηση
+1