Γλωσσάριο

Παραμετρικά αποδοτική τελειοποίηση (PEFT)

Τι είναι Παραμετρικά αποδοτική τελειοποίηση (PEFT);

Η παραμετρικά αποδοτική τελειοποίηση (PEFT) καλύπτει τεχνικές που προσαρμόζουν ένα μεγάλο προεκπαιδευμένο μοντέλο σε μια εργασία, εκπαιδεύοντας μόνο ένα μικρό μέρος των παραμέτρων του ή προσθέτοντας λίγες επιπλέον. Γνωστές μέθοδοι είναι οι LoRA, QLoRA, adapters και prefix tuning. Έτσι μειώνονται σημαντικά οι απαιτήσεις σε υπολογιστική ισχύ και μνήμη, και μικρές πρόσθετες μονάδες μπορούν να αποθηκεύονται για διάφορες εργασίες αντί για πλήρη αντίγραφα του μοντέλου. Παράδειγμα: ένα γλωσσικό μοντέλο προσαρμόζεται στο ύφος εσωτερικών τεχνικών εγγράφων.

Θέματα

τελειοποίηση
εκπαίδευση
αποδοτικότητα

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

βελτιστοποίηση (fine-tuning)

Η βελτιστοποίηση (fine-tuning) σημαίνει τη συνέχιση της εκπαίδευσης ενός ήδη προεκπαιδευμένου μοντέλου ΤΝ με πρόσθετα, συνήθως ειδικά για την εργασία δεδομένα. Τα εσωτερικά του βάρη προσαρμόζονται ώστε το μοντέλο να χειρίζεται πιο αξιόπιστα, για παράδειγμα, ένα συγκεκριμένο ύφος γραφής, εξειδικευμένο λεξιλόγιο ή μορφή εξόδου. Η βελτιστοποίηση απαιτεί προσεκτικά προετοιμασμένα δεδομένα-παραδείγματα, υπολογιστική ισχύ και δοκιμές. Για πολλές εφαρμογές αρκούν καλογραμμένες οδηγίες και συνδεδεμένη γνώση, που είναι και ευκολότερο να αλλαχθούν.

εκπαίδευση μοντέλου
Προσαρμογή
+1

Instruction Tuning

Το instruction tuning είναι μια μορφή βελτιστοποίησης (fine-tuning) κατά την οποία ένα προεκπαιδευμένο γλωσσικό μοντέλο εκπαιδεύεται περαιτέρω με πολλά ζεύγη οδηγιών και επιθυμητών απαντήσεων. Έτσι το μοντέλο μαθαίνει να εκτελεί εργασίες διατυπωμένες σε φυσική γλώσσα αντί να συνεχίζει απλώς ένα κείμενο. Είναι βασικό βήμα για τη μετατροπή ενός βασικού μοντέλου σε βοηθό και συχνά συνδυάζεται με μεθόδους όπως το RLHF. Παράδειγμα: η εντολή «Συνοψίστε αυτό το κείμενο σε τρεις προτάσεις» εκτελείται αξιόπιστα.

βελτιστοποίηση (fine-tuning)
γλωσσικά μοντέλα
+1

Transfer Learning

Στη μεταφερόμενη μάθηση (transfer learning), ένα μοντέλο που έχει ήδη μάθει μια μεγάλη γενική εργασία χρησιμεύει ως σημείο εκκίνησης για ένα νέο, εξειδικευμένο. Αντί να ξεκινά από το μηδέν, προσαρμόζεται, για παράδειγμα μέσω τελειοποίησης, με συγκριτικά λίγα δικά σας δεδομένα. Αυτό εξοικονομεί υπολογιστικό χρόνο και δεδομένα, για παράδειγμα όταν ένα γενικό μοντέλο εικόνας πρέπει να μάθει να εντοπίζει ελαττώματα παραγωγής σε φωτογραφίες.

Μηχανική μάθηση
Training
+1

Θεμελιώδες μοντέλο (foundation model)

Ένα θεμελιώδες μοντέλο (foundation model) είναι ένα μεγάλο μοντέλο ΤΝ προεκπαιδευμένο σε πολύ εκτεταμένα και ποικίλα δεδομένα, το οποίο μπορεί στη συνέχεια να χρησιμοποιηθεί για πολλές διαφορετικές εργασίες. Ο όρος επινοήθηκε στο Πανεπιστήμιο Στάνφορντ το 2021. Γνωστά παραδείγματα είναι μεγάλα γλωσσικά μοντέλα όπως το Claude ή το GPT, καθώς και μοντέλα εικόνας. Οι επιχειρήσεις συνήθως χτίζουν τις εφαρμογές τους πάνω σε τέτοια μοντέλα αντί να εκπαιδεύουν δικά τους από το μηδέν· ο Κανονισμός της ΕΕ για την ΤΝ αναφέρεται σε μοντέλα ΤΝ γενικού σκοπού.

Βασικό μοντέλο
γλωσσικά μοντέλα
+1