Γλωσσάριο

Transformer

Τι είναι Transformer;

Ο transformer είναι μια αρχιτεκτονική νευρωνικών δικτύων που παρουσιάστηκε το 2017 στην ερευνητική εργασία «Attention Is All You Need». Στον πυρήνα της βρίσκεται ο μηχανισμός προσοχής: κάθε λέξη σταθμίζεται σε σχέση με όλες τις άλλες λέξεις ενός κειμένου και ο υπολογισμός μπορεί να παραλληλιστεί αποτελεσματικά. Οι transformers αποτελούν τη βάση των σημερινών γλωσσικών μοντέλων όπως τα GPT, Claude και BERT και χρησιμοποιούνται επίσης για εικόνες και ήχο.

Πώς βοηθά το KI.ordo

Τα μοντέλα Claude της Anthropic που χρησιμοποιεί το KI.ordo είναι μεγάλα γλωσσικά μοντέλα που βασίζονται στην αρχιτεκτονική transformer.

Θέματα

Αρχιτεκτονική
Βαθιά μάθηση
LLM

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Γενετικός προεκπαιδευμένος μετασχηματιστής (GPT)

Το GPT (generative pre-trained transformer) είναι μια σειρά μεγάλων γλωσσικών μοντέλων που αναπτύχθηκαν από την OpenAI και βασίζονται στην αρχιτεκτονική μετασχηματιστή (transformer). Τα μοντέλα προεκπαιδεύονται πρώτα σε τεράστιες ποσότητες κειμένου για να προβλέπουν το επόμενο token και στη συνέχεια εκπαιδεύονται περαιτέρω για διάλογο και ακολουθία οδηγιών. Το πρώτο μοντέλο GPT εμφανίστηκε το 2018· οι επόμενες γενιές στηρίζουν το ChatGPT. Στην καθημερινή γλώσσα, το «GPT» χρησιμοποιείται συχνά για τα γλωσσικά μοντέλα γενικά.

Γλωσσικό μοντέλο
Transformer
+1

BERT

Το BERT (Bidirectional Encoder Representations from Transformers) είναι ένα γλωσσικό μοντέλο που παρουσίασε η Google το 2018. Σε αντίθεση με προγενέστερα μοντέλα, λαμβάνει υπόψη ταυτόχρονα τα συμφραζόμενα αριστερά και δεξιά μιας λέξης, κάτι που το βοηθά να επιλύει αμφισημίες. Το BERT είναι σχεδιασμένο για την κατανόηση κειμένου και όχι για τη συγγραφή μεγαλύτερων αποσπασμάτων. Χρησιμοποιείται για αναζήτηση, ταξινόμηση κειμένου, αναγνώριση ονομαστικών οντοτήτων και απάντηση ερωτήσεων και έχει επηρεάσει πολλά μεταγενέστερα μοντέλα.

Γλωσσικό μοντέλο
NLP
+1

Μεγάλο γλωσσικό μοντέλο (LLM)

Ένα μεγάλο γλωσσικό μοντέλο (large language model, LLM) είναι ένα νευρωνικό δίκτυο εκπαιδευμένο σε πολύ μεγάλους όγκους κειμένου, ώστε να μπορεί να κατανοεί και να παράγει γλώσσα. Λειτουργεί υπολογίζοντας, βήμα προς βήμα, το πιθανότερο επόμενο token. Τα LLM γράφουν, συνοψίζουν, μεταφράζουν, απαντούν σε ερωτήσεις και παράγουν κώδικα· γνωστά παραδείγματα είναι τα Claude, GPT, Gemini και Llama. Χωρίς πρόσβαση σε τρέχουσες πηγές, γνωρίζουν μόνο ό,τι υπήρχε στα δεδομένα εκπαίδευσής τους.

γλωσσικά μοντέλα
παραγωγική ΤΝ
+1

Hugging Face Transformers

Το Hugging Face Transformers είναι μια βιβλιοθήκη ανοικτού κώδικα σε Python που δίνει πρόσβαση σε προεκπαιδευμένα μοντέλα για κείμενο, εικόνες και ήχο μέσω μιας ενιαίας, συνεπούς διεπαφής. Οι προγραμματιστές τη χρησιμοποιούν για να κατεβάζουν μοντέλα από το Hugging Face Hub, να τα δοκιμάζουν, να τα προσαρμόζουν στα δικά τους δεδομένα ή να τα εκτελούν τοπικά. Από την έκδοση 5 και μετά η βιβλιοθήκη εστιάζει κυρίως στο PyTorch (στοιχεία Οκτωβρίου 2026). Παράδειγμα: μια ομάδα δοκιμάζει ένα μοντέλο ανάλυσης συναισθήματος με λίγες μόνο γραμμές κώδικα.

Ανοιχτός κώδικας
βιβλιοθήκη
+2