Γλωσσάριο

Pathways Language Model (PaLM)

Τι είναι Pathways Language Model (PaLM);

Το PaLM είναι ένα μεγάλο γλωσσικό μοντέλο της Google, που παρουσιάστηκε το 2022 με 540 δισεκατομμύρια παραμέτρους και εκπαιδεύτηκε ταυτόχρονα σε πολλά τσιπ TPU με το σύστημα εκπαίδευσης Pathways της Google. Το PaLM 2 ακολούθησε το 2023 και τροφοδότησε, μεταξύ άλλων, το chatbot Bard. Η Google έχει στο μεταξύ αντικαταστήσει το PaLM με τα μοντέλα Gemini και το API προγραμματιστών του PaLM τερματίστηκε τον Αύγουστο του 2024. Σήμερα το PaLM έχει σημασία κυρίως ως ορόσημο στην ανάπτυξη των μεγάλων γλωσσικών μοντέλων.

Θέματα

γλωσσικό μοντέλο
Google
ιστορία μοντέλων

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Μεγάλο γλωσσικό μοντέλο (LLM)

Ένα μεγάλο γλωσσικό μοντέλο (large language model, LLM) είναι ένα νευρωνικό δίκτυο εκπαιδευμένο σε πολύ μεγάλους όγκους κειμένου, ώστε να μπορεί να κατανοεί και να παράγει γλώσσα. Λειτουργεί υπολογίζοντας, βήμα προς βήμα, το πιθανότερο επόμενο token. Τα LLM γράφουν, συνοψίζουν, μεταφράζουν, απαντούν σε ερωτήσεις και παράγουν κώδικα· γνωστά παραδείγματα είναι τα Claude, GPT, Gemini και Llama. Χωρίς πρόσβαση σε τρέχουσες πηγές, γνωρίζουν μόνο ό,τι υπήρχε στα δεδομένα εκπαίδευσής τους.

γλωσσικά μοντέλα
παραγωγική ΤΝ
+1

Transformer

Ο transformer είναι μια αρχιτεκτονική νευρωνικών δικτύων που παρουσιάστηκε το 2017 στην ερευνητική εργασία «Attention Is All You Need». Στον πυρήνα της βρίσκεται ο μηχανισμός προσοχής: κάθε λέξη σταθμίζεται σε σχέση με όλες τις άλλες λέξεις ενός κειμένου και ο υπολογισμός μπορεί να παραλληλιστεί αποτελεσματικά. Οι transformers αποτελούν τη βάση των σημερινών γλωσσικών μοντέλων όπως τα GPT, Claude και BERT και χρησιμοποιούνται επίσης για εικόνες και ήχο.

Αρχιτεκτονική
Βαθιά μάθηση
+1

Θεμελιώδες μοντέλο (foundation model)

Ένα θεμελιώδες μοντέλο (foundation model) είναι ένα μεγάλο μοντέλο ΤΝ προεκπαιδευμένο σε πολύ εκτεταμένα και ποικίλα δεδομένα, το οποίο μπορεί στη συνέχεια να χρησιμοποιηθεί για πολλές διαφορετικές εργασίες. Ο όρος επινοήθηκε στο Πανεπιστήμιο Στάνφορντ το 2021. Γνωστά παραδείγματα είναι μεγάλα γλωσσικά μοντέλα όπως το Claude ή το GPT, καθώς και μοντέλα εικόνας. Οι επιχειρήσεις συνήθως χτίζουν τις εφαρμογές τους πάνω σε τέτοια μοντέλα αντί να εκπαιδεύουν δικά τους από το μηδέν· ο Κανονισμός της ΕΕ για την ΤΝ αναφέρεται σε μοντέλα ΤΝ γενικού σκοπού.

Βασικό μοντέλο
γλωσσικά μοντέλα
+1

Γενετικός προεκπαιδευμένος μετασχηματιστής (GPT)

Το GPT (generative pre-trained transformer) είναι μια σειρά μεγάλων γλωσσικών μοντέλων που αναπτύχθηκαν από την OpenAI και βασίζονται στην αρχιτεκτονική μετασχηματιστή (transformer). Τα μοντέλα προεκπαιδεύονται πρώτα σε τεράστιες ποσότητες κειμένου για να προβλέπουν το επόμενο token και στη συνέχεια εκπαιδεύονται περαιτέρω για διάλογο και ακολουθία οδηγιών. Το πρώτο μοντέλο GPT εμφανίστηκε το 2018· οι επόμενες γενιές στηρίζουν το ChatGPT. Στην καθημερινή γλώσσα, το «GPT» χρησιμοποιείται συχνά για τα γλωσσικά μοντέλα γενικά.

Γλωσσικό μοντέλο
Transformer
+1