Γλωσσάριο

Token

Τι είναι Token;

Το token είναι η μικρότερη μονάδα κειμένου που επεξεργάζεται ένα γλωσσικό μοντέλο, συνήθως μέρος μιας λέξης, μια σύντομη λέξη ή ένα σημείο στίξης. Τα μοντέλα διαβάζουν εισόδους και παράγουν απαντήσεις token προς token, και το μέγεθος του παραθύρου πλαισίου μετριέται επίσης σε tokens. Επειδή οι πάροχοι χρεώνουν για tokens εισόδου και εξόδου, τα tokens καθορίζουν άμεσα το κόστος και τα όρια: οι μεγάλες οδηγίες και η εκτενής γνώση υποβάθρου αυξάνουν την κατανάλωση.

Πώς βοηθά το KI.ordo

Το KI.ordo εμφανίζει την κατανάλωση tokens και το κόστος ανά μοντέλο και σας επιτρέπει να ορίσετε ένα μηνιαίο όριο tokens.

Μάθετε περισσότερα

Θέματα

LLM
Κόστος
Βασικά

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Κόστος LLM

Το κόστος των μεγάλων γλωσσικών μοντέλων χρεώνεται συνήθως ανά token, δηλαδή μονάδες κειμένου περίπου στο μέγεθος μιας συλλαβής έως μιας λέξης· τα token εισόδου και εξόδου τιμολογούνται χωριστά, με την έξοδο γενικά ακριβότερη. Τα μεγαλύτερα μοντέλα κοστίζουν περισσότερο ανά token από τα μικρά, γρήγορα μοντέλα όπως το Claude Haiku, τα οποία συχνά αρκούν για απλές εργασίες. Το prompt caching μειώνει το κόστος όταν το ίδιο μακρύ πλαίσιο αποστέλλεται επανειλημμένα. Βοηθούν επίσης συνοπτικές οδηγίες και προσεκτικά επιλεγμένη γνώση.

Κόστος
Tokens
+1

Μεγάλο γλωσσικό μοντέλο (LLM)

Ένα μεγάλο γλωσσικό μοντέλο (large language model, LLM) είναι ένα νευρωνικό δίκτυο εκπαιδευμένο σε πολύ μεγάλους όγκους κειμένου, ώστε να μπορεί να κατανοεί και να παράγει γλώσσα. Λειτουργεί υπολογίζοντας, βήμα προς βήμα, το πιθανότερο επόμενο token. Τα LLM γράφουν, συνοψίζουν, μεταφράζουν, απαντούν σε ερωτήσεις και παράγουν κώδικα· γνωστά παραδείγματα είναι τα Claude, GPT, Gemini και Llama. Χωρίς πρόσβαση σε τρέχουσες πηγές, γνωρίζουν μόνο ό,τι υπήρχε στα δεδομένα εκπαίδευσής τους.

γλωσσικά μοντέλα
παραγωγική ΤΝ
+1

Παραγωγή επαυξημένη με κρυφή μνήμη (CAG)

Η παραγωγή επαυξημένη με κρυφή μνήμη (CAG) είναι μια προσέγγιση κατά την οποία ένα γλωσσικό μοντέλο δεν αναζητά γνώση σε κάθε ερώτηση. Αντ’ αυτού, μια διαχειρίσιμη βάση γνώσης φορτώνεται εκ των προτέρων στο παράθυρο συμφραζομένων του και η κατάσταση αυτή αποθηκεύεται στην κρυφή μνήμη, ώστε οι απαντήσεις να μη χρειάζονται ξεχωριστό βήμα ανάκτησης. Ο όρος έγινε δημοφιλής από μια ερευνητική εργασία των τελών του 2024 ως εναλλακτική λύση στην παραγωγή επαυξημένη με ανάκτηση (RAG). Η CAG ταιριάζει σε μικρές, σταθερές βάσεις γνώσης· για μεγάλα ή συχνά μεταβαλλόμενα δεδομένα, η RAG παραμένει συνήθως πιο πρακτική.

RAG
Παράθυρο συμφραζομένων
+1