Ο αγωγός ανάκτησης (retrieval pipeline) είναι η ακολουθία βημάτων επεξεργασίας που χρησιμοποιεί ένα σύστημα για να βρει τις σωστές πληροφορίες για μια ερώτηση. Τυπικά βήματα είναι: εισαγωγή και καθαρισμός εγγράφων, διαίρεσή τους σε τμήματα (chunks), δημιουργία ευρετηρίου αναζήτησης, προαιρετικά αναδιατύπωση του ερωτήματος, ανάκτηση αντιστοιχιών, κατάταξή τους (reranking) και μεταβίβαση των καλύτερων στο γλωσσικό μοντέλο. Αποτελεί τη βάση κάθε εφαρμογής RAG και η ποιότητά του καθορίζει σε μεγάλο βαθμό πόσο καλές θα είναι οι απαντήσεις.
Ένας αγωγός μηχανικής μάθησης (machine learning pipeline) είναι μια καθορισμένη ακολουθία βημάτων που μετατρέπει ακατέργαστα δεδομένα σε ένα μοντέλο έτοιμο για χρήση: συλλογή και καθαρισμός δεδομένων, προετοιμασία χαρακτηριστικών, εκπαίδευση, αξιολόγηση, ανάπτυξη και παρακολούθηση. Η αυτοματοποίηση αυτών των βημάτων καθιστά τα αποτελέσματα αναπαραγώγιμα και επιτρέπει την επεξεργασία νέων δεδομένων με μικρή προσπάθεια. Ένας έμπορος λιανικής, για παράδειγμα, μπορεί να επανεκπαιδεύει και να δοκιμάζει το μοντέλο πρόβλεψης πωλήσεων κάθε εβδομάδα με τα πιο πρόσφατα στοιχεία.
Τα αδόμητα δεδομένα δεν ακολουθούν σταθερό σχήμα πίνακα: email, συμβάσεις, εγχειρίδια, ιστοσελίδες, παρουσιάσεις, εικόνες ή ηχογραφήσεις. Αποτελούν μεγάλο μέρος της γνώσης των οργανισμών, αλλά για καιρό ήταν δύσκολο να αναλυθούν αυτόματα. Τα γλωσσικά μοντέλα μπορούν να διαβάζουν και να αναζητούν τέτοιο περιεχόμενο και να το μετατρέπουν σε δομημένες πληροφορίες, για παράδειγμα εξάγοντας προθεσμίες και ποσά από μια σύμβαση σε έναν πίνακα.
Η αιτιακή συμπερασματολογία (causal inference) καλύπτει μεθόδους για την εξαγωγή σχέσεων αιτίου και αποτελέσματος από δεδομένα, αντί για την απλή αναγνώριση συσχετίσεων. Απαντά σε ερωτήματα όπως «Τι θα είχε συμβεί αν δεν είχαμε λάβει αυτό το μέτρο;». Τα εργαλεία περιλαμβάνουν τυχαιοποιημένα πειράματα όπως οι δοκιμές A/B, αιτιακούς γράφους και στατιστικές τεχνικές για δεδομένα παρατήρησης. Παράδειγμα: έλεγχος αν μια καμπάνια εκπτώσεων αύξησε πράγματι τις πωλήσεις ή αν αυτές θα είχαν αυξηθεί ούτως ή άλλως για εποχικούς λόγους.
Ένα αιτιοκρατικό (ντετερμινιστικό) μοντέλο δίνει πάντα το ίδιο αποτέλεσμα για την ίδια είσοδο, επειδή ακολουθεί σταθερούς κανόνες ή τύπους και δεν εμπεριέχει τυχαιότητα – για παράδειγμα ο κανόνας «έκπτωση 5% σε παραγγελίες άνω των 100 €». Τα μεγάλα γλωσσικά μοντέλα, αντίθετα, λειτουργούν πιθανοτικά: οι απαντήσεις τους στην ίδια ερώτηση μπορεί να διαφέρουν. Στην πράξη τα δύο συχνά συνδυάζονται, ώστε να υπάρχει ισορροπία μεταξύ ευελιξίας και ιχνηλασιμότητας.
Η ακρίβεια περιγράφει πόσο συχνά ένα μοντέλο ΤΝ παράγει σωστά αποτελέσματα· η σταθερότητα περιγράφει πόσο αξιόπιστα διατηρείται αυτή η απόδοση – με ελαφρώς τροποποιημένες εισόδους, με νέα δεδομένα ή με την πάροδο του χρόνου. Ένα μοντέλο μπορεί να είναι πολύ ακριβές στις δοκιμές αλλά ασταθές, αν ήδη η αναδιατύπωση μιας ερώτησης οδηγεί σε διαφορετική απάντηση. Για πραγματική χρήση, και οι δύο ιδιότητες ελέγχονται με σταθερές περιπτώσεις δοκιμής, διασταυρούμενη επικύρωση και διαρκή παρακολούθηση.
Η ακρίβεια top-k μετρά πόσο συχνά η σωστή απάντηση βρίσκεται ανάμεσα στις k πιθανότερες προτάσεις ενός μοντέλου. Στο top-1 μετράει μόνο η πρώτη πρόβλεψη· στο top-5 αρκεί η σωστή κλάση να βρίσκεται ανάμεσα στις πέντε καλύτερες, μια γνωστή μετρική από benchmarks αναγνώρισης εικόνας όπως το ImageNet. Είναι χρήσιμη όπου οι χρήστες βλέπουν πολλές προτάσεις, για παράδειγμα σε συστάσεις προϊόντων ή αυτόματη συμπλήρωση.
Αλγοριθμική διαφάνεια σημαίνει ότι είναι δυνατό να γίνει κατανοητό πώς ένα αυτοματοποιημένο σύστημα καταλήγει σε ένα αποτέλεσμα: ποια δεδομένα χρησιμοποιεί, ποιους κανόνες ακολουθεί και πού βρίσκονται τα όριά του. Αυτό δημιουργεί εμπιστοσύνη, διευκολύνει τον εντοπισμό σφαλμάτων και αποτελεί όλο και περισσότερο νομική απαίτηση, για παράδειγμα μέσω των υποχρεώσεων ενημέρωσης βάσει του ΓΚΠΔ και του Κανονισμού της ΕΕ για την ΤΝ. Στην πράξη βοηθούν η τεκμηρίωση, οι παραπομπές σε πηγές, τα αρχεία καταγραφής και οι σαφείς ειδοποιήσεις για τα επηρεαζόμενα πρόσωπα.
Η αλυσίδωση μοντέλων σημαίνει τη διαδοχική σύνδεση περισσότερων μοντέλων ή βημάτων ΤΝ, ώστε το αποτέλεσμα ενός βήματος να γίνεται είσοδος του επόμενου. Έτσι οι σύνθετες εργασίες μπορούν να αναλυθούν σε διαχειρίσιμες υποεργασίες, που ελέγχονται και βελτιώνονται ξεχωριστά. Παράδειγμα: ένα βήμα συνοψίζει ένα αίτημα πελάτη, ένα δεύτερο το αναθέτει σε ένα τμήμα και ένα τρίτο συντάσσει την απάντηση.
Ένα αμφίδρομο LSTM (BiLSTM) είναι ένα αναδρομικό νευρωνικό δίκτυο που διαβάζει μια ακολουθία τόσο προς τα εμπρός όσο και προς τα πίσω και συνδυάζει τις δύο οπτικές. Έτσι λαμβάνονται υπόψη και τα συμφραζόμενα που ακολουθούν κάθε λέξη. Πριν επικρατήσουν τα transformer, ήταν τυπική επιλογή για εργασίες όπως η επισήμανση μερών του λόγου, η αναγνώριση ονομαστικών οντοτήτων και η αναγνώριση ομιλίας. Για πολύ μεγάλα κείμενα και μεγάλα σύνολα δεδομένων, τα transformer αποδίδουν σήμερα συνήθως καλύτερα.
Η αναγνώριση γλώσσας προσδιορίζει αυτόματα σε ποια γλώσσα είναι γραμμένο ένα κείμενο, όπως γερμανικά, ιταλικά ή ισπανικά. Οι κλασικές μέθοδοι αναλύουν χαρακτηριστικές ακολουθίες γραμμάτων, ενώ τα μεγάλα γλωσσικά μοντέλα αναγνωρίζουν τη γλώσσα ως παρεπόμενο. Χρησιμοποιείται για τη δρομολόγηση αιτημάτων στη σωστή ομάδα, για την ενεργοποίηση κατάλληλων μεταφράσεων ή για απάντηση στη γλώσσα του συνομιλητή. Τα πολύ σύντομα κείμενα και οι μείξεις πολλών γλωσσών είναι δύσκολα.
Η αναγνώριση εικόνας είναι ένα πεδίο της όρασης υπολογιστών στο οποίο το λογισμικό αναγνωρίζει τι δείχνει μια εικόνα – αντικείμενα, πρόσωπα, κείμενο, λογότυπα ή σκηνές. Συνήθως βασίζεται σε νευρωνικά δίκτυα εκπαιδευμένα σε μεγάλο αριθμό επισημασμένων εικόνων. Οι εφαρμογές εκτείνονται από τον ποιοτικό έλεγχο στην παραγωγή και τη διαλογή φωτογραφιών προϊόντων έως την υποστήριξη της ιατρικής απεικόνισης. Σε εικόνες ανθρώπων, η προστασία δεδομένων και η πιθανή μεροληψία απαιτούν ιδιαίτερη προσοχή.
Η αναγνώριση κειμένου σε σκηνές διαβάζει κείμενο που εμφανίζεται σε φωτογραφίες και βίντεο πραγματικών περιβαλλόντων, όπως πινακίδες δρόμων, συσκευασίες ή πινακίδες κυκλοφορίας. Σε αντίθεση με το κλασικό OCR για σαρωμένα έγγραφα, πρέπει να αντεπεξέρχεται σε λοξές προοπτικές, μεταβαλλόμενο φωτισμό, ασυνήθιστες γραμματοσειρές και φορτωμένα φόντα. Μια τυπική προσέγγιση λειτουργεί σε δύο στάδια: πρώτα εντοπίζονται οι περιοχές κειμένου και στη συνέχεια αναγνωρίζονται οι χαρακτήρες μέσα σε αυτές.
Η αναγνώριση ομιλίας, που ονομάζεται και ASR (automatic speech recognition), μετατρέπει αυτόματα τον προφορικό λόγο σε γραπτό κείμενο. Τα σύγχρονα συστήματα χρησιμοποιούν νευρωνικά δίκτυα εκπαιδευμένα σε μεγάλες ποσότητες ηχογραφήσεων και αντεπεξέρχονται αρκετά καλά σε προφορές και θόρυβο υποβάθρου. Οι εφαρμογές περιλαμβάνουν υπαγόρευση, υποτίτλους, φωνητικούς βοηθούς και απομαγνητοφώνηση συσκέψεων και κλήσεων πελατών. Οι τεχνικοί όροι, τα κύρια ονόματα και η κακή ποιότητα ήχου παραμένουν συχνές πηγές σφαλμάτων.
Η αναγνώριση ονομαστικών οντοτήτων (Named entity recognition, NER) είναι μια τεχνική επεξεργασίας φυσικής γλώσσας που εντοπίζει σε κείμενο ονόματα προσώπων, εταιρειών και τόπων, καθώς και ημερομηνίες ή ποσά, και τα κατατάσσει σε κατηγορίες. Μετατρέπει το ελεύθερο κείμενο σε δομημένα δεδομένα. Παράδειγμα: η εταιρεία του αποστολέα, το πρόσωπο επικοινωνίας, η ημερομηνία παράδοσης και το ποσό του τιμολογίου εξάγονται αυτόματα από ένα email και μεταφέρονται σε ένα CRM.
Η αναγνώριση προτύπων είναι ο αυτόματος εντοπισμός κανονικοτήτων, δομών ή επαναλαμβανόμενων χαρακτηριστικών σε δεδομένα όπως εικόνες, ήχοι, κείμενα ή μετρήσεις. Τα συστήματα κατατάσσουν νέες παρατηρήσεις σε γνωστές κατηγορίες ή ανακαλύπτουν ομάδες χωρίς προκαθορισμένες ετικέτες. Στις εφαρμογές περιλαμβάνονται η αναγνώριση προσώπου, η αναγνώριση χειρογράφου, ο ποιοτικός έλεγχος στην παραγωγή και ο εντοπισμός ασυνήθιστων συναλλαγών. Ο κλάδος αποτελεί σημαντικό θεμέλιο της μηχανικής μάθησης.
Η αναγνωσιμότητα περιγράφει πόσο εύκολα μπορεί να διαβαστεί και να γίνει κατανοητό ένα κείμενο. Εξαρτάται από το μήκος των προτάσεων, το μήκος των λέξεων, τους τεχνικούς όρους, τη δομή των προτάσεων και τη διάταξη, και μπορεί να προσεγγιστεί με τύπους όπως ο δείκτης Flesch ή το LIX. Η καλή αναγνωσιμότητα έχει σημασία για την επικοινωνία με πελάτες, τις οδηγίες, τους ιστότοπους και το προσβάσιμο περιεχόμενο. Οι τύποι προσφέρουν ωστόσο μόνο καθοδήγηση· το κατά πόσον ένα κείμενο είναι σαφές εξαρτάται τελικά από το κοινό του.
Ένα εργαλείο αναδιατύπωσης παραγράφων είναι ένα εργαλείο ΤΝ που αναδιατυπώνει ένα υπάρχον απόσπασμα χωρίς να αλλάζει το περιεχόμενό του. Συνήθεις στόχοι είναι ένα διαφορετικό ύφος, μια συντομότερη εκδοχή, απλούστερη γλώσσα ή λιγότερες επαναλήψεις. Αυτό είναι χρήσιμο, για παράδειγμα, όταν ένα εσωτερικό τεχνικό κείμενο πρέπει να γίνει πιο κατανοητό για τους πελάτες. Το περιεχόμενο και τα γεγονότα θα πρέπει πάντως να ελέγχονται στη συνέχεια, καθώς η αναδιατύπωση μπορεί να μετατοπίσει αποχρώσεις.
Ένα εργαλείο αναδιατύπωσης προτάσεων αναδιατυπώνει μεμονωμένες προτάσεις ή σύντομα αποσπάσματα χωρίς να αλλάζει το νόημά τους. Μπορεί να απλοποιήσει μια πρόταση, να την κάνει πιο επίσημη ή πιο φιλική, να την συντομεύσει ή να αποφύγει επαναλήψεις. Αυτό είναι χρήσιμο, για παράδειγμα, για απαντήσεις σε πελάτες, κείμενα προϊόντων ή όταν μια πρόταση ακούγεται άβολα. Ένας γρήγορος έλεγχος παραμένει σημαντικός, ώστε να διασφαλιστεί ότι οι τεχνικοί όροι, οι αριθμοί και οι δηλώσεις παραμένουν σωστοί μετά την αναδιατύπωση.
Ένα αναδρομικό νευρωνικό δίκτυο επεξεργάζεται τα δεδομένα με σειρά και μεταφέρει μια εσωτερική κατάσταση από κάθε βήμα στο επόμενο – ένα είδος βραχυπρόθεσμης μνήμης. Αυτό το καθιστά κατάλληλο για ακολουθίες όπως κείμενο, ομιλία ή χρονοσειρές, για παράδειγμα για την πρόβλεψη της επόμενης λέξης ή της επόμενης μέτρησης αισθητήρα. Τα απλά RNN ξεχνούν εύκολα πληροφορίες από πολύ παλιά· παραλλαγές όπως τα LSTM και GRU το περιορίζουν. Στα γλωσσικά μοντέλα, τα RNN έχουν σε μεγάλο βαθμό αντικατασταθεί από τους transformers.
Το αναδρομικό prompting αναφέρεται σε τεχνικές όπου το αποτέλεσμα ενός γλωσσικού μοντέλου τροφοδοτείται ξανά ως νέα είσοδος – για παράδειγμα για να ελεγχθεί και να αναθεωρηθεί ένα προσχέδιο ή για να αναλυθεί μια μεγάλη εργασία βήμα προς βήμα σε υποεργασίες. Για παράδειγμα, παράγεται πρώτα ένα προσχέδιο προσφοράς, το μοντέλο το αξιολογεί στη συνέχεια με βάση μια λίστα ελέγχου και τέλος βελτιώνεται. Αυτό συχνά ανεβάζει την ποιότητα, αλλά κοστίζει επιπλέον χρόνο επεξεργασίας και απαιτεί σαφές κριτήριο τερματισμού.
Οι αναδυόμενες ιδιότητες (emergence) περιγράφουν χαρακτηριστικά ενός συστήματος που προκύπτουν από την αλληλεπίδραση πολλών απλών μερών, αλλά δεν διακρίνονται σε κανένα μεμονωμένο μέρος. Στην έρευνα για την ΤΝ, οι ικανότητες χαρακτηρίζονται αναδυόμενες όταν μεγάλα γλωσσικά μοντέλα πάνω από ένα ορισμένο μέγεθος λύνουν εργασίες όπως η αριθμητική πολλών βημάτων ή η μετάφραση σαφώς καλύτερα από μικρότερα μοντέλα. Το κατά πόσον τέτοια άλματα είναι πραγματικά ή εξαρτώνται εν μέρει από τον τρόπο μέτρησης αποτελεί αντικείμενο συζήτησης μεταξύ των ερευνητών.
Η αναζήτηση εγγράφων με NLP χρησιμοποιεί τεχνικές επεξεργασίας φυσικής γλώσσας για να βρίσκει πληροφορίες σε συλλογές εγγράφων ως απάντηση σε μια ελεύθερα διατυπωμένη ερώτηση. Αντί να ταιριάζουν μόνο ακριβείς ακολουθίες λέξεων, τέτοια συστήματα λαμβάνουν υπόψη τους τύπους των λέξεων, τη στάθμιση σπάνιων όρων ή την ομοιότητα νοήματος. Για παράδειγμα, όποιος πληκτρολογεί «Πώς ζητώ άδεια;» λαμβάνει το σχετικό τμήμα του εγχειριδίου προσωπικού, ακόμη και αν εκεί γίνεται λόγος για «αίτηση διακοπών».
Στην αναζήτηση με όψεις (faceted search), οι χρήστες περιορίζουν σταδιακά τα αποτελέσματα με φίλτρα που βασίζονται σε χαρακτηριστικά του περιεχομένου – όπως κατηγορία, τιμή, μάρκα, ημερομηνία ή συγγραφέας. Κάθε όψη εμφανίζει συνήθως πόσα αποτελέσματα απομένουν. Η προσέγγιση είναι γνωστή από τα ηλεκτρονικά καταστήματα, αλλά χρησιμοποιείται και σε βιβλιοθήκες, ενδοδίκτυα και αρχεία εγγράφων, ώστε μεγάλες συλλογές να γίνονται διαχειρίσιμες χωρίς ακριβείς όρους αναζήτησης.
Η αναζήτηση ΤΝ αναφέρεται σε μεθόδους αναζήτησης που χρησιμοποιούν ΤΝ για να κατανοούν την πρόθεση πίσω από ένα ερώτημα, να σταθμίζουν τα αποτελέσματα και συχνά να παράγουν μια συνοπτική απάντηση με πηγές αντί για μια απλή λίστα συνδέσμων. Τεχνικά χρησιμοποιούν αναζήτηση λέξεων-κλειδιών, διανυσματική αναζήτηση σε embeddings ή συνδυασμό των δύο, συχνά ακολουθούμενη από ένα γλωσσικό μοντέλο. Παραδείγματα είναι οι μηχανές απαντήσεων στον ιστό και η εσωτερική αναζήτηση γνώσης που βοηθά το προσωπικό να βρίσκει ό,τι χρειάζεται σε εγχειρίδια και πολιτικές.
Η αναζήτηση χωρίς κλικ (zero-click search) προκύπτει όταν οι χρήστες λαμβάνουν την απάντησή τους απευθείας στη σελίδα αποτελεσμάτων, για παράδειγμα μέσω πλαισίων προτεινόμενων απαντήσεων ή περιλήψεων που παράγονται από ΤΝ, και δεν περνούν πλέον σε έναν ιστότοπο. Για τις επιχειρήσεις αυτό μειώνει την επισκεψιμότητα ακόμη κι όταν το περιεχόμενό τους χρησιμεύει ως πηγή. Γι' αυτό η ορατότητα ως πηγή που παρατίθεται αποκτά μεγαλύτερη σημασία: με σαφείς απαντήσεις, τεκμηριωμένα στοιχεία και καλά δομημένες σελίδες.
Η ανάκληση (recall, ονομάζεται επίσης ευαισθησία ή ποσοστό αληθών θετικών) μετρά ποιο ποσοστό των πραγματικών θετικών περιπτώσεων εντοπίζει ένα μοντέλο: τα σωστά αναγνωρισμένα θετικά διά του συνόλου των πραγματικών θετικών. Αν ένα φίλτρο απάτης εντοπίζει 80 από 100 πραγματικές περιπτώσεις απάτης, η ανάκλησή του είναι 0,8. Η υψηλή ανάκληση έχει σημασία όταν οι περιπτώσεις που διαφεύγουν έχουν υψηλό κόστος, όπως στην ιατρική διάγνωση. Επειδή αγνοεί τους ψευδείς συναγερμούς, συνήθως εξετάζεται μαζί με την ακρίβεια (precision), για παράδειγμα στο F-score.
Η ανάκτηση πληροφοριών (information retrieval) καλύπτει μεθόδους που βρίσκουν τα έγγραφα ή τα χωρία ενός μεγάλου σώματος κειμένου που ταιριάζουν σε ένα ερώτημα και τα κατατάσσουν κατά συνάφεια. Κλασικές προσεγγίσεις όπως το BM25 σταθμίζουν τους όρους αναζήτησης ανάλογα με το πόσο συχνά και πόσο σπάνια εμφανίζονται· νεότερες προσθέτουν τη σημασιολογική ομοιότητα. Στηρίζει τις μηχανές αναζήτησης, την επιχειρησιακή αναζήτηση και την παραγωγή με ανάκτηση πληροφοριών (RAG), στην οποία ένα γλωσσικό μοντέλο χρησιμοποιεί τα ανακτημένα χωρία ως βάση για την απάντησή του.
Η ανάλυση συναισθήματος προσδιορίζει αυτόματα τη διάθεση ή τη στάση που εκφράζει ένα κείμενο – συνήθως θετική, ουδέτερη ή αρνητική, μερικές φορές πιο λεπτομερή συναισθήματα. Οι επιχειρήσεις τη χρησιμοποιούν για να αξιολογούν μεγάλο αριθμό κριτικών προϊόντων, email υποστήριξης, ερευνών ή αναρτήσεων στα μέσα κοινωνικής δικτύωσης και να βλέπουν γρήγορα πού είναι ικανοποιημένοι οι πελάτες και πού υπάρχουν προβλήματα. Η ειρωνεία, ο σαρκασμός και οι μικτές δηλώσεις όπως «γρήγορη παράδοση, απογοητευτική ποιότητα» παραμένουν δύσκολες, γι' αυτό τα δείγματα πρέπει να ελέγχονται από ανθρώπους.
Η ανάλυση TAM εκτιμά τη συνολική προσβάσιμη αγορά (total addressable market): το σύνολο των εσόδων που θα μπορούσε θεωρητικά να παραγάγει μια προσφορά. Η προσέγγιση από πάνω προς τα κάτω περιορίζει τα μεγέθη από μελέτες αγοράς, ενώ η προσέγγιση από κάτω προς τα πάνω πολλαπλασιάζει τον αριθμό των δυνητικών πελατών με την αναμενόμενη τιμή. Μαζί με το SAM (εξυπηρετήσιμη αγορά) και το SOM (ρεαλιστικά εφικτό μερίδιο) υποστηρίζει επενδυτικές αποφάσεις και αποφάσεις σχεδιασμού, αλλά έχει νόημα μόνο με διαφανείς παραδοχές και εύρη τιμών αντί για πλασματική ακρίβεια.
Ένας αναλυτής δεδομένων ΤΝ είναι ένα σύστημα ή βοηθός ΤΝ που αναλύει δεδομένα, όπως υπολογιστικά φύλλα, εξαγωγές ή βασικά μεγέθη, και εξηγεί τα αποτελέσματα με απλή γλώσσα. Υπολογίζει αθροίσματα και μεταβολές, εντοπίζει τάσεις και ανωμαλίες και προτείνει επόμενα βήματα. Έτσι οι επιχειρησιακές ομάδες χωρίς στατιστική εμπειρογνωμοσύνη λαμβάνουν ταχύτερα απαντήσεις. Τα γλωσσικά μοντέλα, ωστόσο, μπορεί να κάνουν λάθη στους υπολογισμούς, γι' αυτό τα μεγέθη πρέπει να ελέγχονται εκ νέου. Παράδειγμα: οι μηνιαίες πωλήσεις επικολλώνται ως CSV και σχολιάζονται.
Ένα πρωτότυπο ΤΝ είναι μια πρώιμη, λειτουργική έκδοση μιας εφαρμογής ΤΝ που επιτρέπει σε μια ομάδα να δοκιμάσει γρήγορα μια ιδέα με μέτριο κόστος. Αντί να σχεδιάζετε επί μήνες, δοκιμάζετε με πραγματικά δεδομένα και χρήστες ώστε να δείτε αν η ΤΝ λύνει την εργασία με επαρκή αξιοπιστία, ποια δεδομένα λείπουν και ποια αξία προσφέρει. Παράδειγμα: ένας βοηθός που κάνει προδιαλογή των αιτημάτων πελατών δοκιμάζεται για δύο εβδομάδες σε μέρος των εισερχομένων πριν αποφασιστεί ευρύτερη εφαρμογή.
Οι αναφορές συμμόρφωσης είναι η τακτική, ιχνηλάσιμη τεκμηρίωση του κατά πόσον ένας οργανισμός πληροί νομικές απαιτήσεις, πρότυπα και εσωτερικές πολιτικές. Μια τυπική έκθεση παρουσιάζει την περίοδο και το πεδίο εφαρμογής, την κατάσταση κάθε απαίτησης, τις αποκλίσεις και τα μέτρα με υπευθύνους και προθεσμίες. Χρησιμεύει ως αποδεικτικό στοιχείο για τη διοίκηση, τα εποπτικά συμβούλια, τους ελεγκτές ή τις αρχές, για παράδειγμα για την προστασία δεδομένων ή την ασφάλεια πληροφοριών.
Η ανθεκτικότητα μοντέλου περιγράφει πόσο αξιόπιστα λειτουργεί ένα μοντέλο ΤΝ όταν οι είσοδοι έχουν θόρυβο, είναι ελλιπείς, ασυνήθιστες ή έχουν χειραγωγηθεί σκόπιμα. Ένα ανθεκτικό μοντέλο εξακολουθεί να παράγει σταθερά αποτελέσματα, όπως η αναγνώριση εικόνας σε κακό φωτισμό ή ένα γλωσσικό μοντέλο που χειρίζεται ορθογραφικά λάθη. Η ανθεκτικότητα αξιολογείται με δοκιμές καταπόνησης, ποικίλα δεδομένα εκπαίδευσης και δοκιμές απέναντι σε σκόπιμες απόπειρες παραπλάνησης, και είναι ιδιαίτερα σημαντική σε εφαρμογές κρίσιμες για την ασφάλεια.
Ο ανθρωπομορφισμός είναι η τάση να αποδίδονται ανθρώπινες ιδιότητες, όπως συναισθήματα, προθέσεις ή κατανόηση, σε μηχανές. Με τα chatbot αυτό συμβαίνει φυσικά, επειδή γράφουν με ευχέρεια και προσωπικό τόνο. Μπορεί να κάνει την αλληλεπίδραση πιο ευχάριστη, ενέχει όμως κινδύνους: οι άνθρωποι μπορεί να εμπιστεύονται υπερβολικά τις απαντήσεις ή να μοιράζονται ευαίσθητες πληροφορίες. Σαφείς ειδοποιήσεις ότι οι χρήστες έχουν να κάνουν με ΤΝ και ειλικρινείς δηλώσεις για τα όριά της βοηθούν στην αντιμετώπιση αυτού.
Το human-in-the-loop («άνθρωπος στη διαδικασία») περιγράφει ροές εργασιών στις οποίες άνθρωποι παρεμβαίνουν σε μια διαδικασία ΤΝ σε καθορισμένα σημεία: ελέγχουν τα αποτελέσματα, τα εγκρίνουν ή τα διορθώνουν ή αναλαμβάνουν τις δύσκολες περιπτώσεις. Η αρχή μειώνει τον κίνδυνο εσφαλμένων αποτελεσμάτων και διατηρεί την ευθύνη στους ανθρώπους, ιδίως για αποφάσεις που αφορούν πρόσωπα, χρήματα ή νομικά ζητήματα. Παράδειγμα: ένας πράκτορας ΤΝ συντάσσει απαντήσεις σε αιτήματα πελατών και ένα μέλος του προσωπικού τις ελέγχει πριν σταλούν.
Η ανίχνευση ανωμαλιών εντοπίζει σημεία δεδομένων, συμβάντα ή μοτίβα που διαφέρουν αισθητά από το σύνηθες. Μπορεί να πρόκειται για ασυνήθιστα μεγάλες συναλλαγές, απότομα άλματα στις μετρήσεις αισθητήρων, διπλότυπες εγγραφές ή ύποπτη δραστηριότητα δικτύου. Χρησιμοποιείται στα χρηματοοικονομικά, στην ασφάλεια πληροφορικής, στην παραγωγή και στον ποιοτικό έλεγχο. Οι μέθοδοι κυμαίνονται από απλά στατιστικά κατώφλια έως μοντέλα που μαθαίνουν· τα ευρήματα είναι ενδείξεις που πρέπει να αξιολογήσει ένας άνθρωπος.
Η ανίχνευση ανωμαλιών σε εικόνες αναζητά αποκλίσεις από την κανονική κατάσταση σε φωτογραφίες ή λήψεις κάμερας – όπως γρατζουνιές, ρωγμές ή αποχρωματισμούς σε εξαρτήματα στην παραγωγή ή ανωμαλίες σε ιατρικές εικόνες. Συχνά ένα μοντέλο μαθαίνει πρώτα από πολλά παραδείγματα χωρίς ελαττώματα και στη συνέχεια επισημαίνει οτιδήποτε διαφέρει. Αυτό είναι χρήσιμο επειδή τα πραγματικά ελαττώματα είναι σπάνια και δύσκολα μπορούν να περιγραφούν πλήρως εκ των προτέρων.
Η ανίχνευση απάτης περιλαμβάνει μεθόδους που εντοπίζουν σε πρώιμο στάδιο ύποπτες συναλλαγές, παραγγελίες, λογαριασμούς ή αιτήσεις. Κανόνες και μοντέλα που μαθαίνουν αναζητούν προειδοποιητικές ενδείξεις, όπως διαφορετικές διευθύνσεις παράδοσης και χρέωσης, ασυνήθιστες ποσότητες, εμφανή χρονική πίεση ή προσωρινές διευθύνσεις email. Χρησιμοποιείται στο ηλεκτρονικό εμπόριο, στις τράπεζες, στις ασφαλίσεις και στις υπηρεσίες πληρωμών. Επειδή οι ψευδείς συναγερμοί μπορούν να επηρεάσουν πραγματικούς πελάτες, τα ευρήματα θα πρέπει να ελέγχονται από ανθρώπους αντί να απορρίπτονται αυτόματα.
Η ανίχνευση οικονομικής απάτης καλύπτει μεθόδους που αποκαλύπτουν δόλιες δραστηριότητες σε πληρωμές, πιστωτικές κάρτες, ασφάλειες ή λογιστική. Τα μοντέλα ΤΝ μαθαίνουν τα τυπικά μοτίβα των νόμιμων συναλλαγών και επισημαίνουν αποκλίσεις – όπως ασυνήθιστα ποσά, τοποθεσίες ή ώρες – συχνά σε πραγματικό χρόνο. Η σωστή ισορροπία μεταξύ ανιχνευμένης απάτης και ψευδών συναγερμών είναι ουσιώδης. Οι ύποπτες περιπτώσεις πρέπει να ελέγχονται από ανθρώπους πριν παγώσουν λογαριασμοί ή απορριφθούν πληρωμές.
Η «τάφρος» (moat) είναι ένα διαρκές ανταγωνιστικό πλεονέκτημα που προστατεύει μια εταιρεία από μιμητές, όπως φαινόμενα δικτύου, κόστος αλλαγής προμηθευτή, ισχυρή μάρκα, αποκλειστικά δεδομένα ή βαθιά ενσωμάτωση στις διαδικασίες των πελατών. Το ζήτημα είναι ιδιαίτερα σημαντικό για τις προσφορές ΤΝ, επειδή πολλά προϊόντα βασίζονται στα ίδια διαθέσιμα μοντέλα. Τα πλεονεκτήματα προκύπτουν τότε συνήθως από εξειδικευμένη γνώση του τομέα, εγγύτητα στους πελάτες, καλές διαδικασίες και εμπιστοσύνη και όχι μόνο από την τεχνολογία.
Η αντιπαραθετική μηχανική μάθηση (adversarial machine learning) μελετά πώς τα μοντέλα ΤΝ μπορούν να παραπλανηθούν από σκόπιμα παραποιημένα δεδομένα εισόδου ή εκπαίδευσης – και πώς μπορούν να προστατευθούν. Γνωστά παραδείγματα είναι ελάχιστα ορατές αλλαγές σε εικόνες που ανατρέπουν μια ταξινόμηση ή δηλητηριασμένα δεδομένα εκπαίδευσης. Το θέμα έχει σημασία για τους οργανισμούς μόλις η ΤΝ υποστηρίζει αποφάσεις σχετικές με την ασφάλεια. Τα αντίμετρα περιλαμβάνουν ανθεκτική εκπαίδευση, ελέγχους εισόδου, παρακολούθηση και τακτικές δοκιμές ασφαλείας.
Η απάντηση ερωτήσεων (question answering, QA) είναι ένας τομέας της επεξεργασίας φυσικής γλώσσας στον οποίο ένα σύστημα απαντά απευθείας σε ερωτήσεις που τίθενται σε καθημερινή γλώσσα, αντί να επιστρέφει μια λίστα αποτελεσμάτων αναζήτησης. Τα σύγχρονα συστήματα αναζητούν σχετικά χωρία σε μια βάση γνώσης και συνθέτουν από αυτά μια απάντηση, ιδανικά με παραπομπή στην πηγή. Τυπικές χρήσεις είναι η εξυπηρέτηση πελατών, οι εσωτερικές βάσεις γνώσης και τα εγχειρίδια – για παράδειγμα η ερώτηση στο εγχειρίδιο προσωπικού «Πόσες ημέρες άδεια δικαιούμαι το πρώτο έτος;».
Ο αποκλεισμός bots ΤΝ σημαίνει την παρεμπόδιση των crawlers των παρόχων ΤΝ να διαβάζουν τον ιστότοπό σας, συνήθως μέσω κανόνων στο αρχείο robots.txt για user agents όπως GPTBot, ClaudeBot ή Google-Extended. Το αρχείο αποτελεί αίτημα και όχι τεχνικό φραγμό· ο αυστηρότερος έλεγχος απαιτεί κανόνες τείχους προστασίας ή διακομιστή. Το δίλημμα: ο αποκλεισμός προστατεύει το περιεχόμενο από τη χρήση για εκπαίδευση, αλλά μπορεί να μειώσει την ορατότητα στην αναζήτηση ΤΝ και στις απαντήσεις που παράγονται από ΤΝ. Συχνά έχει νόημα να αντιμετωπίζονται διαφορετικά οι crawlers εκπαίδευσης και οι crawlers αναζήτησης.
Η απόκλιση μοντέλου (model drift) είναι η σταδιακή πτώση της ποιότητας πρόβλεψης ενός μοντέλου κατά τη λειτουργία, επειδή η πραγματικότητα αλλάζει σε σχέση με τα δεδομένα εκπαίδευσης. Διακρίνονται οι αλλαγές στα δεδομένα εισόδου (data drift) και οι αλλαγές στη σχέση μεταξύ εισόδων και αποτελεσμάτων (concept drift). Παράδειγμα: ένα μοντέλο ανίχνευσης απάτης δεν εντοπίζει νέα σχήματα απάτης. Τα διορθωτικά μέτρα περιλαμβάνουν τη συνεχή παρακολούθηση μετρικών και την τακτική επανεκπαίδευση.
Η απόσταση Fréchet inception (Fréchet inception distance, FID) είναι μια μετρική για την αξιολόγηση της ποιότητας εικόνων που παράγονται από ΤΝ. Πραγματικές και παραγόμενες εικόνες περνούν από ένα προεκπαιδευμένο δίκτυο αναγνώρισης εικόνας (Inception v3) και συγκρίνονται οι στατιστικές κατανομές των χαρακτηριστικών τους. Όσο χαμηλότερη είναι η τιμή, τόσο πιο κοντά βρίσκονται οι παραγόμενες εικόνες σε πραγματικές φωτογραφίες ως προς τον ρεαλισμό και την ποικιλία. Η FID παρουσιάστηκε το 2017 και αποτελεί πρότυπο για τη σύγκριση γεννητριών εικόνων.
Η απώλεια λογαρίθμου (log loss, logarithmic loss) μετρά πόσο καλά οι προβλεπόμενες πιθανότητες ενός μοντέλου ταξινόμησης ταιριάζουν με τα πραγματικά αποτελέσματα. Οι βέβαιες αλλά λανθασμένες προβλέψεις τιμωρούνται ιδιαίτερα αυστηρά· μια τιμή κοντά στο μηδέν υποδεικνύει καλά βαθμονομημένες προβλέψεις. Παράδειγμα: αν ένα μοντέλο δίνει πιθανότητα διαρροής 95% για έναν πελάτη που μένει, η απώλεια λογαρίθμου αυξάνεται απότομα. Μαθηματικά είναι το ίδιο με τη δυαδική διασταυρούμενη εντροπία.
Ένα αρνητικό prompt καθορίζει τι δεν πρέπει να παράγει ή να κάνει ρητά ένα μοντέλο ΤΝ. Στη δημιουργία εικόνων, για παράδειγμα με το Stable Diffusion, είναι ένα ξεχωριστό πεδίο εισαγωγής για ανεπιθύμητα στοιχεία, όπως «θολό» ή «κείμενο στην εικόνα». Στα γλωσσικά μοντέλα παίρνει τη μορφή κανόνων στις οδηγίες, όπως «Μην επινοείς τιμές» ή «Μην παρέχεις νομικές συμβουλές». Τέτοια όρια κάνουν τα αποτελέσματα πιο προβλέψιμα, αλλά δεν αντικαθιστούν τον έλεγχο.
Η ασαφής αντιστοίχιση (fuzzy matching) εντοπίζει εγγραφές που μοιάζουν αλλά δεν είναι ακριβώς ίδιες – για παράδειγμα λόγω τυπογραφικών λαθών, συντομογραφιών ή διαφορετικής ορθογραφίας. Βασίζεται σε μέτρα ομοιότητας, όπως η απόσταση Levenshtein, που μετρά πόσοι χαρακτήρες πρέπει να αλλάξουν. Τυπική χρήση είναι η εύρεση διπλότυπων σε δεδομένα διευθύνσεων και πελατών: οι εγγραφές «Smith Ltd, 5 High St» και «Smith Limited, 5 High Street» αναγνωρίζονται ως πιθανώς ίδια εγγραφή.
Η ασφάλεια LLM καλύπτει όλα τα μέτρα που προστατεύουν εφαρμογές βασισμένες σε μεγάλα γλωσσικά μοντέλα από κατάχρηση, διαρροή δεδομένων και ανεπιθύμητη συμπεριφορά. Τυπικοί κίνδυνοι περιλαμβάνουν prompt injection, αποκάλυψη εμπιστευτικών οδηγιών ή δεδομένων και πράκτορες με υπερβολικά δικαιώματα. Η προστασία προέρχεται από πολλαπλά επίπεδα: σαφείς οδηγίες, περιορισμένα δικαιώματα, έλεγχοι εισόδων και εξόδων, τείχη προστασίας ΤΝ, red teaming και τακτικοί έλεγχοι.
Η αυτόματη ταξινόμηση αντιστοιχίζει κείμενα, έγγραφα ή εγγραφές σε προκαθορισμένες κατηγορίες χωρίς χειροκίνητη διαλογή. Παραδοσιακά, τα μοντέλα το μαθαίνουν από επισημασμένα παραδείγματα· τα μεγάλα γλωσσικά μοντέλα μπορούν επίσης να αντιστοιχίζουν κατηγορίες μόνο με βάση μια περιγραφή. Τυπικές χρήσεις περιλαμβάνουν τη διαλογή εισερχόμενων email ανά τύπο αιτήματος, την αντιστοίχιση παραστατικών ή την επισήμανση επειγόντων αιτημάτων υποστήριξης. Για σημαντικές περιπτώσεις, συνιστώνται δειγματοληπτικοί έλεγχοι από ανθρώπους.
Αυτοματοποίηση εξυπηρέτησης πελατών σημαίνει ότι ένα λογισμικό χειρίζεται πλήρως ή εν μέρει επαναλαμβανόμενα αιτήματα πελατών – για παράδειγμα μέσω chatbot, προτεινόμενων απαντήσεων ή προδιαλογής αιτημάτων υποστήριξης. Συνήθεις ερωτήσεις για ωράριο λειτουργίας, κατάσταση παράδοσης ή επιστροφές μπορούν να απαντώνται όλο το εικοσιτετράωρο, ενώ η ομάδα κερδίζει χρόνο για τις δύσκολες περιπτώσεις. Αξιόπιστες πηγές γνώσης και εύκολη μεταβίβαση σε ανθρώπους είναι απαραίτητες.
Τα αυτόνομα οχήματα κινούνται πλήρως ή εν μέρει χωρίς ανθρώπινη παρέμβαση, χρησιμοποιώντας κάμερες, ραντάρ, lidar και λογισμικό ΤΝ. Το πρότυπο SAE J3016 ορίζει έξι επίπεδα – από το 0 (καμία αυτοματοποίηση) έως το 5 (πλήρως χωρίς οδηγό παντού). Η ΤΝ αναλαμβάνει την αντίληψη, την πρόβλεψη της συμπεριφοράς των άλλων χρηστών του δρόμου και τον σχεδιασμό διαδρομής. Εκτός από αυτοκίνητα, αυτό περιλαμβάνει ρομποταξί, φορτηγά, λεωφορεία μεταφοράς και οχήματα αποθήκης· η έγκριση και η ευθύνη ρυθμίζονται χωριστά σε κάθε χώρα.
