Речник

Конвейер за извличане

Какво е Конвейер за извличане?

Конвейерът за извличане (retrieval pipeline) е последователността от стъпки на обработка, с която една система намира правилната информация за даден въпрос. Типични стъпки са: приемане и почистване на документите, разделянето им на части (chunks), изграждане на индекс за търсене, при желание преформулиране на заявката, извличане на съвпаденията, подреждането им (reranking) и подаване на най-добрите към езиковия модел. Той е основата на всяко RAG приложение и качеството му до голяма степен определя колко добри ще бъдат получените отговори.

Как помага KI.ordo

В KI.ordo съхраняваните знания се разделят на припокриващи се части и се търсят чрез BM25 търсене по ключови думи директно на сървъра – без векторна база данни.

Научете повече

Теми

RAG
търсене
обработка на данни

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Генериране, допълнено с извличане (RAG)

Генерирането, допълнено с извличане (Retrieval-augmented generation), съчетава търсене с генериране на текст: преди да отговори, системата търси в колекция от знания – например ръководства, правилници или често задавани въпроси – подходящи пасажи и ги подава на езиковия модел като контекст. Така отговорът се основава на актуално съдържание, специфично за компанията, а не само на знанията от обучението на модела. Това намалява измислените твърдения, прави източниците проследими и позволява актуализации без повторно обучение.

RAG
търсене в знанията
+1

Пренареждане на документи (document reranking)

Пренареждането на документи (document reranking) е втора стъпка на сортиране в системите за търсене и RAG: бързо първоначално търсене връща набор от кандидат-резултати, които по-прецизен, но по-скъп метод след това подрежда по релевантност. Това често се прави от т.нар. cross-encoder, който оценява въпроса и откъса заедно. Така най-релевантните откъси се озовават най-отгоре, преди езиков модел да формулира отговор въз основа на тях.

търсене
RAG
+1

Разширяване на заявката

Разширяването на заявката автоматично добавя сродни термини към търсена заявка, така че да бъдат намерени и релевантни документи, които използват други формулировки. Типични добавки са синоними, съкращения, словоформи или преводи: търсене на „отказ“ може тогава да намери и текстове за „прекратяване на договор“. Това е особено полезно при търсене по ключови думи, но може да намали точността, ако се добавят твърде много или неподходящи термини. Днес за генериране на разширените заявки често се използват езикови модели.

търсене
синоними
+1

Извличане на информация (information retrieval)

Извличането на информация (information retrieval) обхваща методи за намиране на документите или откъсите в голям обем текст, които съответстват на дадена заявка, и за подреждането им по релевантност. Класически подходи като BM25 претеглят термините за търсене според това колко често и колко рядко се срещат; по-новите добавят семантично сходство. То е в основата на търсачките, корпоративното търсене и retrieval-augmented generation, при което езиков модел използва извлечените откъси като основа за отговора си.

Търсене
BM25
+1