← Szótár

2. Hogyan beszéljünk jól egy modellel

Prompt cache-elés

Amikor minden kérés ugyanazzal a nagy blokkal indul (céges szabálykönyv, stílusútmutató), a szolgáltató megjegyezheti azt a blokkot, ahelyett hogy minden alkalommal újraolvasná — jelentős kedvezményért cserébe.

Miért számít: tisztán költségtrükk, de nagy horderejű — az ismétlődő részen gyakran 90%-os kedvezményt jelent. Nagy volumenű munkánál ez a különbség a megfizethető és a megfizethetetlen között.