Technická dokumentace pro optimalizaci interakce s LLM modely. Zaměřeno na deterministické výstupy, redukci halucinací a efektivní využití tokenů. Implementace metod Zero-shot, Few-shot a Chain-of-Thought v produkčním prostředí.
Prompt engineering není o kreativním psaní, ale o precizní konfiguraci vstupních dat. V Jigreelco definujeme prompt jako strukturovaný objekt obsahující systémové instrukce, kontextová data a specifické omezení výstupu. Správně navržený prompt snižuje výpočetní náklady a zvyšuje shodu s očekávaným formátem (např. JSON nebo Markdown).
Při práci s modely jako GPT-4 nebo Claude 3 je nezbytné rozumět mechanismům pozornosti (Attention Mechanism). Každý token v promptu ovlivňuje distribuci pravděpodobnosti následných slov. Proto využíváme techniky jako řetězení myšlenek (Chain-of-Thought), které nutí model k postupnému logickému vyvozování před generováním finální odpovědi.
Technika poskytování konkrétních příkladů (vstup-výstup) přímo v promptu. Tímto způsobem model "pochopí" požadovaný styl a formát bez nutnosti přetrénování (fine-tuning). Efektivní pro extrakci dat a klasifikaci textu.
Číst dokumentaciKonfigurace základní role modelu (Persona). Správné nastavení systémové zprávy v API definuje mantinely chování, tónu a technických limitů, které uživatel nemůže snadno obejít pomocí prompt injection.
Knihovna instrukcíAnalýza a optimalizace délky kontextového okna. Každý token má svou cenu a vliv na latenci. Technické postupy zahrnují kompresi kontextu a selektivní retenci informací pro dlouhé konverzace.
Parametry API"Kvalita výstupu je přímo úměrná specifičnosti omezení a čistotě vstupních dat. Vágkní prompty vedou k vágkním výsledkům."
— Inženýrský tým Jigreelco
| Model | Kontextové okno | Specializace | Přesnost (Logic) |
|---|---|---|---|
| GPT-4o | 128k tokenů | Multimodální, RAG | 92% |
| Claude 3.5 Sonnet | 200k tokenů | Psaní kódu, analýza | 94% |
| Llama 3 (70B) | 8k tokenů | Open-source, lokální deployment | 88% |
Data jsou založena na interních testech Jigreelco a veřejně dostupných benchmarcích.
Prompt Injection je útok, kdy uživatelský vstup přepisuje systémové instrukce. Obrana spočívá v oddělení uživatelských dat pomocí delimiterů a v nastavení striktních parametrů v systémové zprávě API, která má vyšší prioritu než uživatelský prompt.
Parametr Temperature (0.0 až 2.0) určuje míru náhodnosti. Pro technickou dokumentaci a kód doporučujeme hodnotu 0.0 pro maximální determinismus. Vyšší hodnoty jsou vhodné pro kreativní generování, kde je variabilita žádoucí.
Model je instruován, aby "přemýšlel nahlas". Tím, že do výstupu zahrne mezikroky výpočtu nebo úvahy, výrazně stoupá pravděpodobnost správného výsledku u komplexních logických úloh. Podrobněji v sekci pokročilé metody.
Získejte přístup k naší plné databázi systémových instrukcí a technických benchmarků pro nejnovější modely.