17. diel - Bezpečnosť AI workflow v Make - Prompt injection Nové
V minulej lekcii, Generovanie odpovedí na recenzie pomocou AI v Make , sme si vytvorili pomocou vlastného AI promptu návrh odpovede na zákaznícku recenziu.
V tomto tutoriále kurzu AI automatizácií a agentov pre firemné procesy sa zameriame na bezpečnosť promptov v AI workflow v Make. Ukážeme si, ako môžu nedôveryhodné vstupné dáta ovplyvniť správanie jazykového modelu a prečo nestačí spoliehať iba na správne napísané zadanie.
Na praktickom scenári spoločnosti EnergoSun sro otestujeme útok typu prompt injection. Vysvetlíme si jeho priamu a nepriamu podobu a následne upravíme náš prompt tak, aby model lepšie rozlišoval medzi našimi inštrukciami a externými dátami.
Pri návrhu budeme vychádzať aj z odporúčaní organizácie OWASP pre aplikácie využívajúce jazykové modely.
Riziká vlastných promptov v AI workflow
Keď pracovníkovi odovzdáme inštrukcie a zároveň dokument od zákazníka, dokáže obvykle rozlíšiť, čo je pracovné zadanie a čo iba obsah dokumentu. Jazykový model takúto hranicu nemusí vždy správne rozpoznať. Inštrukcie aj vstupné dáta totiž spracováva spoločne ako textový kontext.
V AI workflow preto musíme rozlišovať medzi dôveryhodnými inštrukciami, ktoré určujeme my, a nedôveryhodnými vstupmi, ktoré prichádzajú zvonku. Takým vstupom môže byť napríklad e-mail, zákaznícka recenzia, nahraný dokument alebo obsah webovej stránky.
Problém nastane vo chvíli, keď externé dáta obsahujú text, ktorý sa snaží vystupovať ako nová inštrukcia pre AI. Model ho môže nesprávne vyhodnotiť ako pokyn a zmeniť svoje správanie.
...koniec náhľadu článku...
Pokračuj ďalej
Došiel si až sem a to je super! Veríme, že ti prvé lekcie ukázali niečo nového a užitočného.
Chceš v kurze pokračovať? Prejdi do prémiovej sekcie.
ročné PREDPLATNÉ
44 €
mesačne, platené ročne (528 €)14 000+ lekcií, cvičení a testov
6 000+ ti zostane navždy
Neobmedzený prístup ku všetkým aktuálnym
aj pripravovaným kurzom.
Kúpiť iba tento kurz
Získaj okamžitý prístup ku kurzu bez
časového obmedzenia.
19 €
Obsah článku spadá pod licenciu Premium II, kúpou článku súhlasíš s Prevádzkovými podmienkami.
- Prístup k jednotlivým lekciám podľa spôsobu obstarania.
- Kvalitné znalosti v oblasti IT.
- Zručnosti, ktoré ti pomôžu získať vysnívanú a dobre platenú prácu.
Popis článku
Požadovaný článok má nasledujúci obsah:
V tutoriále si ukážeme riziká prompt injection v Make. Otestujeme škodlivé inštrukcie v recenzii a upravíme prompt podľa bezpečnostných odporúčaní OWASP.
