LLM-testija: AI-süsteemide kvaliteedi hindamine

Name: LLM-testija: AI-süsteemide kvaliteedi hindamine — Tallinn
Price: 1700 EUR

Teave sellel koolitusel toimuva õppe kohta.

Koolituse eesmärk: anda põhilised teoreetilised teadmised ja praktilised oskused suurte keelemudelite (LLM) põhiste süsteemide testimiseks ja kvaliteedi hindamiseks — käsitsi rubriikide järgi hindamisest kuni automaatsete eval-torude, RAG-süsteemide testimise ja haavatavuste otsimiseni (red teaming). Koolitus sisaldab Pythoni aluste plokki — selle eriala peamist töövahendit.

Õpe toimub Tallinna kesklinnas (Tartu mnt 18) ja/või online. Kõik õppematerjalid on hinna sees. Vajadusel antakse õppeperioodiks sülearvuti.

NB! Käesolev koolitus toimub ainult inglise keeles (õppematerjalid ja suhtlus on inglise keeles).

Sellele koolitusele on saadaval erinevad rahastusvõimalused, sealhulgas riikliku toetuse ja mittetulundusühingute programmid. Täpsema info saamiseks võtke ühendust meie konsultandiga.

Uuri toetusmeetmete kohta →

Sihtgrupp:

Koolitus sobib teile, kui te:

olete algaja või tegutsev tarkvaratestija ja soovite lisada oma profiili kõige nõutuma spetsialiseerumise — AI-süsteemide testimise;
olete teise valdkonna spetsialist ja kaalute AI-valdkonda sisenemist mudelite kvaliteedi hindamise kaudu — madala sisenemisbarjääriga suund;
olete lingvist, toimetaja, tõlkija või analüütik ja soovite rakendada täpsust ja tugevat keeleoskust AI-töös (vastuste hindamine, märgendamine, rubriigid);
juba töötate AI-hindamisplatvormidel (märgendamine, vastuste võrdlemine) ja soovite liikuda keerukamate, paremini tasustatud ja automatiseeritud ülesannete juurde;
olete arendaja või insener ja peate oskama kontrollida LLM-funktsioonide kvaliteeti ja turvalisust oma toodetes;
olete rahvusvaheline spetsialist Eestis või ELis — AI-hindamisplatvormid värbavad üle maailma ning ingliskeelseid QA-rolle leidub ka kohalikes tooteettevõtetes.

Koolitusel omandatavad võtmeoskused:

Kirjutada Pythoni programme: andmetüübid, tsüklid, funktsioonid, töö failidega
Mõista LLM-süsteemide toimimist: tokenid, kontekst, mittedeterministlikud väljundid
Eristada AI-defektide klasse: hallutsinatsioonid, kallutatus, prompt injection
Koostada viipu (prompte) ja disainida vastuste hindamise rubriike
Teha käsitsi hindamist: kõrvutav võrdlus, järjestamine, tõrkerežiimide dokumenteerimine
Rakendada kvaliteedimõõdikuid ja LLM-as-a-judge meetodit
Ehitada automaatseid eval-torusid (promptfoo, DeepEval, pytest)
Testida RAG-süsteeme ja AI-agente (tööriistade kasutus, jälgimine)
Teha baastaseme red teaming'ut: prompt injection, jailbreak-testid
Kirjutada AI-süsteemide defekti- ja haavatavusraporteid

Eeldused:

kindel arvutikasutaja; eelnev programmeerimiskogemus ei ole nõutav (koolitus sisaldab Pythoni aluste plokki)
inglise keele oskus tehnilise koolituse jälgimiseks (umbes B1/B2) — koolitus toimub inglise keeles; rahvusvahelised AI-hindamisplatvormid eeldavad tavaliselt vähemalt B2 taset
soovitatav on isiklik sülearvuti (Windows / Mac, RAM 8 GB+); vajadusel antakse õppeperioodiks sülearvuti.

Õpiväljundid:

Koolituse tulemusena osaleja:

kirjutab Pythoni skripte andmetöötluseks ja automaatseteks kontrollideks;
mõistab LLM-süsteemide (vestlusrobotid, RAG, agendid) arhitektuuri ja nende tüüpilisi defektiklasse;
hindab mudeli vastuseid rubriikide järgi ja dokumenteerib tulemused;
ehitab automaatseid eval-torusid koos mõõdikute ja regressioonijooksudega;
testib RAG-süsteeme ja agente ning rakendab baastaseme red teaming'u võtteid;
koostab AI-süsteemide kvaliteedi- ja haavatavusraporteid.

Õppemeetodid:

Loengud, praktilised tööd, seminarid, demonstratsioon, iseseisev töö.

Koolituse maht on 120 akadeemilist tundi, millest 64 akadeemilist tundi on auditoorne kontaktõpe (sh praktilised tööd) ja 56 akadeemilist tundi iseseisev töö.

Õpitulemuste hindamiskriteeriumid:

Õpitulemusi hinnatakse iseseisvalt tehtud praktiliste tööde alusel.

Hindamismeetodid:

Edukalt sooritatud praktilised ja kodutööd saavad hindeks „arvestatud“.

Koolituse lõpetamise tingimused:

Koolituse edukaks lõpetamiseks ja tunnistuse saamiseks on vajalik saada hinne „arvestatud“ 75% kodutööde eest. Osalejatele, kes õpiväljundeid ei saavutanud, väljastatakse soovi korral tõend koolitusel osalemise kohta.

Lisainformatsioon:

Õppekavarühm: 0613 - Tarkvara ja rakenduste arendus ning analüüs õppekavarühm
Õppekorralduse alused
Õppekvaliteedi tagamise alused

Programm

Moodul	Mooduli põhiteemad	Maht
Plokk 1. Pythoni alused	Toimub koos koolituse „Pythoni programmeerimiskeele alused“ rühmaga (tunnid 1–8). Seadistamine ja keskkonnad (IDLE, Jupyter Notebook), muutujad ja andmetüübid Tingimuslaused, tsüklid, järjendid, sõned, sõnastikud ja hulgad Funktsioonid ja modulaarne kood Failid (CSV), pakettide paigaldamine (pip), erindite käsitlus	32 ak. t
1. Python LLM-testimiseks	Virtuaalkeskkonnad (venv), projekti struktuur HTTP-päringud, LLM-ide väljakutsumine API kaudu (OpenAI, Anthropic) JSON: testjuhtumite andmestikud, mudeli vastuste parsimine pytesti alused; esimesed tulemuste kokkuvõtted (pandas)	4 ak. t
2. LLM- ja GenAI-süsteemid: mida me testime	Kuidas LLM-id töötavad: tokenid, kontekst, temperatuur, mittedeterminism Süsteemitüübid: vestlusrobotid, RAG, agendid; LLM-rakenduse elutsükkel Defektiklassid: hallutsinatsioonid, kallutatus, injektsioonid, degradeerumine Kuidas LLM-testimine erineb klassikalisest QA-st; EU AI Act, ISO/IEC 25059	4 ak. t
3. Promptimine (prompt engineering) ja käsitsi hindamine	Testija promptimisvõtted Rubriikide disain; kõrvutav võrdlus ja vastuste järjestamine Human-in-the-loop: kuidas AI-hindamisplatvormid töötavad Tõrkerežiimide dokumenteerimine: kirjalikud defektiraportid	4 ak. t
4. Kvaliteedimõõdikud ja LLM-as-judge	Mõõdikud: täpsus, täielikkus, järjepidevus, faithfulness, asjakohasus Referentsipõhine ja referentsivaba hindamine LLM-as-judge: kohtunik-promptide disain ja valideerimine Veaanalüüs: tõrgete taksonoomia, prioritiseerimine	4 ak. t
5. Automatiseerimine: eval-torud	Toru: andmestik → mõõdikud → jooks → regressioon Tööriistad: promptfoo, DeepEval + pytest Golden-andmestikud ja sünteetilised testjuhtumid CI-integratsioon; kvaliteedi dashboard'id	4 ak. t
6. RAG-süsteemide ja AI-agentide testimine	RAG-arhitektuur ja selle tõrkekohad: otsing (retrieval), grounding RAG-mõõdikud (Ragase lähenemine): faithfulness, konteksti asjakohasus Agendid: tööriistakasutuse korrektsus Jälgimine ja jälgitavus (LangSmith)	4 ak. t
7. Red teaming ja AI-turvalisus	Prompt injection ja jailbreak'id: võtted ja kaitse Adversariaalne testimine; kallutatuse ja õigluse audit Guardrails ja sisu modereerimine AI-süsteemi haavatavusraport	4 ak. t
8. Praktiline lõpuprojekt	Õppe-LLM-rakenduse terviklik hindamine Rubriik + automaatne eval-jooks + red-team läbimäng Kvaliteediraporti kirjutamine Lõpuprojekti kaitsmine	4 ak. t

Teave koolituse kohta

Toimumisaeg:
06.10.2026 - 19.11.2026
27.10.2026 - 11.12.2026

Tähelepanu! Käesolev koolitus toimub ainult inglise keeles.

Ajakava:
1. plokk (Python): T, N, R 17:45 - 21:00 (3 nädalat).
2. plokk (LLM): T, N 17:45 - 21:00 (4 nädalat).

Registreeru koolitusele →Vastame 1 tööpäeva jooksul

Koolituse kestus: 7 nädalat

Õppeformaat ja toimumiskoht:
Aadress: Tartu mnt 18, Tallinn / Online.
Gamma Intelligence Training Centre

Koolitus toimub auditoorses formaadis (kuni 12 inimest klassis) ja/või online (Zoom / Microsoft Teams); rühma kogusuurus kuni 18 inimest. Pythoni aluste plokk toimub koos koolituse Pythoni programmeerimiskeele alused rühmaga.

Õppekeel: inglise

Maksumus: 1700 EUR (KM 24% sisaldub)

Koolituse maht: 120 ak. t (64 auditoorset + 56 iseseisvat)
Formaat: loengud + praktilised tööd + iseseisev töö.

Õppejõud

Roman Kutselepa (Pythoni aluste plokk)

Kvalifikatsioon: üle 5 aasta Python-arendust ja üle 3 aasta JavaScript-arendust; osalenud tarkvara integratsiooniprojektides.

Spetsialiseerumine: Python-arendus, veebiarendus, tarkvaralahenduste integreerimine.

Õpetamiskogemus: üle 5 aasta õpetamis- ja personalikoolituse kogemust.

Haridus: Anglia Ruskin University, kõrgharidus (2010).

Tutvuda CV-ga

Nikolay Zubrilov (LLM-plokk)

Kvalifikatsioon: Python-arendaja ja Data Scientist; AI/LLM-arendaja ettevõttes Mentastic; Dataocean Analytics OÜ omanik.

Spetsialiseerumine: Python, AI/LLM-arendus, andmeanalüüs ja data science (Pandas, NumPy, Scikit-Learn), SQL (PostgreSQL / MySQL), REST API (FastAPI / Flask), automatiseerimine.

Õpetamiskogemus: andmeanalüüsi, Pythoni ja LLM-testimise koolituste õppejõud Gamma Intelligence Training Centre'is.

Haridus: magistrikraad — arvuti- ja süsteemitehnika.

Tutvuda CV-ga