LLM Red-Teamer

Stack

Feladatok

• ▹Komplex, adverzariális, több fordulós beszélgetések és feladat-alapú forgatókönyvek kidolgozása a projektspecifikációk alapján
• ▹Világos, pontos kiértékelési rubrikák megírása a modellválaszok szigorú értékeléséhez
• ▹Beszélgetések és feladatok iteratív tesztelése élvonalbeli LLM-eken, a nehézség és árnyaltság fokozatos növelésével
• ▹Teljes körű feladatcsomagok szállítása (átiratok, célviselkedések, bináris rubrikák, alátámasztó indoklás)
• ▹LLM-kimenetek validálása, a modell erősségeinek és hibamintáinak dokumentálása
• ▹Kalibráció fenntartása a csapatvezetőkkel és minőségbiztosítási kontaktokkal

Előny

• ▹Kivételesen jó írásbeli angol nyelvtudás, tisztasággal és erős strukturális felépítéssel
• ▹Korábbi tapasztalat AI human data környezetekben (RLHF, SFT, kiértékelések, annotáció, prompt engineering)
• ▹Mély ismeretek a nagy nyelvi modellekről, beleértve a gyakori hibamintázatok felismerésének képességét
• ▹Önálló munkavégzési képesség, komplex specifikációk értelmezése és végrehajtása minimális felügyelettel
• ▹Kritikai gondolkodás és aprólékos figyelem a részletekre
• ▹Tapasztalat kiértékelési feladatok vagy rubrikák tervezésében
• ▹Írásintenzív vagy elemzésközpontú terület háttere (kutatás, szerkesztői munka, technikai írás, minőségbiztosítás)

Soft skillek

Amit kínálunk

• ▹Feladatalapú (output-based) kompenzáció