Artificiell superintelligens (ASI) är ett teoretiskt begrepp för en AI som avsevärt överträffar människor i nästan alla intellektuella förmågor, inklusive forskning, planering och socialt omdöme. Inget sådant system finns. Begreppet används främst inom filosofi och AI-säkerhetsforskning för att diskutera frågor om kontroll och om att förena framtida system med mänskliga värderingar.
Artificiell generell intelligens (AGI) avser ett hypotetiskt AI-system som kan hantera ett brett spektrum av intellektuella uppgifter på mänsklig nivå och flexibelt överföra det det har lärt sig till nya områden. Dagens system presterar bra på många uppgifter men uppvisar fortfarande begränsningar, till exempel i fråga om tillförlitlighet. Det finns ingen allmänt vedertagen definition eller något sätt att mäta det, och om och när AGI kommer att uppnås är omstritt bland experter.
Den tekniska singulariteten är en teoretisk föreställning: en tidpunkt då artificiell intelligens förbättrar sig själv så snabbt att den tekniska utvecklingen inte längre kan förutsägas eller kontrolleras av människor. Begreppet populariserades av författaren Vernor Vinge och futuristen Ray Kurzweil. Om och när detta kan ske är vetenskapligt öppet och omstritt. Idén påverkar ändå diskussionerna om AI-säkerhet, reglering och långsiktiga risker.
AI-etik behandlar de moraliska frågorna kring utveckling och användning av AI: rättvisa och diskriminering, transparens och förklarbarhet, dataskydd, ansvar för fel, säkerhet och effekterna på arbete och samhälle. För organisationer blir det konkret i riktlinjer, riskbedömningar, mänsklig tillsyn och ärlig kommunikation om AI:s begränsningar. Exempel: innan ett verktyg för CV-granskning införs kontrolleras det om det missgynnar vissa grupper.
LLM-säkerhet omfattar alla åtgärder som skyddar applikationer byggda på stora språkmodeller mot missbruk, dataläckage och oönskat beteende. Typiska risker är promptinjektion, avslöjande av konfidentiella instruktioner eller data och agenter med alltför omfattande behörigheter. Skyddet kommer från flera lager: tydliga instruktioner, begränsade rättigheter, kontroller av indata och utdata, AI-brandväggar, red teaming och regelbundna granskningar.
