AI u vašem proizvodu
LLM funkcije ugrađene u softver koji vaši korisnici već koriste, projektovane tako da su trošak, brzina i ponašanje pri otkazu odlučeni, a ne otkriveni.
Kontaktirajte nas
Funkcije koje vredi dodati
One koje uklanjaju korak na koji korisnici sada gunđaju: sastavljanje opisa iz nekoliko crtica, sažimanje dugog zapisa pre nego što ga neko otvori, klasifikovanje pristigle poruke tako da se sama usmeri, odgovaranje na pitanje o podacima koji su već na ekranu, ili izvlačenje strukture iz nečega što je korisnik nalepio. Ono što retko vredi dodati jeste opšti prozorčić za ćaskanje u uglu. Korisnici ne žele razgovor sa vašim proizvodom; žele da posao bude završen. Najbolje AI funkcije obično se ne vide kao AI, nego prosto kao proizvod koji je primetno manje zamoran.
Inženjering neefektnih delova
AI funkcije padaju u produkciji iz dosadnih razloga. Provajder ima prekid i cela stranica pukne jer niko nije napisao rezervno ponašanje. Kašnjenje pretvori živ ekran u četvorosekundno čekanje. Korisnik nalepi deset hiljada reči i trošak po pozivu se umnoži. Ubacivanje uputstava u korisnički sadržaj preusmeri model. Zato gradimo sa vremenskim ograničenjima i postepenim opadanjem, sa strimovanjem tamo gde je čekanje neizbežno kako bi se nešto odmah pojavilo, sa ograničenjem veličine ulaza, keširanjem ponovljenih zahteva i tretiranjem korisničkog sadržaja kao nepouzdanog. Ništa od toga nije efektno, a sve je razlika između funkcije koja preživi i demoa.
Trošak po korisniku, ne po pozivu
Pitanje koje odlučuje o održivosti AI funkcije nije koliko košta poziv, nego koliko mesečno košta aktivan korisnik. Funkcija koju nekoliko stotina ljudi koristi jednom nedeljno je trivijalno pristupačna. Ista funkcija koju hiljade koriste stalno možda nije, a to vredi znati pre lansiranja, a ne na prvom računu. Mi to računamo, a kada su brojevi tesni, posežemo za uobičajenim polugama: jeftiniji model za jednostavnu većinu zahteva, keširanje i prebacivanje posla na jeftiniji put kada je ulaz lak. To često prepolovi račun bez vidljive razlike za korisnike.
Šta dobijate
Funkcije, a ne prozorčić za ćaskanje
Najbolji AI u proizvodu se ne vidi kao AI. Korisnici žele završen posao, ne razgovor.
Postepeno opadanje
Vremenska ograničenja i rezervno ponašanje, pa je prekid kod provajdera funkcija koja fali, a ne slomljena stranica.
Strimovanje gde je čekanje stvarno
Nešto se pojavi odmah umesto vrteške, jer korisnici sude po doživljenom kašnjenju.
Trošak računat po aktivnom korisniku
Cena po pozivu nije broj koji odlučuje o održivosti. Mesečni trošak po aktivnom korisniku jeste.
Korisnički sadržaj kao nepouzdan
Ubacivanje uputstava je stvaran napad na svaku funkciju koja korisnički tekst šalje modelu.
Izmereno pre lansiranja
Skup provere na vašim stvarnim slučajevima, pa je kvalitet poznat, a ne predmet nade posle objave.
Tehnologije
Često postavljana pitanja
Koji model da koristi naš proizvod?
Obično više od jednog. Jeftiniji i brži model rešava jednostavnu većinu zahteva, a jači ostatak, uz usmeravanje po složenosti. To često prepolovi trošak bez razlike vidljive korisniku, i zato izbor modela gradimo kao podešavanje, a ne kao tvrdo upisanu odluku.
Možete li da dodate AI u aplikaciju koju već imamo?
Možemo, i često je jednostavno: AI funkcije obično stoje na ivicama i ne traže promenu arhitekture. Počinjemo jednom funkcijom koja uklanja korak koji korisnici ne vole, izmerimo je i širimo se na osnovu dokaza, a ne oduševljenja.
Šta sa podacima naših kupaca?
To je odluka koju treba doneti izričito. Opcije uključuju provajdere sa ugovornom obavezom da ne obučavaju na vašim podacima, regionalnu isporuku, uklanjanje osetljivih delova pre slanja i modele na sopstvenoj infrastrukturi za zaista osetljiv sadržaj. To treba i navesti u politici privatnosti, što se često zaboravi.
Dodajte funkciju koja vaš proizvod čini manje zamornim
Kontaktirajte nasDobijte besplatnu procenu
Imate pitanje ili želite da razgovarate o projektu? Rado ćemo vas čuti. Kontaktirajte nas i odgovorićemo što je pre moguće.
Kontakt informacije
Popunite formular i naš tim će vam se javiti u roku od 24 sata.
Lokacija
Serbia