Otvoreni i zatvoreni modeli — šta možeš da hostuješ na svom serveru

Prva odluka u svakom AI projektu nije koji model, nego gde model radi. Sve ostalo — hardver, budžet, bezbednosna politika, pa i to koliko posla imaš — sledi iz tog izbora.

Podela se u razgovoru najčešće svede na „otvoreni" i „zatvoreni", ali to je previše grubo. Postoje tri različite stvari koje ljudi zovu otvorenim, i jedna od njih ti ne daje ništa. Ako ti terminologija još nije sasvim jasna, pri ruci drži rečnik AI pojmova.

Tri nivoa otvorenosti

Zatvoren model postoji samo kao servis. Šalješ zahtev na tuđi API, dobijaš odgovor, plaćaš po tokenu. Težine ne vidiš i ne možeš ih preuzeti. Ovde spadaju najpoznatija komercijalna imena.

Open-weight model ima težine dostupne za preuzimanje. Skineš fajlove, pokreneš ih na svom serveru i dalje ne zavisiš ni od koga. Ono što se ne objavljuje je skup podataka na kome je model treniran i kod kojim je treniran — dobio si rezultat, ne recept.

Open source model u strogom smislu znači da su objavljeni i težine, i podaci, i postupak treniranja, pod licencom koja ne ograničava upotrebu. Takvih je malo i uglavnom su istraživački.

Za tebe je bitna sredina. Open-weight je ono što se u praksi hostuje, i kada u ovom serijalu piše „otvoren model", misli se na to. Reč „open source" u naslovima blog postova i objavama na mrežama najčešće znači open-weight, pa je ne uzimaj zdravo za gotovo.

Šta zapravo dobiješ kada preuzmeš model

Direktorijum sa fajlovima, i skoro uvek jedan tekstualni fajl koji je važniji od svih ostalih.

$ ls -la ./Qwen3.5-9B-Instruct/
config.json
generation_config.json
model-00001-of-00004.safetensors
model-00002-of-00004.safetensors
model-00003-of-00004.safetensors
model-00004-of-00004.safetensors
model.safetensors.index.json
tokenizer.json
tokenizer_config.json
LICENSE
README.md

Preuzimanje modela nije prihvatanje licence u pravnom vakuumu — uslovi važe od trenutka kada ga pustiš u upotrebu. Ako model ide u proizvod ili u internu upotrebu u firmi, LICENSE pročitaj pre nego što bilo šta pokreneš.

$ head -20 ./Qwen3.5-9B-Instruct/LICENSE

Vrste licenci

Licence otvorenih modela grubo padaju u tri korpe.

Tip Primeri Šta znači u praksi
Permisivna MIT, Apache 2.0 Komercijalna upotreba slobodna, izmene dozvoljene, bez praga korisnika
Namenska („community") Licence pisane po meri jednog modela Dozvoljena upotreba uz uslove: obaveza imenovanja, zabrana treniranja drugih modela, prag broja korisnika iznad kog treba poseban ugovor
Nekomercijalna CC BY-NC i slične Istraživanje i lična upotreba da, zarada ne

Permisivna licenca je jedina koja ti ne traži razmišljanje. Kod ostale dve postavi sebi tri pitanja: smem li komercijalno, smem li da menjam model, i smem li izlaz modela da koristim za treniranje nečeg svog. Odgovor na treće iznenađujuće često je ne.

Uslovi se, uz to, menjaju između verzija istog modela. To što je prošlogodišnja verzija bila pod Apache 2.0 ne znači da je i nova. Konkretne licence aktuelnih modela nabraja pregled open-weight modela.

Dostupne težine nisu isto što i hostabilan model

Ovo je najskuplja zabluda u celoj priči. Model može biti potpuno slobodan, a da ga ti nikako ne možeš pokrenuti.

Vrhunski otvoreni modeli danas idu preko bilion parametara. Njihove težine su javne, licenca ume da bude čista MIT, ali za pokretanje treba klaster grafičkih kartica. Takav model je, iz ugla jedne firme, i dalje API servis — samo što ga smeš i sam da hostuješ, ako imaš čime.

Klasa modela Okvirno VRAM (Q4) Šta je potrebno
7B – 9B 5 – 7 GB Potrošačka kartica, radi i na jačem procesoru
27B – 35B 17 – 22 GB Kartica od 24 GB, uz pažnju na kontekst
70B oko 40 GB Serverska kartica ili dve potrošačke
400B+ 200 GB i naviše Više serverskih kartica, namenska mašina

Brojevi su za same težine i na njih ide keš konteksta, o čemu detaljno govori tekst o proceni VRAM-a. Poenta ovde je jednostavna: prvo utvrdi šta tvoj hardver nosi, pa tek onda biraj model, a ne obrnuto.

Poređenje po kriterijumima

Kriterijum Zatvoren (API) Otvoren (sopstveni hosting)
Podaci Napuštaju tvoju mrežu Ostaju kod tebe
Trošak Po tokenu, raste s upotrebom Hardver unapred, upotreba besplatna
Kvalitet Vrh onoga što postoji Blizu vrha, uz osetne razlike po zadatku
Postojanost Verzija se menja ili gasi bez tvoje saglasnosti Fajl na disku radi isto i za pet godina
Dostupnost Zavisi od tuđeg servisa i tvoje veze Radi i bez interneta
Održavanje Nikakvo Tvoj posao: drajveri, nadzor, kapacitet
Prilagođavanje Samo kroz prompt Puna kontrola, do izmene težina

Poslednji red u tabeli — održavanje — je onaj koji se najčešće zaboravi pri računici. Sopstveni hosting nije besplatan, nego pomeren trošak: umesto računa po tokenu plaćaš hardver, struju i svoje vreme. Kada se to preseca, računa tekst o troškovima.

Kada je sopstveni hosting pravi izbor

  • Podaci ne smeju napolje. Zdravstveni, finansijski, lični podaci, interni kod. Ovo je jedini argument koji sam po sebi zatvara raspravu.
  • Stabilan i predvidiv obim posla. Obrada koja radi neprekidno se na sopstvenom hardveru brzo isplati; retki upiti ne.
  • Rad bez interneta. Izolovana mreža, terenska instalacija, redundansa.
  • Ponovljivost. Isti model, ista verzija, isti rezultat kroz godine. Za revizije i regulisane delatnosti to nije sitnica.
  • Uzak, jasno definisan zadatak. Klasifikacija tiketa, sažimanje logova, izvlačenje podataka iz teksta — manji model to radi sasvim dobro.

Kada je API pravi izbor

  • Tek proveravaš ideju. Nema smisla kupovati karticu da bi saznao da ti rešenje ne treba.
  • Zadatak traži vrhunske sposobnosti. Složeno rasuđivanje i dug kontekst i dalje bolje idu kod najvećih modela.
  • Obim je mali ili neujednačen. Nekoliko hiljada upita mesečno je jeftinije platiti nego hostovati.
  • Nemaš kome da ostaviš održavanje. Server sa modelom je servis kao svaki drugi i traži vlasnika.

Ovo nije izbor „ili — ili". Uobičajena postavka u firmama je da osetljivi podaci idu na lokalni model, a teški zadaci na API, uz jasno pravilo šta sme kuda. Ako se odlučiš za takav raspored, pravilo zapiši i primeni ga u kodu, ne u glavama ljudi.

Praktični scenariji

Scenario 1: sažimanje internih izveštaja

Dokumenta sadrže podatke o zaposlenima. Sve i da je API jeftiniji, slanje napolje otvara pitanje obrade ličnih podataka. Lokalni model klase 9B ovaj posao radi dovoljno dobro.

Scenario 2: pomoć pri pisanju koda za mali tim

Pet programera, povremeni upiti. Kartica koja bi nosila pristojan model za kod košta više nego godina API pretplate. Kreni od API-ja, pa meri.

Scenario 3: klasifikacija petnaest hiljada tiketa dnevno

Zadatak je jednostavan, obim veliki, radi neprekidno. Ovo je udžbenički slučaj za sopstveni hosting — mali model, niska temperatura, kratki odgovori.

Scenario 4: model je pod „community" licencom, a proizvod ide u prodaju

Stani i pročitaj uslove. Traži prag broja korisnika, obavezu imenovanja i zabranu treniranja drugih modela na izlazu. Ako nešto od toga ne odgovara, potraži zamenu pod Apache 2.0 ili MIT licencom.

Scenario 5: licenca je MIT, ali model ima 400 milijardi parametara

Slobodan jeste, hostabilan nije — bar ne na jednoj mašini. Uzmi manji model iz iste porodice ili taj isti model koristi preko tuđeg API-ja.

Kratka referenca

  • Zatvoren model — dostupan samo kao servis, težine se ne preuzimaju
  • Open-weight — težine dostupne, podaci i postupak treniranja nisu
  • Open source — objavljeno i treniranje i podaci, uz slobodnu licencu; retko
  • Permisivna licenca — MIT, Apache 2.0; komercijalna upotreba bez uslova
  • Community licenca — dozvola uz uslove, prag korisnika, ograničenja upotrebe
  • LICENSE — fajl u direktorijumu modela; pročitati pre upotrebe
  • Argument za hosting — podaci, obim, izolovana mreža, ponovljivost
  • Argument za API — provera ideje, vrhunske sposobnosti, mali obim
  • Hibrid — osetljivo lokalno, teško na API, uz pravilo sprovedeno u kodu

Vežba

  1. Objasni razliku između open-weight i open source modela u dve rečenice, tako da razume neko ko nije tehničar.
  2. Preuzmi bilo koji manji model i pronađi njegov LICENSE fajl. Odgovori na tri pitanja: komercijalna upotreba, izmena modela, treniranje na izlazu.
  3. Za svoj server izračunaj koja je najveća klasa modela koja bi stala u raspoloživi VRAM, uz dvadeset posto rezerve.
  4. Uzmi jedan stvarni zadatak sa svog posla i odluči ide li na lokalni model ili na API. Napiši tri razloga.
  5. Zamisli firmu koja hoće hibridnu postavku. Napiši pravilo koje podatke određuje kao osetljive i predloži gde bi ga tehnički sproveo.

Sledeći tekst u serijalu: Pregled aktuelnih open-weight modela

Povezano:

Comments

Post a Comment

Popular posts from this blog

Početak u Linuxu — šta je i zašto se uči

Ovo je prva lekcija na blogu. Ne uči se nijedna komanda — cilj je da razumeš gde ideš i zašto, pre nego što otvoriš terminal. Linux koristiš i sada Verovatno misliš da nikada nisi radio na Linuxu. Zapravo si u kontaktu sa njim ceo dan: Sajtovi koje otvaraš — najveći deo interneta vrti se na Linux serverima Android telefon — ispod svega je Linux kernel Netflix, Facebook, Google, banke — sve na Linuxu Superračunari — svih pet stotina najbržih na svetu Ruteri, televizori, automobili, bankomati Cloud — AWS, Azure i Google Cloud u ogromnoj većini pokreću Linux instance Praktično svugde osim na desktopu. To je i razlog zašto se Linux uči: ne zato što je bolji od Windowsa za svakodnevni rad, nego zato što je operativni sistem infrastrukture . Šta Linux zapravo jeste Linux je kernel — sloj koji upravlja hardverom, memorijom i procesima. Sam po sebi ne radi ništa vidljivo. Ono što instaliraš zove se distribucija : kernel plus sve ostalo — komande, serv...
Read more

Konverzija tipova podataka u Pythonu

Casting u programiranju se odnosi na promenu tipa podatka promenljive sa jednog tipa na drugi. U Pythonu, možete izvršiti casting (konverziju) pomoću određenih funkcija ili konstruktorima za različite tipove podataka. Evo nekoliko primera castinga u Pythonu: Casting u ceo broj (int) Možete konvertovati druge tipove podataka u ceo broj koristeći funkciju int() . decimalni = 3.14 ceo_broj = int(decimalni) # Konverzija decimalnog broja u ceo broj Casting u decimalni broj (float) Možete konvertovati druge tipove podataka u decimalni broj koristeći funkciju float() . broj = 42 decimalni_broj = float(broj) # Konverzija celog broja u decimalni broj Casting u nisku (string) Možete konvertovati druge tipove podataka u nisku koristeći funkciju str() . broj = 42 niska = str(broj) # Konverzija celog broja u nisku Casting u kompleksni broj (complex) Možete konvertovati druge tipove podata...
Read more

groupadd

 Komanda groupadd koristi se za dodavanje novih grupa na Unix i Linux sistemima. Evo nekoliko primera kako biste razumeli njenu upotrebu: Dodavanje nove grupe: sudo groupadd marketing Ova komanda će kreirati novu grupu sa imenom "marketing". Dodavanje grupe sa određenim GID-om (Group ID): sudo groupadd -g 1001 sales Postavlja GID grupe na 1001 prilikom kreiranja grupe "sales". Dodavanje grupe sa ekstra informacijama (komentarom): sudo groupadd -r -g 1002 -c "Development Team" devs Ovde se koristi -r opcija da se rezerviše sistemski GID, a -c dodaje komentar za grupu "devs". Dodavanje grupe sa ekstra informacijama iz datoteke: sudo groupadd -g 1003 -r -K GID_MIN=1000 -K GID_MAX=1999 -K INACTIVE=30 -K EXPIRE=2023-01-01 testers Koristi se -K opcija da se postave različite opcije (min/max GID, neaktivnost, istek) za grupu "testers". Dodavanje grupe bez stvaranja home direktorijuma: sudo groupadd -r -r -K NIS...
Read more