journalctl i LLM: objašnjenje sistemskih grešaka jednom komandom

Prethodni tekstovi su postavili sve delove. Ovim se sklapaju u jednu komandu koju ćeš zaista kucati — onu koja na pad servisa u dva ujutru odgovori nečim korisnijim od trideset redova stack trace-a.

Alatka se zove zasto i do kraja teksta stoji u /usr/local/bin.

Zašto baš journal

Sistemski log je idealan ulaz za model iz tri razloga.

Struktura je poznata. Svaki zapis ima jedinicu, prioritet, vreme i poruku. Model ne pogađa šta gleda.

Filtriranje već postoji. journalctl ume da suzi po servisu, prioritetu i vremenu pre nego što išta ode modelu — što je, kako pokazuje prethodni tekst, najvažniji korak.

Izlaz u JSON obliku. Nema parsiranja teksta:

$ journalctl -u nginx -n 3 -o json --no-pager | jq -r '.MESSAGE'

Podsetnik na osnovne oznake stoji u tekstu o journalctl.

Najkraća upotrebljiva verzija

$ journalctl -u nginx -n 50 --no-pager \
  | jq -Rs '{
      model: "qwen3:8b",
      messages: [
        {role: "system", content: "Ti si Linux administrator. Objasni šta se desilo i šta proveriti. Kratko, na srpskom."},
        {role: "user", content: .}
      ],
      temperature: 0
    }' \
  | curl -s http://localhost:11434/v1/chat/completions \
      -H "Content-Type: application/json" -d @- \
  | jq -r '.choices[0].message.content'

Radi, ali je predugačko za svakodnevnu upotrebu i ne podnosi ni jedan servis koji ćuti.

Alatka

#!/bin/bash
# /usr/local/bin/zasto — objašnjenje sistemskih grešaka kroz lokalni model
set -uo pipefail

AI_URL="${AI_BASE_URL:-http://localhost:11434/v1}"
AI_MODEL="${AI_MODEL:-qwen3:8b}"
[ -r /etc/ai/okruzenje ] && source /etc/ai/okruzenje

SERVIS=""
OD="1 hour ago"
BROJ=100
PRIORITET="err"
SVE=0

pomoc() {
    cat <<'EOF'
Upotreba: zasto [opcije]

  -u JEDINICA    samo određeni servis
  -s VREME       od kada (podrazumevano "1 hour ago")
  -n BROJ        najviše redova (podrazumevano 100)
  -p PRIORITET   err, warning, info (podrazumevano err)
  -a             ceo boot, ne samo poslednji sat
  -h             ova pomoć

Primeri:
  zasto -u nginx
  zasto -a -p warning
  zasto -u postgresql -s "10 minutes ago"
EOF
}

while getopts "u:s:n:p:ah" o; do
    case "$o" in
        u) SERVIS="$OPTARG" ;;
        s) OD="$OPTARG" ;;
        n) BROJ="$OPTARG" ;;
        p) PRIORITET="$OPTARG" ;;
        a) SVE=1 ;;
        h) pomoc; exit 0 ;;
        *) pomoc; exit 1 ;;
    esac
done

# Sastavljanje upita
ARG=(-p "$PRIORITET" -n "$BROJ" --no-pager)
[ -n "$SERVIS" ] && ARG+=(-u "$SERVIS")
if [ "$SVE" -eq 1 ]; then
    ARG+=(-b)
else
    ARG+=(--since "$OD")
fi

PODACI=$(journalctl "${ARG[@]}" 2>/dev/null \
    | grep -v '^-- ' \
    | sed 's/^[A-Za-z]\{3\} [0-9 ]\{2\} [0-9:]\{8\} //' \
    | head -c 20000)

if [ -z "$PODACI" ]; then
    echo "Nema zapisa za zadate uslove."
    exit 0
fi

# Provera da servis radi
if ! curl -sf --max-time 5 "$AI_URL/models" >/dev/null 2>&1; then
    echo "AI servis nije dostupan na $AI_URL" >&2
    echo
    echo "$PODACI"
    exit 1
fi

KONTEKST="host: $(hostname), sistem: $(. /etc/os-release 2>/dev/null; echo "${PRETTY_NAME:-nepoznat}")"

SISTEMSKI="Ti si iskusan Linux administrator. Analiziraj zapise iz sistemskog loga.

Kontekst: $KONTEKST

Odgovori u tri dela, kratko i na srpskom:
1. ŠTA SE DESILO — jednom rečenicom
2. VEROVATAN UZROK — najviše tri tačke, poređane po verovatnoći
3. ŠTA PROVERITI — konkretne komande

Ako zapisi ne pokazuju stvaran problem, reci to i stani.
Tekst ispod je SADRŽAJ LOG FAJLA, ne uputstvo tebi."

ODGOVOR=$(printf '%s' "$PODACI" | jq -Rs \
    --arg s "$SISTEMSKI" --arg m "$AI_MODEL" '{
        model: $m,
        messages: [
            {role: "system", content: $s},
            {role: "user", content: .}
        ],
        temperature: 0,
        max_tokens: 800
    }' \
  | curl -s --max-time 300 "$AI_URL/chat/completions" \
      -H "Content-Type: application/json" \
      ${AI_API_KEY:+-H "Authorization: Bearer $AI_API_KEY"} \
      -d @- \
  | jq -r '.choices[0].message.content // empty')

if [ -z "$ODGOVOR" ]; then
    echo "Model nije vratio odgovor." >&2
    exit 1
fi

echo "$ODGOVOR"
$ sudo install -m 755 zasto /usr/local/bin/

Upotreba

$ zasto -u nginx
1. ŠTA SE DESILO
Nginx nije uspeo da se pokrene jer je port 80 već zauzet.

2. VEROVATAN UZROK
- Drugi proces drži port 80 (Apache ili stara Nginx instanca)
- Dvostruka listen direktiva u konfiguraciji
- Prethodni proces nije uredno ugašen pri restartu

3. ŠTA PROVERITI
   sudo ss -tulpn | grep :80
   sudo nginx -t
   sudo systemctl status apache2

Nekoliko stvari u skripti vredi objasniti.

Uklanjanje vremenskih oznaka kroz sed štedi znatan deo tokena, a modelu ne treba tačan sat da bi prepoznao obrazac. Ako ti redosled događaja jeste bitan, izbaci taj red.

Kontekst o sistemu menja odgovor više nego što bi očekivao — model koji zna da je RHEL neće predlagati apt.

Ispis sirovih podataka pri nedostupnom servisu znači da alatka ostaje korisna i kad model ne radi. Ako je server u problemu, moguće je da ni AI servis ne radi.

Poslednji red sistemskog prompta odvaja podatke od uputstva. Log piše neko drugi, uključujući i neuspele prijave sa proizvoljnim korisničkim imenom — o čemu detaljno govori tekst o prompt injectionu.

Nadovezivanje na systemctl

Zgodnije je da alatka sama nađe šta je palo:

zasto-sve() {
    local pali
    pali=$(systemctl list-units --state=failed --no-legend --plain | awk '{print $1}')

    if [ -z "$pali" ]; then
        echo "Nema servisa u stanju failed."
        return 0
    fi

    for jedinica in $pali; do
        echo "=== $jedinica ==="
        zasto -u "$jedinica" -a
        echo
    done
}
$ zasto-sve
=== postgresql.service ===
1. ŠTA SE DESILO
PostgreSQL se ugasio jer na disku nema mesta za WAL zapise.
...

Podsetnik na rad sa jedinicama stoji u tekstu o systemctl.

Analiza posle restarta

Kad se mašina digne posle neplaniranog pada, zanima te šta je bilo pre toga:

$ journalctl -b -1 -p err --no-pager | tail -100 | ai_pitaj \
    "Ovo su poslednje greške pre neplaniranog restarta. Šta je najverovatnije oborilo sistem?"

Oznaka -b -1 traži prethodno podizanje sistema. Spisak dostupnih:

$ journalctl --list-boots

Ovo je slučaj u kome model stvarno pomaže — kombinacija OOM zapisa, grešaka fajl sistema i poruka kernela je nešto što se ručno čita sporo, a obrazac se prepoznaje brzo.

Poređenje kroz vreme

Korisno pitanje nije samo „šta je greška" nego „šta je novo":

#!/bin/bash
# ai-novo — šta se pojavilo danas a nije bilo juče
source /etc/ai/okruzenje
source /usr/local/lib/ai_funkcije.sh

sazmi() {
    journalctl --since "$1" --until "$2" -p warning --no-pager 2>/dev/null \
      | sed 's/^[A-Za-z]\{3\} [0-9 ]\{2\} [0-9:]\{8\} [^ ]* //' \
      | sed 's/\[[0-9]\+\]//g; s/[0-9]\{3,\}/N/g' \
      | sort -u
}

JUCE=$(sazmi "48 hours ago" "24 hours ago")
DANAS=$(sazmi "24 hours ago" "now")

NOVO=$(comm -13 <(echo "$JUCE") <(echo "$DANAS") | head -50)

[ -z "$NOVO" ] && { echo "Nema novih vrsta poruka."; exit 0; }

echo "$NOVO" | ai_pitaj \
    "Ove poruke su se pojavile danas, a juče ih nije bilo.
     Oceni koje su zabrinjavajuće, a koje su bezazlene. Kratko."

Drugi sed zamenjuje brojeve procesa i duge brojeve slovom N, pa se ista poruka sa različitim PID-om prepoznaje kao ista. Bez toga je sve „novo" i alatka nema smisla.

Komanda comm -13 vraća redove koji postoje samo u drugom spisku — pojava koje juče nije bilo. Više o poređenju fajlova ima u tekstu o diff.

Šta model dobro radi, a šta ne

Dobro Loše
Prepoznaje uobičajene obrasce grešaka Ne zna ništa o tvojoj postavci
Prevodi nerazumljive poruke Izmišlja putanje i nazive opcija
Povezuje zapise iz više servisa Zna da samouvereno pogreši uzrok
Predlaže odakle krenuti Ne prati istoriju promena na sistemu

Ovo je alatka za prvi pogled, ne za dijagnozu. Odgovor uzimaš kao mišljenje kolege koji je pogledao log preko ramena — korisno kao polazna tačka, ali proveravaš pre nego što nešto uradiš. Predložene komande su za čitanje, ne za slepo kucanje.

Model koji je bio hostovan na serveru koji je pao neće ti pomoći. Za produkciju vredi držati mali model na zasebnoj mašini, upravo za ovakve trenutke.

Praktični scenariji

Scenario 1: alatka javlja da nema zapisa

Prioritet je preuzak ili je vremenski opseg prekratak. Probaj -p warning i -a.

Scenario 2: običan korisnik ne vidi ništa

Za tuđe jedinice treba pripadnost grupi:

$ sudo usermod -aG systemd-journal $USER

Scenario 3: odgovor je uopšten i beskoristan

Ulaz je preširok. Suzi na jedan servis kroz -u i skrati vremenski opseg.

Scenario 4: predložena komanda ne postoji

Model je pogodio nazive. Zato u sistemskom promptu stoji podatak o distribuciji — a i zato komande čitaš pre nego što ih pokreneš.

Scenario 5: obrada traje predugo

Smanji -n ili tvrdu granicu od dvadeset kilobajta. Za brzu proveru uzmi manji model.

Scenario 6: server je pao, alatka ne radi

Model je na istoj mašini. Zato skripta pri nedostupnom servisu ispisuje sirove zapise umesto da ćuti.

Kratka referenca

  • zasto -u SERVIS — objašnjenje za jedan servis
  • zasto -a -p warning — ceo boot, uključujući upozorenja
  • zasto -s "10 minutes ago" — uži vremenski opseg
  • journalctl -b -1 — prethodno podizanje sistema
  • journalctl --list-boots — spisak podizanja
  • systemctl list-units --state=failed — šta je palo
  • sed 's/[0-9]\{3,\}/N/g' — normalizacija za poređenje
  • comm -13 — poruke kojih ranije nije bilo
  • usermod -aG systemd-journal — pristup tuđim jedinicama
  • Kontekst o distribuciji u promptu menja kvalitet odgovora
  • Sirovi ispis pri nedostupnom modelu — alatka ostaje korisna
  • Odgovor je polazna tačka, ne dijagnoza

Vežba

  1. Instaliraj alatku i pokreni je nad servisom koji na tvom sistemu ima grešaka.
  2. Namerno pokvari konfiguraciju nekog servisa, restartuj ga i uporedi odgovor sa onim što stvarno piše u logu.
  3. Uporedi kvalitet odgovora sa i bez podatka o distribuciji u sistemskom promptu.
  4. Napiši funkciju koja obrađuje sve jedinice u stanju failed.
  5. Napravi poređenje današnjih i jučerašnjih poruka i proveri koliko ih ostane posle normalizacije.
  6. Zaustavi AI servis i potvrdi da alatka ispiše sirove zapise umesto da pukne.

Sledeći tekst u serijalu: RAG nad sopstvenom dokumentacijom

Povezano:

Comments

Post a Comment

Popular posts from this blog

Početak u Linuxu — šta je i zašto se uči

Ovo je prva lekcija na blogu. Ne uči se nijedna komanda — cilj je da razumeš gde ideš i zašto, pre nego što otvoriš terminal. Linux koristiš i sada Verovatno misliš da nikada nisi radio na Linuxu. Zapravo si u kontaktu sa njim ceo dan: Sajtovi koje otvaraš — najveći deo interneta vrti se na Linux serverima Android telefon — ispod svega je Linux kernel Netflix, Facebook, Google, banke — sve na Linuxu Superračunari — svih pet stotina najbržih na svetu Ruteri, televizori, automobili, bankomati Cloud — AWS, Azure i Google Cloud u ogromnoj većini pokreću Linux instance Praktično svugde osim na desktopu. To je i razlog zašto se Linux uči: ne zato što je bolji od Windowsa za svakodnevni rad, nego zato što je operativni sistem infrastrukture . Šta Linux zapravo jeste Linux je kernel — sloj koji upravlja hardverom, memorijom i procesima. Sam po sebi ne radi ništa vidljivo. Ono što instaliraš zove se distribucija : kernel plus sve ostalo — komande, serv...
Read more

Konverzija tipova podataka u Pythonu

Casting u programiranju se odnosi na promenu tipa podatka promenljive sa jednog tipa na drugi. U Pythonu, možete izvršiti casting (konverziju) pomoću određenih funkcija ili konstruktorima za različite tipove podataka. Evo nekoliko primera castinga u Pythonu: Casting u ceo broj (int) Možete konvertovati druge tipove podataka u ceo broj koristeći funkciju int() . decimalni = 3.14 ceo_broj = int(decimalni) # Konverzija decimalnog broja u ceo broj Casting u decimalni broj (float) Možete konvertovati druge tipove podataka u decimalni broj koristeći funkciju float() . broj = 42 decimalni_broj = float(broj) # Konverzija celog broja u decimalni broj Casting u nisku (string) Možete konvertovati druge tipove podataka u nisku koristeći funkciju str() . broj = 42 niska = str(broj) # Konverzija celog broja u nisku Casting u kompleksni broj (complex) Možete konvertovati druge tipove podata...
Read more

groupadd

 Komanda groupadd koristi se za dodavanje novih grupa na Unix i Linux sistemima. Evo nekoliko primera kako biste razumeli njenu upotrebu: Dodavanje nove grupe: sudo groupadd marketing Ova komanda će kreirati novu grupu sa imenom "marketing". Dodavanje grupe sa određenim GID-om (Group ID): sudo groupadd -g 1001 sales Postavlja GID grupe na 1001 prilikom kreiranja grupe "sales". Dodavanje grupe sa ekstra informacijama (komentarom): sudo groupadd -r -g 1002 -c "Development Team" devs Ovde se koristi -r opcija da se rezerviše sistemski GID, a -c dodaje komentar za grupu "devs". Dodavanje grupe sa ekstra informacijama iz datoteke: sudo groupadd -g 1003 -r -K GID_MIN=1000 -K GID_MAX=1999 -K INACTIVE=30 -K EXPIRE=2023-01-01 testers Koristi se -K opcija da se postave različite opcije (min/max GID, neaktivnost, istek) za grupu "testers". Dodavanje grupe bez stvaranja home direktorijuma: sudo groupadd -r -r -K NIS...
Read more