Bergverk

Ett underjordiskt garageprojekt: en svensk språkmodell som tränas på ett enda grafikkort.

−40 m

Vad är det här?

Bergverk är ett hobbyprojekt som bygger en svensk chattbot hemma. Själva modellen är liten, runt 19 miljoner parametrar, så liten att den tränas på ett vanligt grafikkort på 45 minuter.

Bredvid den ligger stora uppslagstabeller som inte får plats på grafikkortet. De ligger i datorns minne och på SSD-disken. Modellens attentionlager väljer vilka rader som ska hämtas, och tabellen lär i sin tur attentionlagret var den ska titta.

−120 m

Läget i gruvan

Bästa loss
1,919 nats per token, eller 0,769 bitar per byte, på text ur svenska Wikipedia som modellen aldrig sett.
Grafikkort
Ett RTX 5060 Ti med 16 GB.
Två tabeller med 67 miljoner rader var.
Chattboten
På väg. Den svarar redan på flytande svenska men hittar ofta på fakta.

Uppdaterat 13 oktober 2026.

−300 m

Korpusen

Här är allt modellen tränas på. Ta det och bygg något eget.

  • svwiki-2026-03.txt.gz 508 MB, 1,9 GB uppackat Svenska Wikipedia som ren text, dump från mars 2026. Varje artikel börjar med <|doc|> följt av rubriken, och varje stycke står mellan <|par|> och <|/par|>. sha256 5946c52c255a9578bb0ee3b12ff1ed41a9f9272f95156cdc85f4f9cc270124d4
  • chatt-sft.jsonl.gz 59 kB, 179 kB uppackat 1 018 korta samtal på svenska, ett per rad: {"user": …, "assistant": …}. Används för att lära modellen att svara. sha256 088d368f492fa8af5887e9312e3d95273ed6f8d4d4b1adef59f4b5ca601a0388
  • preferenser-dpo.jsonl.gz 10 kB, 29 kB uppackat 100 preferenspar: en fråga, ett bra svar och ett sämre. Används för DPO. sha256 c95a0260277ea5fa258c5765f32df81594367c2e13b1d7036536a8d61e1c1111
  • tokenizer-8192.tar.gz 100 kB, 230 kB uppackat SentencePiece-tokenizern (BPE, 8 192 tokens) som modellen använder, tränad på samma text. sha256 af4183a27b8d449deb01f67622c6bc87bebb0de5b4683840054099fd99801195

Packa upp och kontrollera:

sha256sum -c SHA256SUMS
gunzip svwiki-2026-03.txt.gz
tar xzf tokenizer-8192.tar.gz

Kontrollsummorna finns också i SHA256SUMS.

Wikipediatexten kommer från svenskspråkiga Wikipedia och får delas under CC BY-SA 4.0. Ange Wikipedias skribenter som källa och dela vidare under samma licens. Se LICENS.txt.