En række spørgsmål om modellen og jeres planer

[mindplay-dk]

Hej,

Jeg har lige prøvet at køre modellen (danish-foundation-models/munin-7b-alpha-Q8_0-GGUF) og vil blot sige, at jeg synes den er overraskende velformuleret på dansk!

Jeg har afprøvet en del af de populære "små" modeller, og de laver alle samme grammatiske fejl (f.eks. en/et) og middelmådige formuleringer i det hele taget - modellen her virker umiddelbart meget bedre til dansk. (Den eneste model jeg har set der måske er bedre, er ChatGPT.)

Jeg er blot bruger af LLMs - har bygget nogen agentiske workflows osv... min forståelse af detaljerne er overfladisk. 😅

Jeg har en del spørgsmål:

• Er der nogen udsigt til en instruktions-trænet model der vil kunne bruges i workflows på dansk?

• Er der nogen planer om en større model?

• Findes der i det hele taget tilstrækkelige mængder dansk indhold til at træne en større model?

  • Eller hvorfor findes der ikke en åben model på dansk endnu?

  • Hvis der ikke findes tilstrækkeligt indhold, kunne man forestille sig at lave en mindre model, som er god nok til, at den kan oversætte fra engelsk - så man kunne lave et større syntetisk datasæt på dansk?

• Er der nogen planer om at træne en base model på dansk og engelsk?

  • Jeg tænker, at der er jo meget indhold, som kun findes på engelsk - og sprogmodeller har, så vidt jeg forstår, evnen til at abstrahere (i nogen grad) fra sprog?

  • Dansk i det hele taget er i stigende grad fyldt med engelske ord og udtryk - måske en to-sproget model vil opnå en bedre forståelse for de ord og koncepter, vi låner fra engelsk?

  • Sprog opgaver i det hele taget kræver ofte et to-sproget model - f.eks. er mange jobopslag i Danmark på engelsk, og vi har mange brugere i Danmark, der kun taler engelsk. Mon ikke en to-sproget model ville have flere anvendelser?

Håber nogen har lyst til at svare på nogen af alle mine spørgsmål. 😅

Jeg har fulgt udviklingen af LLM tæt fra starten og undrer mig fortsat over, at vi skal hænge på en Amerikansk virksomhed's tjeneste for at få en LLM der kan begå sig bare nogenlunde på Dansk. Jeg har et par ideer til nogen projekter, der bl.a. af data privacy (og etiske) hensyn nok ikke burde udvikles med en stor Amerikansk virksomhed som data ansvarlig og tjeneste udbyder. ☺️

Men fedt at se, at ét eller andet rør sig på den front! 😄

[rlrs]

Hej, tak for interessen. Jeg skal prøve at besvare dine spørgsmål kort.

• Der kommer nok ikke en instruktions-trænet model fra vores side foreløbigt. Dog er der andre initiativer som arbejder med at bygge datasæt til at træne sådan en model, og jeg vil gætte på at de sikkert gerne vil træne en model baseret på fremtidige udgivelser fra os.
• Større modeller på sigt ja, bedre modeller af samme størrelse forhåbentligt snart.
• Vi arbejder hårdt på at skaffe data, så meget kan jeg sige.
• Indtil videre har vi arbejdet med modeller der allerede kan engelsk, og jeg tror ikke vi kommer til at droppe engelsk helt uanset hvilke modeller vi udgiver i fremtiden.

Håber det svarede nogenlunde på dine spørgsmål.

[mindplay-dk]

• Indtil videre har vi arbejdet med modeller der allerede kan engelsk, og jeg tror ikke vi kommer til at droppe engelsk helt uanset hvilke modeller vi udgiver i fremtiden.

Skal det forståes sådan, at modellen er trænet i dansk ovenpå en model, der allerede var trænet på engelsk?

Kan man det? Hvis det skal fungere, skal man så ikke have både dansk og engelsk indhold, med når man træner videre? Ellers retter modellen sig vel ind på dansk i stedet for engelsk? Hvis den skal være tosproget skal den vel trænes på begge sprog på samme tid?

Jeg har ikke kunne få modellen her til at skrive noget på engelsk, og gik derfor ud fra den var trænet fra bunden op på dansk.

[saattrupdan]

Hej Rasmus,

Jeg kan lige komme med et par svar på dine opfølgende spørgsmål 🙂

Skal det forståes sådan, at modellen er trænet i dansk ovenpå en model, der allerede var trænet på engelsk?

Jeps, det er lige præcis, hvad vi har gjort. Mere præcist bygger vi ovenpå Mistral AI's 7B model.

Kan man det? Hvis det skal fungere, skal man så ikke have både dansk og engelsk indhold, med når man træner videre? Ellers retter modellen sig vel ind på dansk i stedet for engelsk? Hvis den skal være tosproget skal den vel trænes på begge sprog på samme tid?

Det har du til dels ret i, jo. Det danske vil langsomt "fylde mere" for modellen, så den vil være mere tilbøjelig til at skrive på dansk. Dog glemmer den aldrig rigtig helt det engelske, så der kan stadig snige sig engelsk ind engang imellem. Hvis man gerne vil have, at den er lige så god til at skrive på begge sprog, så kan man blande begge sprog ind i træningsdata, det har du ret i. Vi har dog finjusteret vores model baseret fra erfaringer fra det her paper omkring "Continual Learning", som minimere "skaden" på det den har lært tidligere (som fx at skrive på engelsk).

[mindplay-dk]

Interessant. 🙂

Hvis den på sigt bliver instruktions-tunet, bliver den formentlig mere villig til at skrive på engelsk? Måske forudsat, at den er instruktions-trænet på to sprog - og med eksempler på instruktioner, hvor brugeren beder om et bestemt sprog?

Hvad er egentlig formålet med, at træne en base model, uden at gå videre og instruktions-tune den? Kan man bruge en base model til noget praktisk? andet at træne den til at følge instruktioner, eller andre opgaver.

Altså, jeg er med på, at den kan fortsætte tekst, men det ser ikke ud til at den har en stop-token, den skriver bare i ét væk? Så formentlig er modellen kun tænkt som en base model, der skal fine-tunes?

Mit indtryk var, at selve base modellen er den kostbare/besværlige del af at lave en model, er det ikke korrekt? Der er jo masser af fine-tunes derude, som bare er lavet af enkelt personer på en GPU cloud på nogen timer - men der er ganske få nyttige base modeller, og næsten slet ingen på dansk.

Jeg undrer mig bare over, at man har lavet det dyre/tunge arbejde, og så ikke har en plan for at instruktions-tune? 🙂

Tag det ikke som nogen kritik! Jeg prøver bare at forstå baggrunden for projektet - i må jo have haft et budget, eller adgang til noget compute, der er allokeret til sådan et projekt? Er det forskning, eller universitets arbejde, eller lignende? Er selve fine-tuning delen ikke et relevant mål for det samme arbejde eller hvorfor stopper man der?

Undskyld hvis det er for mange spørgsmål. Står jer frit for at ignorere mig. Jeg er bare nysgerrig. 😅

[saattrupdan]

Instruktionstuning er helt sikkert et vigtigt element, men det giver god mening også at udgive base-modellen, for netop at gøre det muligt for folk at bygge videre på modellen (hvor instruktionstunede modeller kan være mere "låst" pga ekstra tokens tilføjet mv). Vi bliver nødt til at vælge et fokus, og har valgt at fokusere på den mere tidskrævende og dyre prætræning.

De fleste vil ret let kunne finetune modellen til et givent datasæt - vi har endda udgivet en guide til hvordan man kan gøre dette.

Bemærk dog, at de fleste åbne instruktionsdatasæt er ikke-kommercielle (alt, der er bygget på OpenAI outputs, som er næsten dem alle sammen), så du ender ud med ikke-kommercielle modeller. Det er vi som udgangspunkt mindre interesseret i, så den har vi parkeret fra vores side af, for nu.