Model Card for Model ID gemma-4-E4B-it.Q8_0-med.gguf

Gemma-4-E4B with a medical layer.

Model Details

Model Description

Gemma 4 E4B Med is getraind met een in het Nederlands vertaalde MedAlpaca Het is verbazingwekkend acuraat en bij uitstek geschikt voor gebruik met RAG. Ik heb ook een E2B versie beschikbaar te vinden onder

Dit is werk dat ik als vrijwilliger doe voor Impuls en Woortblind

• Developed by: @roelfrenkema
• Funded by [optional]: Ik zoek funding.
• Model type: Gemma 4 E4B
• Language(s) (NLP): NL
• License: Apache
• Finetuned from model [optional]: Gemma 4 E4B

Uses

Gebruik de Modelfile voor Ollama (nieuwste versie) of llama.cpp etc.

Bias, Risks, and Limitations

Disclaimer

Training Details

Training Data

training:
  max_seq_length: 2048
  num_epochs: 1
  learning_rate: 0.0001
  batch_size: 1
  gradient_accumulation_steps: 8
  warmup_steps: 100
  max_steps: -1
  save_steps: 500
  eval_steps: 0
  weight_decay: 0.001
  random_seed: 3407
  packing: false
  train_on_completions: true
  gradient_checkpointing: unsloth
  optim: adamw_8bit
  lr_scheduler_type: cosine
lora:
  lora_r: 16
  lora_alpha: 32
  lora_dropout: 0
  target_modules:
    - q_proj
    - k_proj
    - v_proj
    - o_proj
    - gate_proj
    - up_proj
    - down_proj
  use_rslora: false
  use_loftq: false
  finetune_vision_layers: true
  finetune_language_layers: true
  finetune_attention_modules: true
  finetune_mlp_modules: true

Training Procedure

UNSLOTH

Mijn eerste DOI

Een wetenschappelijke bijdrage met een op het nieuwe Gemma 4 gebaseerde model voor medische en psychiatrische Nederlandstalige AI.

Weken inzet en werk met een mooie afsluiting. Trots op. En hier blijft het natuurlijk niet bij. Het is vooralsnog een beta versie die alleen een helpertje is voor de ADHD database die ik aan het opzetten ben. Een lego stukje in het geheel.

Update: er was nog een voorlopertje kleine bijdrage aan de wetenschap maar ik pak hem toch 😁

Synchroniciteit

Synchroniciteit is een concept dat is bedacht door de Zwitserse psycholoog Carl Jung. Het beschrijft "zinvolle toevalligheden":

twee of meer gebeurtenissen die tegelijkertijd of vlak na elkaar plaatsvinden en duidelijk een betekenisvolle connectie met elkaar hebben, maar waarbij de ene gebeurtenis niet de oorzaak is van de andere.

Een klassiek voorbeeld: je denkt ineens intens aan een oude vriend die je in geen jaren hebt gesproken, en exact op dat moment gaat je telefoon en is hij het. Er is geen logisch oorzaak-gevolg verband (jouw gedachten hebben zijn telefoon niet geactiveerd), maar de samenloop van omstandigheden voelt op dat moment uiterst betekenisvol.

Kort samengevat: het is de ervaring van een onverklaarbaar, maar zeer passend toeval waarbij de buitenwereld even perfect lijkt af te stemmen op je binnenwereld.