Glömt att ändra adress när jag flyttade utomlands

Jag flyttade utomlands för nästan 4 år sedan och skulle göra en säsong på en skidort i schweiz. Men efter en säsong så blev det en till, och en till, tills jag nu är uppe i nästan 4 år (efter sommaren). Men, naiv som man var, så har jag helt glömt bort att anmäla flytt utomlands. Jag har också fått mina deklarationer till min familjs adress och deklarerat 0 i och med att jag jobbar utomlands och skattar fullt här i schweiz. Jag känner själv att jag inte har kollat upp allt det här tillräckligt noga...

Det jag skulle vilja veta är om skatteverket kommer kräva skatt från dessa 4 åren?... Jag har jobbat här både vinter och sommar säsongerna men under maj och november månad är mitt jobbställe stängt och jag kan därmed inte jobba. Jag har då varit ute och rest istället. 

Vet ni även hur det är med att skriva in sig i försäkringskassan hemma i sverige igen? Jag har nämligen blivit borttagen från den.

Tack för svar