Ändring av skatt i efterhand vid bosättning utomlands

Jag driver en enskild firma och har under de senaste 2 åren huvudsakligen vistats i Tyskland. Jag har en bostad i Sverige och har varit i Sverige regelbundet under de senaste åren där jag också är skriven, men har varit i Tyskland mer än 6 månader per år. Detta bör innebära att jag är skattskyldig i Tyskland.

När jag begav mig till Tyskland kontaktade jag Skatteverket för att kontrollera om det var möjligt att fortsätta driva den enskilda firman och betala skatt i Sverige, trots att jag under en begränsad tid (cirka 1 år, som jag trodde då) skulle vistas huvudsakligen i Tyskland, men fick inget entydigt svar och hörde sedan inget från dem om detta. Eftersom utlandsvistelsen nu blivit längre än planerat (kommer återvända till Sverige på heltid nästa år), undrar jag om jag inte borde betala skatt här.

Min fråga är således: Kan Skatteverket bli tvunget att betala tillbaka den skatt (och egenavgifter?) jag betalt för dessa år, om jag blir tvungen att betala skatt i Tyskland?

Mycket tacksam för svar!