Auch wenn die Frage jetzt schon eine Weile her ist, dachte ich mir, dass es für eventuell interessierte zukünftige Leser interessant wäre zu wissen wie die Sache nun ausgegangen ist. Nach der hier erhaltenen Antwort war ich immer noch etwas skeptisch und habe mich mit dem Finanzamt in Verbindung gesetzt, um für endgültige Aufklärung zu sorgen. Dort wurde mir gesagt, dass in meinem Fall (d.h. nur 5 von 12 Monaten in Deutschland gelebt und gearbeitet) meine Besteuerung (in Deutschland) auch nur in diesen 5 Monaten relevant ist. In den restlichen Monaten zahle ich meine Steuern in der Schweiz bzw. in Schweden. Entsprechend hatte ich das dann auch in meiner Steuerklärung berücksichtigt. Nach einigen Wochen kam jedoch die Nachfrage vom Finanzamt nach meinen (mutmaßlich nicht relevanten) Lohnabrechnungen aus der Schweiz und aus Schweden. Diese reichte ich dann entsprechend nach. Vor einer Woche ist schließlich mein finaler Steuerbescheid eingegangen, in welchem sich dann nochmal endgültig bestätigte, was mir zuvor schon vom Finanzamt mitgeteilt worden war: ich habe in Deutschland nur für 5 Monate Steuern gezahlt, in denen ich auch in Deutschland gearbeitet habe und gemeldet war. In den anderen Monaten habe ich meine Steuern in Schweden / in der Schweiz gezahlt.

Die genauen Hintergründe (wie dieses Szenario nun zustande kam) habe ich allerdings noch nicht begriffen und ich kann daher nur für diesen einen speziellen Fall sprechen. So wie es aussieht hätte sich die Situation grundlegend geändert, wenn ich 6 Monate in Deutschland gearbeitet+gelebt hätte.

Ich hoffe diese Antwort ist eventuell für andere Leute in der Zukunft hilfreich.