Wie ist denn das Umgangsrecht geregelt?
Also ich meine wie viel Zeit steht ihm denn zu? Eigenltich mag ich diese Formulierung nicht - das klingt immer wie eine Sache. Wenn die fünf Stunden rechtlich festgehalten wurden, kannst Du ja wirklich einfach erst dann zu Hause sein. Mit dem Zurückbringen ist es natürlich schwieriger. Aber dann hast Du es schon mal ein bisschen reduziert. Und wenn er zu spät zurückkommt, sprich ihn drauf an. Nicht als Vorwurf sondern so nach dem Motto "ich hatte mich eigentlich darauf verlassen, dass ihr dann und dann wie abgemacht wieder da seid. Jetzt musste ich einen Termin absagen." Freundin zum Abendessen treffen oder so, muss ja nichts großes sein. So kannst Du ihm klar machen, dass er sich an Verabredungen halten muss.
Wenn die Zeiten nicht so klar geregelt sind, wird es natürlich schwieriger. Aber auch dann kannst Du erst nur "normalen" Zeit da sein. Gewohnheitsrecht. Und frag ihn dann auch, wann er wieder da ist.
Ansonsten kannst Du versuchen über das Jugendamt eine entsprechende Regelung zu finden. Die haben eigetnlich immer ein offenes Ohr, wenn Du nicht egoistisch auftrittst. Du könntest dort zum Beispiel so kommen: Krankheitsbedingt verkraftet mein Sohn die langen Aufenthalte beim Vater nicht. Es tut dem Kind merklich nicht gut. Ich möchte deshalb eine Änderung des Umgangs vorschlagen. Maximal 4 Stunden am Stück, dafür nicht nur alle zwei Wochen sondern jede Woche einen Termin (eventuell auch unter der Woche).
Normal müsste das JA darauf eingehen. Und für Deinen Sohn hat es nur Vorteile: Er wird nicht so gestresst und hat gleichzeitig engen Kontakt zum Vater, was ja auch wichtig für ihn ist. Vielleicht setzt ein Gewöhnungsprozess ein, so dass er langfristig auch länger bei seinem Vater bleiben kann. Das ist auf jeden Fall im Interesse des Kindes und daher solltest Du beim JA auch Unterstützung finden.