Nu åtalas han för grov egenmäktighet med barn och olaga hot, rapporterar P4 Kalmar.
Enligt ett av barnen togs de fem syskonen först till Turkiet. Där ska pappan ha sagt att deras farfar var sjuk och att de därför var tvungna att åka vidare till Syrien.
Barnen är fortsatt kvar i Syrien, medan pappan är i Sverige.