Dessous de fenêtre

Bonjour,
Je compte remplacer quelques fenêtres de mon appartement. (Nous n'y vivons pas encore)
J'ai emprunté une camera thermique, je l'ai testé il y a quelques jours sur le mur dans lequel les fenêtres sont situées. Le mur est plein sud et on voit des zones horizontales assez chaudes en dessous de chaque fenêtre (voir photo)
Ces zones ont aussi connu quelques infiltrations d'eau provenant des fenêtres.
Les fenêtres actuelles sont en bois et en très mauvais état. Ce sont des fenêtres "bas de gamme" que nous comptons remplacer.
Du fait de ces zones vraisemblablement mal isolées en dessous des fenêtres, je voulais savoir si je devais entreprendre une démarche complémentaire au remplacement de fenêtre, calfeutrement spécial ou autre ?
Merci d'avance pour vos conseils