Oui, car sans affichage régulier le délai de recours des tiers ne court pas. Le risque de recours reste ouvert tant que le panneau n'est pas en place.
Les articles R. 424-15 et R. 600-2 du Code de l'urbanisme font débuter le délai de recours des tiers au premier jour d'un affichage continu et régulier. Tant que le panneau n'est pas posé, ce délai de deux mois ne démarre pas et un voisin conserve la possibilité de contester le permis, y compris après vos travaux de terrassement.
Vous commencez à décaisser le terrain mais aucun panneau n'a été installé. Vous prévenez le maître d'ouvrage : sans affichage, le délai de recours ne court pas et un recours tardif reste possible.