Samuel,
¿ El mensaje llega a vuestro servidor en cuanto lo envía el usuario de gMail ? Si no os llega directamente, el motivo del retardo sería achacable a los servidores de Google.
Un saludo