Si no has configurado la opción "reply-to", el mensaje se contestará en la dirección configurada como "from". Si no tienes siquiera la opción "from", el mensaje vendrá desde la dirección que haya configurada en el sistema de envío de mensajes, que se define dentro del php.ini.
Por lo tanto, si no quieres que te contesten en la dirección desde donde envías, deberías poner en la opción "reply-to" alguna donde sí puedan contestarte. Si quieres que no se conteste ese correo, simplemente pon en el mensaje algo como "Por favor, no conteste este correo. No atenderemos ningún mensaje de respuesta".
Si no tienes el reply-to probablemente tu mensaje pueda ser más suscetible de tratarse como spam por algún sistema. También me ha ocurrido en algún proveedor de alojamiento que, si no se ponen todas las configuraciones del mensaje (como el reply-to), el servidor no enviaba los mensajes.
Por ello, es mejor que pongas todas las header de los email que envias.