En MySQL existe un operador -is null- o –is not null- que te puede dar todos los registros que son null o los que no lo son. Se utiliza de esta manera:
select * from cliente where telefono is not null
Esa setencia selecciona todos los registros de la tabla cliente donde el teléfono no es nulo.