El proceso de "instanciar" en programación orientada a objetos es cuando, a partir de la definición de una clase, se crea un ejemplar determinado de objeto de esa clase.
Eso es así en cualquier lenguaje de programación. "Instancia" equivale a "Ejemplar". La clase es el libro que define los objetos de un tipo. Por ejemplo la clase tigre define todos los tigres del mundo. Por su parte, cuando vas a un zoo y ves un tigre concreto, un ejemplar de tigre, eso sería una instancia.
Por tanto tu pregunta "¿En Java una instancia de una clase es un objeto?", la respuesta es un rotundo SÍ.
Por otra parte para tu pregunta "Que diferencia hay entre instancia de clase e instanciar una clase":
- Instanciar una clase es un verbo, por lo tanto es una acción. Es el proceso por el cuál se crea un ejemplar (instancia) de un objeto a partir de la definición de la clase.
- Instancia de clase es un sustantivo, por lo tanto se refiera a algo concreto. Una Instancia de una clase "x" es un objeto de esa clase "x".
Te recomiendo leer el Manual de Programación orientada a objetos para aclarar más conceptos. Te recomiendo que no dejes pasar el vídeo que hay en el primer artículo del manual: Fundamentos de la Programación orientada a objetos, que te ayudará bastante para establecer conceptos sólidos.
Saludos