Es cierto que Lumen, como micro-framework podría adaptarse a tu proyecto, pero no por ser un micro-framework puede que sea mejor para ti.
Mi experiencia usando Lumen es bastante corta, pero te comento que al instalarlo (justamente pensando que se adaptaría bien a un proyecto pequeño) y comenzar a usarlo, rápidamente me di cuenta que no tenía muchas de las cosas que me he acostumbrado a usar en Laravel. Por tanto, no me sentía confortable. Antes de avanzar por ese camino y tratar de adaptarme, decidí dejarlo al lado y usar Laravel. Al final de cuentas pensé que adaptarlo a lo que necesitaba me iba a dar más trabajo del que pensaba.
De todos modos, para tu caso concreto, de la creación de un sistema de API REST, no creo que te tenga que preocupar usar Laravel, ya que en las últimas versiones han hecho mucho trabajo para mejorar ese aspecto.
De hecho, ahora en Laravel las rutas de API van por un sistema distinto que las rutas de la web, de modo que al ejecutar endpoints vas a tener un procesamiento menor, puesto que algunas de las cosas necesarias para responder con HTML se han desactivado en las rutas de API. Es por ello que creo que hoy usar Laravel y usar Lumen no tiene mucha diferencia, al menos en lo que respecta a rendimiento.
Como con Laravel vas a tener todo lo que necesites, no veo realmente una ventaja relevante que te lleve a usar Lumen en vez de Laravel.