Mi consejo es que uses las herramientas de desarrolladores de Google, en la pestaña "Lighthouse" encuentras las herramientas para hacer un reporte de la aplicación o sitio web que estás creando.
Entre otras cosas te da los indicadores de la PWA... si la progressive web app es instalable te lo va a decir ahí, en la clasificación "Installable".
En principio los requisitos que comentas son los que hace falta, tener el service worker y tener el archivo manifest, pero no todos las configuraciones de service workers o de manifest son válidas para tener una aplicación instalable. Hecha un vistazo en Lighthouse y seguramente te de la clave de lo que te falta.
Quizás si no, busca un servicio de verificación del manifest o del service worker a ver si son correctos, aunque imagino que eso mismo te lo validará el propio lighthouse y te dirá los posibles problemas que pueda encontrar en ellos.
Cuéntanos cómo te ha ido.