Las diferencias aparecen relatadas en la documentación de PHP, deberías haberlas encontrado. No obstante, como CGI indica que PHP se instalará como si fuera un progama CGI, con las desventajas que ello supone en el rendimiento.
Pero sobretodo, la diferencia de instalar como CGI en lugar de módulo de Apache es que CGI es mucho más inseguro. Valdría para una instalación de PHP local y para hacer todo tipo de pruebas, pero si queremos poner el servidor online, deberíamos instalar PHP como módulo.
Además, creo que la versión CGI está un poco recortada y no contiene algunas extensiones de PHP que podrían ser interesantes