Puedes usar las reglas de seguridad de Firebase Storage, pero una vez has autorizado el acceso al archivo, me temo que no puedes hacer nada con respecto que este usuario comparta la URL, al menos nada que sea inmediato.
Si bien es cierto que, mediante las reglas de seguridad de Firebase Storage puedes decidir si un usuario puede o no puede acceder a ciertos archivos, una vez que le has proporcionado la URL para la descarga, el usuario podría hacer cualquier cosa con ella, como distribuirla para entregarla a otras personas.
En ese sentido es un inconveniente, por lo menos hasta donde yo sé. No sé si recientemente han dado alguna solución, ya que Firebase recibe constantes actualizaciones.
Se me ocurren dos soluciones.
La primera es que uses cloud functions, para que valides en el servidor el permiso para acceder al contenido. (Cloud functions podría valer, así como cualquier servidor donde puedas usar NodeJS con el SDK de Firebase Admin). Así pones un control por el medio antes de entregar el archivo, que te permita hacer que ese enlace solo funcione en las condiciones que necesites, para el usuario que realmente tenga permiso.
La segunda sería usar algún tipo de componente que permita visualizar el contenido sin exponer la URL. Como un reproductor de vídeo que controles tú mismo y que no ofrezca esa opción de descarga, o la oculte. Aunque en este caso imagino que un usuario avispado siempre podría ver la URL de algún modo con las herramientas de desarrolladores, por ejemplo.