Las diferencia entre un alojamiento Windows y un alojamiento Linux consiste básicamente, como dices, en el sistema operativo del servidor donde va a estar tu página web. Ambos servidores, tanto en uno como en otro sistema, tienen instalados programas para hacer de servidor web, por lo que realmente tu página sería servida igualmente tanto desde un sistema o desde otro y las personas que visiten tu web en principio no van a notar nada.
Ahora bien, detrás del sistema operativo hay una serie de tecnologías que cambian. Porque los servidores web que se utilizan en Linux son distintos que los que se utilizan en Windows. De la misma manera, las tecnologías de programación también difieren, aunque en algunos casos podrían ser incluso las mismas. Mientras que en Linux se suele utilizar PHP en Windows se tiene posibilidad de programar en ASP o .NET. Con las bases de datos ocurre lo mismo, suelen diferenciar las que se utilizan en uno y otro sistema.
Así que digamos, si tu página web no va a tener ningún lenguaje de programación o base de datos, pues te puede dar un poco igual en que sistema operativo tengas alojada tu web. Se suele decir que el sistema Linux con el servidor web Apache es más estable que el sistema Windows con su servidor web IIS. Además, muchas veces los alojamientos Windows son más caros, así que podrías decantarte por un hosting Linux, puesto que no en vano el tandem Linux-Apache es líder del panorama de servidores web.
Si tu página va llevar una base de datos, con programación del lado del servidor, entonces todo depende de las tecnologías con las que prefieras trabajar. Si quieres programar, por ejemplo, en .NET te decantarás por un Windows y si quieres utilizar, por ejemplo, PHP te interesará más un Linux.