Bueno, la velocidad de carga de las páginas es proporcional al espacio que ocupan (en bytes) sus archivos, tanto los HTML como las imágenes. A más peso de imágenes y archivos HTML, más tardará en cargar tu sitio.
Sin embargo, en tu caso apuntas que tu sitio es poco pesado o que, por lo menos, utiliza pocas imágenes y muy pequeñas. Eso hace suponer que los problemas lleguen por otra parte. Te paso unas ideas de por qué puede pasar, no puedo saberlo a ciencia cierta, pero estas son algunas posibilidades:
Es normal que los servidores gratuitos sean más lentos, aunque no tienen porque serlo todos, eso depende de la conexión a Internet del servidor y su grado de uso (generalmente los servidores gratuitos están saturados en su uso).
También puede que el servidor tuyo esté en un lugar físico más alejado, con respecto a tu ordenador, que el de DesarrolloWeb y la información tenga que viajar mucho para llegar hasta tu sistema.
Si trabajas con CSS e incluyes los estilos desde un fichero a parte (Mirar manual de CSS) el código fuente siempre va a ser más reducido y, por tanto, menos pesado. Otros lenguajes como PHP o ASP no ayudan en nada a que las páginas sean más reducidas en peso. Otra cosa, si tienes scripts en Javascript que vayas a utilizar en muchas páginas es mejor separarlos a un archivo a parte e incluirlo en cada página que utilice dichos scripts (mirar cómo colocar scripts en el manual de Javascirpt).
Incluir los estilos CSS y los Javascript en archivos externos, por si no lo sabes, sirve para descargar la página de el código de los estilos y los scripts. La primera vez que se accede al sitio se descargarán la página y todos los archivos externos que se incluyan y en las siguientes visualizaciones de esta u otras páginas del sitio, se tomarán los archivos de la caché del navegador, evitando que se tengan que volver a transferir por la Red.
Más cosas que se me ocurren sobre la marcha, es que en DesarrolloWeb.com en realidad no utilizamos muchas imágenes. En realidad son pocas y además se repiten en todas las páginas. Así, la primera vez que se visita, el navegador descarga todas las imágenes y en adelante obtiene siempre las imágenes de la caché.