Existe una configuración no documentada que nos sirve justamente para este tema y que resulta realmente útil cuando vas a hacer un sitio web con Hugo en español o en otros idiomas latinos.
removePathAccents = true
Esa configuración hace que las URL de las páginas generadas con Hugo no tenga el problema de contener acentos o tildes.
Se pone en el archivo de configuración global: /config.toml
baseURL = "https://example.com"
languageCode = "es"
title = "Mi Sitio Web"
removePathAccents = true
La faq la he posteado porque no se encuentra documentada esta opción actualmente y seguro que le viene bien a otras personas que estén queriendo resolver este mismo asunto de las tildes.