¿Poner enlaces salientes relacionados con mi temática afecta negativamente al SEO?

Efectivamente, puede afectar al posicionamiento de tu web, por varios motivos. Pero antes de nada, cabe decir que todos los efectos no tienen por qué ser negativos, aunque en regla general los enlaces salientes siempre son menos deseables que los enlaces entrantes.

Pros:

• Un enlace saliente refuerza el tema de lo que estás hablando en la web.
• Si estás enlazando con una web muy reconocida, como la Wikipedia, entonces el enlace es más que relevante y no creo que afecte negativamente.
• Además, tienes la opción de colocar el atributo "rel nofollow" con lo que minimizas el posible efecto negativo de transferir ranking de tu página hacia otras.

Contras:

Ahora, centrándonos en los posibles efectos negativos que has dejado constancia, podría destacar estos puntos.

• Un enlace saliente transfiere ranking hacia la otra página. Incluso aunque pongas el mencionado "nofollow", google puede entender que es un voto positivo hacia otra web. Pero no debemos entender eso como que se pierda el poder de tu página, sino con el hecho de que tu página está asignando puntos hacia otra. Está transfieriendo cierta notoriedad a otros, no por ello perdiendo notoriedad ella. Por este punto se entiende que no deberías poner enlaces hacia tu competencia, nada más. ;)
• El mayor contra en el abandono del usuario viene por el coeficiente del porcentaje de rebote. Eso es, el número de usuarios que visitan tu sitio y vuelven al lugar de donde vinieron, o que visitan una única página de tu web. Ese porcentaje de rebote lo ideal es que se mantenga bajo, lo más bajo posible. Todo depende del sitio que tengas, ese porcentaje será naturalmente mayor o menor. Pero lo que sí es claro que, de seguir navegando el usuario es preferible que lo haga por una página interna (dentro de tu propio sitio) que se vaya a una página web externa. Una vez que el usuario ya ha visitado varias páginas de tu sitio, es normal que se vaya y no sería considerado un rebote.
• Ya en términos lógicos y no tanto en posicionamiento, cuando el usuario se va a otra web, has perdido la visita, por lo que ese posible cliente (si es que vendes algo, por ejemplo) lo estás dejando pasar. Este tema lo puedes mitigar parcialmente haciendo enlaces que se abran en una nueva pestaña como target="_blank"

Afectar claro que afecta. Pero no necesariamente sería negativo.

Los son un punto delicado en lo que se llama SEO in-site, pues regulan el ranking de resultados entre sitios web. Pero un enlace saliente a un sitio relevante nunca ha de ser considerado un problema.

Ahora, si empiezas a colocar enlaces indiscriminadamente hacia webs que no tienen ninguna relación con tu contenido, seguramente se considerarán como spam y rebajará la calificación de tu sitio.