Hola. Yo he podido abrir popups sin problemas desde un IFrame. Se abren exactamente igual a como lo harías sin contar con los frames.
Seguramente haya algo que no estés haciendo bien, o muy probablemente, tengas bloqueados los popups por algín software. Fíjate que no estén bloqueados en tu navegador. En Internet Explorer, esto puede ocurrir porque tengas instalada la barra de Google, la de Alexa o el Service Pack 2 de Windows XP. También se pueden bloquear si estás navegando con Firefox, pues justamente tiene una opción para ello.
He hecho un código de prueba para comprobar si podía abrir el popup y todo ha funcionado sin problemas.