Debes ver si ese reproductor flash que tienes permite acceder a sus metodos por medio de javascript, ese player que mencionas no lo he usado, pero si he usado el
JW FLV Player, ese te permite acceder por Javascript a sus metodos para controlar lo que reproduce, en ese si se puede detener el sonido por medio de javascript, en tu caso al abrir el popup tambien ejecutarias una funcion en javascript que detenga lo que reproduce el player. Tendrias que revisar la documentacion del tuyo y ver si se puede hacer eso.