Bienvenida a los sufridores de las modales BootStrap con xPages.
Yo he decidido no usarlas porque salvo que sea para algo meramente informativo, cualquier interaccion con variables Scope, o el documento que queda atras se pierde como dices tu tienes que refrescar todo y lo hecho se pierde.
Al final que hago??
Uso xe:dialog estandar pero lo "maquillo" con los estilos bootstrap, aqui te dejo un ejemplo de lo que hablo
http://www.bootstrap4xpages.com/bs4xp/site.nsf/article.xsp?documentId=F7E581AA0B402846C1257B6B004582A1&action=openDocument
Ya nos diras si lo consigues de todas maneras de otra manera mas "JQuery"