В новом окне этой ссылкой можно воспользоваться, например, функцией для обработчика события onClick кнопки Apply:

var returnFunc = window.dialogArguments
...
function apply(form) {
returnFunc(form.color.value, form.style.value, form.size.value)
}

Хотя этот подход блокирует способы получения параметров диалоговым окном при открытии, им всегда можно пользоваться для непосредственной установки значений полей форм или переменных в главном окне:

dlog = showModelessDialog("prefs.html", receivePrefsDialogData)
dlog.document.forms[0].userName.value = GetCookie("userName")

Помните, что диалоговое окно, открытое каким-либо из двух методов, не поддерживает связь с главным окном с помощью свойства opener. Его значение не определено.