实践中普遍的做法是，这个时候的保证人不享有任意解除保证合同的权利。因为此时借款合同因为借款未交付而效力待定，保证合同为从合同也效力待定，所以并非属于未生效。
而对于效力待定的保证合同，保证人需要取得债权人同意，并跟债权人签订书面解除协议才可以解除保证合同。
相关法条参考：《合同法》第九十三条、第九十四条、第九十六；《担保法》第十三条规定
合同法律来找大状。