Si la madre dejo dinero suficiente en la herencia para pagar la legítima, y estipuló que esta se debía pagar en dinero, entonces esta os la tienen de pagar en metálico, siguiendo la voluntat del testador.
Si por el contrario, no dejo suficiente dinero en la herencia para pagar la legitima entonces, el hermano puede satisfacer la herencia en bienes de la misma, en aplicación del art. 842, tal como indica Alfmonti. Pero este artículo nos remite a las normas de partición de la herencia, por lo que si, tal como dices, lo que pretenden es que os quedeis solo una parte de una casa, esto no sería lo possible.
Lo que correspondería segun el código civil, seria que la casa se la quedara un heredero y pagara la diferencia al otro o en caso de desacuerdo pues la subasta judicial (art. 1062).
Yo con lo que he entendido de tu explicación lo veo así,
Saludos,