Como ha señalado Mordekay, todo lo anterior se refiere al derecho común. Por eso es tan importante indicar el lugar de residencia, por ver si hay algún régimen foral: en concreto, ¿vives en Navarra, Galicia, Cataluña, Aragón, Valencia, País Vasco? Y, si vives en el País Vasco, ¿exactamente dónde?
La situación es especialmente liosa en el caso del País Vasco. Si vives allí, el notario, o sus ayudantes, te podrán informar exactamente de la situación foral.
Ahora respecto al régimen común
Si la solución (b) anterior no te parece satisfactoria, creo que una alternativa a la (a) podría pasar porque tu madre y tú, ante notario, hicieras un documento público por el cual se reconoce un préstamo que le estás haciendo para pagar la casa (indicando la cantidad exacta y que es al 0% de interés porque si no tendrías que pagar a Hacienda irpf por esos intereses.) Que se reconozca el total de la hipoteca. Que se reconozca el valor de compra inicial del piso (aunque esto último es menos importante, ya está en la escritura de compraventa).
Guarda todos los papeles de los pagos con los que puedas demostrar que ese dinero viene de tu parte, para evitar impugnaciones.
Llegado el momento de la sucesión, hay una fase de "colación": o sea, como un colador, se junta todo: de ese conjunto de bienes habría que quitar la deuda que tiene contigo. Hay que quitar también las deudas y cargas (sepelio, Hacienda, por ejemplo). Pues bien. Lo que te está legando en realidad es el resto del valor de esa casa, lo correspondiente a lo que ella haya pagado por esa vivienda. Sumas ese legado con el 50% del resto de bienes. Si supera el 83.34% del total, entonces la legítima de tu hermano queda afectada.