După perioada campaniei militare mongole, Brâncovenești a devenit proprietatea neamului Tomaj, respectiv al familiei descendente Losonci. Conform documentelor din acea perioadă, Brâncovenești deja făcuse parte din moșia lor în 1319. De la ei, castelul a fost moștenit de strămoșii familiei Losonci Bánffy, care au domnit timp de un secol și jumate. În 1467, familia a luat parte în rebeliunea împotriva regelui Mátyás și drept consecință au pierdut proprietatea, iar regele a dăruit castelul viteazului Ongor János, o rudă de-al lui din județul Hunyad (Hunedoara).