Заради географското си разположение навътре в планината, селото остава добре защитено и османското присъствие там е минимално. Брезе се разраства, а основният поминък на хората е животновъдството и земеделието. От XI-XIII век датират останките на опожарен от турците манастир, днес обозначен с паметна плоча.
Според историите, които битуват сред по-старите жители, в района на Брезе се подвизавала хайдутска дружина. Доказателство за това са и няколкото намерени малки съкровища и преданията за още такива.
След Освобождението животът в Брезе не се променя значително. Хората продължават да живеят както дотогава, задоволявайки се с това, което им дава земята и отглеждайки животни.
При избухването на Балканската война в 1912 година 2 души от Брезе са доброволци в Македоно-одринското опълчение.
След 1944 г. изземането на частната собственост принуждава повечето хора да работят в ТКЗС, а доста от младите се местят в София.