Bjerg-fyr er en stedsegrøn busk eller et flerstammet træ. Dens vækst er forgrenet og tæt busket med flere krumme, krogede og lave stammer fra samme basis. På unge træer er barken glat i en mørk rødlig-grå farve. Med alderen sprækker barken op i firkantede, afskallende plader med krøllede skæl. Bjerg-fyrren har ligesom skov-fyr to nåle i hvert nålebundt. Nålene er mørkegrønne, lidt snoede, forholdsvist stive og bliver 3-8 cm lange. Årsskuddene er rødlige. Hanblomsterne er cylindriske, gullige og sidder mange sammen omkring basis af årsskuddene. Hunblomsterne er små, kogleformede i en gulgrøn til violet farve og sidder nær spidsen af andre årsskud. Koglerne er ustilkede og sidder vandret udstående fra grenene. De er først grønne, men modnes over 2-2,5 år til en brunlig farve med en længde på 2-7 cm. Hvert kogleskæl har et blankt, brunt skjold, der beskytter et stort, fladt frø. Frøet har en 12-15 mm lang vinge. Bjerg-fyrrens vækst er lav og den bliver sjældent over 10 meter høj.