김형직사범대학은 1946년 10월 1일 김일성의 지시로 김일성종합대학과 함께 설립된 첫 사범교육기관이다. 창립당시 2년제 평양교원대학으로 출발해 1948년 고등중학교 교사를 양성하는 4년제 평양사범대학으로 개편됐으며, 1975년 김일성 부친의 이름을 따 현재의 명칭으로 바뀌었다.

1980년 6월 전국사범대학교원 양성을 위한 5년제 대학으로 확대개편됐으며, 1987년 9월 전문가 자격을 지닌 대학교원을 육성하는 대학으로 발전했다. 1994년 김일성이 친필현판을 내려주기도 했다.