Gårdene ble bygget i årene 1892-1894 av byggmester Ole Olsen (1832–1908). Byggmesteren hadde oppnavnet «Gråbein» fordi han ble betraktet som gjerrig. Tross sitt dårlige rykte holdt byggmester Olsens gårder en relativt høy standard etter datidens mål. Et karakteristisk trekk som kunne gi assosiasjoner til sparsomhet og byggspekulasjon er at gårdene var upusset og uten noen form for dekorasjoner, i en tid da puss og stukkaturer var det normale for bygårder. Men fraværet av puss kan også oppfattes slik at gårdene ble oppført med teglstein av bedre kvalitet enn vanlig. Opprinnelig hadde gårdene litt over 700 leiligheter med over 3500 beboere. Alle gårdene ble renovert gjennom Oslo byfornyelse i regi av kommunen 1980-1983, og da ble antallet leiligheter redusert. Osloforfatteren Oskar Braaten gjorde Gråbeingårdene Norgesberømte gjennom skildringen av en oppvekst i en gråbeingård i romanen ”Ulvehiet”.
