Het is niet zeker wanneer "De Grutterij" gebouwd is. Volgens overlevering binnen de familie Zijtveld - de huidige bewoner – zou het huis uit 1634 stammen. Historici van de Loosdrechtse Historische Kring menen echter dat in de jaren 1672/’73 veel huizen in Loosdrecht geheel of gedeeltelijk verwoest werden door de Fransen.
“De Grutterij” werd al genoemd in de tijd van de Verenigde Oost-Indische Compagnie (VOC), welke opgericht werd op 20 maart 1602. De schepen zouden peulvruchten uit de Loosdrechtse grutterij meekrijgen
In ieder geval kan geconstateerd worden dat "De Grutterij" thans één van de oudste zo niet hét oudste huis van Loosdrecht is.
trivia
“In een grutterij werd voornamelijk boekweit tot grutten gebroken. Dit was goedkoop voedsel en werd als pap gegeten. De boekweit werd in de grutterij eerst op een eest gedroogd.”
“Op de eest is de bast al voor een deel gesprongen tussen de breekstoel, aangedreven door de rosmolen. De paarden in deze rosmolen werden regelmatig bij hun werk afgelost. De viervoeters hielden zelf de zandloper in de gaten. Zodra het laatste korreltje zand was doorgelopen, staakten ze gelijk alle activiteit.“