Op de huidige plek van de molen stond tot 22 augustus 1775 een achtkante molen, die op die dag door brand werd verwoest. Deze brand trof niet alleen de molen, maar feitelijk het hele dorp Terbregge: 19 huizen en 18 grote gevulde turfschuren vielen ten prooi aan de vlammen. Het jaar daarop werd de huidige stenen molen gebouwd.
Opmerkelijk aan deze molen is dat de toegangsdeuren op de begane grond klein zijn. Dit heeft een reden: graan werd hier voornamelijk per schuit aangevoerd en men deed hier vrijwel alleen aan loonmalen, waarbij doorgaans geen sprake was van voorraadvorming. Desondanks zullen de molenaars van 'De Vier Winden' veel hebben moeten sjouwen....

In 1900 werd naast de molen een grote houten schuur gebouwd voor de opslag van veevoer (die schuur is nog steeds aanwezig). 
In 1925 werd de molen eigendom van de toenmalige gemeente Hillegersberg, welke in 1941 door de gemeente Rotterdam werd geannexeerd. Tot 1964 werd hier op windkracht gemalen. 

De familie Van Driel Kluit huurt momenteel de molen en exploiteert daarin de Drie Kleur Grutterij. Deze familie vormt sinds 1818 een echt molenaarsgeslacht, onder meer op de bekende molen "De Noord" te Rotterdam. Nadat deze molen in 1954 afbrandde werd het bedrijf voortgezet in "De Walvisch" te Schiedam. Rond 1964 stopte men de levering aan bakkerijen en werd vanaf toen geproduceerd voor de particuliere markt. Voor de familie herhaalde zich in 1997 de geschiedenis met de brand in "De Walvisch": toen volgde verhuizing naar Terbregge.

De molen wordt van de begane grond tot en met de steenzolder gebruikt voor de opslag van grondstoffen voor het samenstellen van bakmixen voor thuisbakkers en het mengen van de verschillende bakmixen die in de ondergelegen winkel te koop zijn.
Het enig overgebleven koppel maalstenen is niet meer in gebruik en ook niet maalvaardig.

In oktober 2019 zijn beide roeden gestreken nadat eerder scheurvorming was geconstateerd. Omdat later werd vastgesteld dat de molen ook verzakte, is het steken van nieuwe roeden uitgesteld. In het voorjaar van 2020 werden 26 palen geslagen waarop men een nieuwe fundering aanbracht. Toen dat werk gedaan was, was het wiekenkruis aan de beurt. De nieuwe roeden werden gestoken op 27 juli. Niet lang daarna was de molen weer draaivaardig.

Begin 2024 is de molen in de steigers gezet voor een volgende flinke herstelbeurt: als gevolg van (bovengenoemde) verzakking zijn in de romp hier en daar scheuren ontstaan. De molen onderging aldus reparaties aan de stenen romp, een nieuwe windpeluw, aangegoten voeghoutkoppen, nieuw riet op de kap en nog diverse andere restauratiewerkzaamheden.
De winkel onderin de molen bleef ondertussen gewoon open!