Burgemeester en houtkoper Buwe Thomas (ook: Bouwe Thomas Farx) kocht in 1644 een stuk land "leggende om zuijden van dese stad Harlingen ontrent de Stenen man ende lopende nae de zeedijck, alrede afgeheijnt sijnde om aldaer een houtsagersmolen te setten". De standplaats van de molen (met naam in de legenda) is weergegeven op een kaart van Claes Piekes d'Graad uit 1661-1667.

Na zijn dood in 1677 kwam de molen via zijn dochter Fookeltie Buwes in beheer bij haar man, koopman en houtkoper Seerp Lammerts Swarms (of Swerms). Na zijn dood zette Fookeltie het bedrijf zelf voort. Na haar dood in 1693 erfde hun zoon Steven 1/8 deel van de molen en toebehoren. Hij kocht de resterende 7/8 van de overige erfgenamen. In 1700 wordt de molen aangeduid als 'Steven Swerms holtmolen', dus nog steeds zonder eigen naam.

Na de dood van Steven rond 1715 verkocht zijn weduwe Geeske Jacobs in 1716 de molen aan Freerk Pieters (1/2 molen), Auke Jansen Backer (1/4 molen) en Jan Aukes Backer (1/4 molen).
In 1749 werd Pijter Freerks al vermeld als molenaar.

In 1750 waren volgens het reëelkohier de erven van Jan Aukes Backer en de erven van Freerk Pieters ieder voor de helft eigenaren van de molen.
In 1757 is de helft van molen eigendom van Auke Bakker in plaats van de erven Jan Aukes Backer.
In 1763 is die molenhelft van Jan Bakker.
In 1774 is de andere molenhelft eigendom van Pieter Freerks.

05-11-1785: Leeuwarder Courant
"In de herberg Roma op Woensdagen den 9e en 16de November 1785, 's avonds te 5 Uur, b/de 2de en 3de Zitdag, publicq by strykgeld praesenteren te Verkoopen:
1. De gerechte helfte in eene hegte en zeer veel doende HOUTZAAGMOLEN, (de zwarte molen genaamd) Sampt quoteel aandeel in de Woonhuizen, Droogschuuren, Stallinge en Gront, staande om de Zuid van Harlingen onder Almenum. Eigenaar J.A. Backer"

In 1786 was de helft van de molen eigendom van Jan Cornelis van der Meulen, kleinzoon van Freerk Pieters. De andere helft van Jan Bakker werd in dat jaar in gelijke delen verkocht aan deze Jan Cornelis van der Meulen, Jan IJmes de Groot en Freerk Claazen van der Meulen.

05-08-1786: Leeuwarder Courant
"Doctoren J. van ALEMA, W. J. HANEKUYK en S. GRATAMA , zullen te Harlingen in Rom. op Woensdag der 9 Augustus 1786 des avonds te 5 uur by de Finaalen Palmslag verkopen :
I. De geregte helvt in eene zeer beklante HOUTZAAGMOLEN met 3 Raamen zynde een Wipstaart , (genaamd de Swarte Molen,') sampt quoteel aandeel in de Woonhuizen, Droogschuuren, Stallinge en Grond cum annexis, waar van de wederhelvt behoort aan den Koopman Jan Conelis van der Meulen; alles staande en geleegen aan den Zuidkant der Stad Harlingen , onder den Dorpe Almenum, na den Finaalen Palmslag direct te aanvaarden. Waar op geboden is 925 g gls."

In 1798 werd de molen door de eigenaren (Jan Cornelis van der Meulen, Jan IJmes de Groot, Jetske Jacobus Inia uit Leeuwarden, Tjalling Sybrens Jorritsma en zijn neef Walle Jans Oppedijk te IJlst) verkocht aan timmerman en houthandelaar Johannes Fransen Posthuma uit Achlum. In 1801 nam zijn weduwe Brechtje Sikkes Westra de houthandel over. Hun beider zoons Sikke en Jacob Posthuma uit Achlum erfden houthandel en molen in 1808 en herdoopten de molen in 1814 De Twee Gebroeders.

In 1817 trouwde Sikke met Hinke Rodenhuis, dochter van de burgemeester Ype Jetzes Rodenhuis, tevens molenaar op de Nieuwe Pelmolen / De Hoop (Tenbruggencatenummer 06648 j).

In 1840 trad Jacob uit de firma en Sikke ging verder met zijn (Sikke's) zoons Johannes en Ype.
Tot zijn dood in 1815 was Klaas Norel baas op De Swarte Moolen / De Twee Gebroeders. Zijn zoon Okke Norel (1812-1887) bekleedde van 1842 dezelfde functie, en vierde dus in 1882 zijn 40-jarig jubileum als meesterknecht bij de fa. S. Posthuma en Zonen. Okke's oudste zoon Klaas volgde zijn vader op op De Twee Gebroeders, diens kleinzoon was de schrijver Klaas Norel. Toen knecht Bart Annes van der Werf in 1867 overleed, had hij al 20 jaar op de molen gewerkt.

Ype Sikkes Posthuma kocht de hele molen in 1871. Hij verkocht de molen bij een veiling op woensdag 21 februari 1883 voor ƒ 2801 aan houthandelaar Jelle Tjeerds Meinesz uit Leeuwarden. Zijn zoon Krijn ging de houtzaagmolen exploiteren.