Il nome “Castello Brown” deriva da Montague Yeats Brown, Console inglese a Genova, proprietario dell'edificio dal 1867 al 1905. Nel Medioevo i Genovesi eressero, in posizione dominante sul mare a difesa del golfo di Portofino, una fortezza che venne ristrutturata nel 1554, secondo i nuovi canoni militari, da uno dei più importanti ingegneri militari dell'epoca, Gian Maria Oliato. Dal 1622 al 1624, al tempo della guerra tra Genova ed il Ducato di Savoia, il Castello fu nuovamente ingrandito e alla fine del 1700 venne ulteriormente potenziato da Napoleone Bonaparte. Nel 1867 il Console inglese Brown acquistò la Fortezza al prezzo di 7.000 Lire e nel 1870 piantò sulla terrazza principale, egli stesso, i due pini che ancora oggi dominano il paese, per il giorno del suo matrimonio: uno per sé ed uno per sua moglie, Agnese Bellingham. Il Console morì nel 1905, lasciando in eredità il Castello ai figli, che lo custodirono fino al 1949. John e Joceline Baber, loro connazionali con la passione dell'archeologia, furono i nuovi proprietari. Con i Brown ed i Baber la Fortezza, da militare, si trasformò in abitazione civile. Nel 1961 il Comune di Portofino acquistò il Castello dalla famiglia Baber e oggi la fortezza, ad uso pubblico, ospita eventi, ricevimenti e mostre.