O explorador inglês estabeleceu-se na Bahia na década de 1810, na região próxima a Porto Seguro, hoje município de Prado. Sua estadia no Brasil foi, em parte, narrada em cartas que ele enviava a lorde Castlereagh, secretário dos Negócios Estrangeiros da Grã-Bretanha durante parte do período joanino, nas quais informava ao governo britânico sobre a visão que os brasileiros tinham dos ingleses e as dificuldades enfrentadas no estabelecimento de sua propriedade. Fraser é mencionado na obra Viagem ao Brasil nos anos de 1815, 1816 e 1817 de Maximilian Alexander Philipp, príncipe de Wied-Neuwied, que relata alguns encontros com ele, já como proprietário de uma sesmaria na localidade de Cumuruxatiba, chamada de “fazenda” Caledônia, onde tinha um engenho de farinha de mandioca, provido de mão de obra negra escrava e indígena. Segundo Neuwied, uma das missões do inglês era “civilizar” os índios Pataxó, habitantes daquela região, não obtendo, no entanto, muito sucesso nessa empreitada, tampouco no controle de seus escravos, já que passava a maior parte do tempo ausente da propriedade.