《琼海县志》记载：“明永乐年间，琼海渔民已往返于南海捕鱼和居住。”西沙群岛上的兄弟公庙有的是明代所建，大多数则是清代所建，庙里的瓷器横跨明代、清代和近代，是渔民在南海活动的重要标记。
在永兴岛现气象台，曾有清代渔民修建的一座小庙，名“兄弟公庙”。庙门横匾书“海不扬波”，对联云“兄弟感灵应，孤魂得恩深”。渔民所祭祀信仰的兄弟公，并非传统神话人物，而是在海上遇难的108位渔民兄弟。
相传，明朝时，居住在海南岛的渔民经常到西沙、南沙捕鱼，而过去南海一带海盗猖獗，经常袭击渔船，潭门的108个渔民结拜为兄弟，立下生死与共的誓言，时常组队一同出海。有一次，渔民在海上再次遇到海盗，危急关头，兄弟们将船紧紧连在一起，最终一起击退了凶猛的海盗。后来，108个兄弟出海时，在海上突遭暴风雨，他们选择共同进退，在滔天海浪中全部丧生。
此后，人们纷纷效仿108名兄弟的做法，一同出海抵御风险，自发建造兄弟公庙，以慰海上亡魂。每逢七月十五，或出海前，或海上生产满载而归，渔民都会举行祭祀兄弟公出海仪式，以求风调雨顺，平安而归。海上波浪滔天，风险难测，在经过危险海域时，渔民会在船上祭海，祈求海神保佑。
