宋国の時代、福建省興化府莆田県東螺村の漁民である林愿のもとに「黙娘」という名の6番目の娘がいました。この娘は性格が大人しく、気だてが良い上に、とても親孝行でした。しかし、ある日のこと、運の悪いことに、漁に出かけた父親が遭難してしまいました。悲嘆にくれた黙娘は父親を捜すため、海へと身を投じました。遺体は南竿島に流れ着き、村人はこの孝行娘に感動し、篤く廟に祀って「媽祖」という尊称を与えました。これを記念し、列島の総称にも「媽祖」という名が用いられました。その後、「媽祖」がどうして「馬祖」になったのかについては、二つの説があります。一つは神様と同じ名はタブーとされ、「馬祖」に変えられたという説。もう一つは、軍事管制されていた時代、「媽祖」という字には「女」へんが付くため、最前線の戦地にふさわしくないということで、猛々しい雰囲気を加えるために軍部が変えたという説です。
清国の嘉慶年間、連江県民は馬祖島に豊富な海産資源があることを発見し、故郷を離れてここに移住するようになりました。1911年頃には、さらに新たな移民たちが福建の長楽県から海を渡ってやってきました。彼らは漁業をするのに便利な入り江を拠点としました。こうして「一つの入り江に一つの村」という形で集落が形成されていきました。また、島には閩東(中国福建北東部)地方の文化と信仰がもたらされました。後に中国大陸との関係が断たれたことにより、馬祖地区は元来の文化システムの下、自分たちの個性を独自に発展させていきました。
馬祖の開発は元国時代に遡ります。当時は中国大陸福州沿海との往来が盛んでした。明国や清国時代には倭寇の拠点となり、明国末期から清国初期頃までに福州沿海の漁民が移住するようになりました。地縁、血縁関係によって村落が形成され、現在は89の姓があり、中でも陳、林、曹、王、劉の姓が多くなっています。また、ここは全台湾で唯一、福州語が主要言語の県です。現地の人々は「平話」あるいは「馬祖話」と呼んでいます。