Pada zaman dahulu Gampong Jambo Mesjid adalah bagian dari Gampong Jambo, yang terdiri dari dua Wilayah yaitu Jambo Timu dan Jambo Barat, Kedua Wilayah di Pimpin oleh seorang Peutua yang bernama Petua Amin. Secara geografis Gampong Jambo merupakan kawasan pesisir pantai yang mana sebelah utara berbatasan langsung dengan Selat Malaka ,sebelah selatan dikelilingi oleh paya dan rawarawa serta semak belukar, yang kemudian dengan berkat kerja keras Peutua Amin dan beberapa masyarakat waktu itu untuk membuka lahan sedikit demi sedikit hingga menjadi Gampong yang lebih maju. Dari tahun ketahun masyarakat kian bertambah yang datang dari berbagai daerah dan menetap di Gampong Jambo. 

Asal usul kata-kata Jambo ketika suatu hari datanglah seorang Teungku Malem dari kuta piadah yang singgah sementara di Gampong ini untuk mengadakan pengajian ke Gampong Awe Geutah, dalam persinggahan tersebut Teungku Malem mendirikan sebuah Jambo (gubuk) yang lokasinya dekat aron tujoh tepi pantai, karena lokasi tempat persinggahan Jambo (gubuk) Teungku Malem, merupakan jalan pintas untuk melalui ke Gampong Awee Geutah. Sejak itulah tempat persinggahan Teungku Malem di jadikakan nama Gampong Jambo. 

Pada tahun 1927 Peutua Amin memberikan mandat kepemimpinan kepada Peutua Sabi yang merupakan adik kandung nya untuk memimpin Gampong Jambo, dari waktu kewaktu Gampong Jambo kian berkembang dan masyarakatpun hidup rukun dan damai. Kemudian Peutua Sabi memberikan mandat kepada Peutua Gade untuk memimpin Gampong Jambo. Peutua Gade mempunyai adik kandung yang bernama Peutua Dollah, Peuta Gade dan Peutua Dollah merupakan anak dari Peutua Amin , kemudian Peutua Dollah meminta kepada Peutua Gade supaya Gampong Jambo di bagi menjadi dua Gampong, Yaitu gampong Jambo Timu dan Gampong Jambo Barat. sedangkan Peutua Gade memimpin Gampong Jambo Barat dan Peutua Dollah memimpin Gampong Jambo Timu. Setelah sekian lama Peutua Gade memimpin Gampong Jambo dan kemudian mengusulkan kepada masyarakat supaya bergotong royong untuk mendirikan sebuah Mesjid di Gampong Jambo Barat dan kemudian nama Gampong Jambo Barat di namakan Gampong Jambo Mesjid. Namun pada Kepemimpinan Keuchik M. Kasem AB diganti nama Mesjid Meuraksa. Ketika terjadi konflik DOM Gampong Mesjid Meuraksa rencana diubah kembali menjadi Gampong Jambo Mesjid karena pada masa itu Gampong Mesjid Meuraksa dianggab sebagai basis GAM oleh Aparat TNI/POLRI. Adapun Perubahan Nama Gampong Mesjid Meuraksa ke Gampong Jambo Mesjid hanya di Gampong dan tingkat Kota Lhokseumawe, sedangkan Tinggkat Provinsi dan tingkat pusat masih menggunakan Gampong Mesjid Meuraksa.