Một thời gian sau khi thầy quy thiên, người dân trên đảo đã đồng tâm góp công sức, tiền của để xây đền thờ thầy trên một khu đồi cao ở làng Phú An, xã Ngũ Phụng. Trải qua nhiều thế kỷ tồn tại, đền thờ thầy Nại được các thế hệ người dân trên đảo bảo quản, tôn tạo ngày càng tôn nghiêm và bề thế. Lần trùng tu gần đây vào năm 2002 đã mở rộng và nâng thêm vẻ trang trọng và tôn nghiêm của đền. Quần thể kiến trúc đền thầy Nại hiện nay khá quy mô, bao gồm nhiều hạng mục chính như: cổng Tam quan, cột cờ, bình phong, võ ca và điện thờ chính. Tất cả được bố trí, lắp ghép một cách hài hòa và uyển chuyển phù hợp với kiến trúc tôn giáo và chức năng của đền.
Ngày mùng 4 tháng Tư năm Nhâm Thìn (?) ông qua đời, theo ý nguyện của thầy một đoàn thuyền buồm của người Hoa đã xuất phát từ biển Bắc, mất 6 ngày 6 đêm để mang tro cốt ông đến đảo Phú Quý an táng. Đoàn thuyền mang tro cốt thầy ghé vào đảo đúng vào thời điểm ban đêm nên dân chúng trên đảo không ai hay biết. Việc cúng tế và an táng thầy diễn ra trong đêm hôm đó. Sáng hôm sau, người dân trên đảo đi làm mới ngạc nhiên khi phát hiện có rất nhiều hương đèn, hoa quả và các loại lễ vật như: gà, heo, trà rượu…tại khu vực mộ thầy hiện nay mà không hề thấy bóng dáng người. Tin đồn lan nhanh khiến người dân trên đảo tò mò kéo nhau đến xem rất đông và người ta phát hiện có một chiếc thạp sành đựng tro cốt được chôn tại đây.
Truyền thuyết thứ hai: Thầy Nại là một thương gia người Hoa ở thế kỷ XVI, ông thường theo các thương thuyền vượt đại dương đến nhiều nước để buôn bán, ngoài buôn bán ông còn là một thầy thuốc giỏi. Trong một chuyến buôn bán, thuyền của ông bị bão tố đẩy dạt vào đảo Phú Quý. Lúc này trên đảo đã có vị công chúa Bàn Tranh con của vua Chăm sinh sống. Thầy đã kết nghĩa chị em với công chúa và ở lại sinh sống và bốc thuốc chữa bệnh, cứu giúp dân đảo. Sau khi qua đời, xác ông đã được an táng lại trên đảo. Mộ thầy được an táng lại làng Thoại Hải (xã Long Hải) xây bằng đá gành theo kiểu dáng hình tròn có đường kính 3,2m, thành mộ dày 60cm – cao 1m.
Sau khi thầy qua đời, hàng năm cứ đến ngày mùng 4 tháng tư âm lịch, dân chúng khắp các làng trên đảo tề tựu về mộ cúng tế và cầu nguyện thầy phù hộ, độ trì. Cũng theo người dân trên đảo, sau khi quy thiên, thầy hóa thành một vị thần rất hiển linh và thường xuyên phù hộ, cứu giúp dân lành. Hiện thân của thầy là 3 tiếng sấm nổ vang và một ánh hào quang hình tròn sáng rực như mặt trời. Từ trước đến nay, các thế hệ người dân trên đảo luôn tin tưởng vào sự linh ứng, trợ giúp của thầy. Rất nhiều người đã được thầy cứu giúp để vượt qua những cơn nguy biến, nhất là các ghe thuyền gặp nạn ngoài khơi hay trong lúc chiến tranh hoạn lạc… mỗi khi gặp nạn, người ta cầu khấn nhờ thầy cứu giúp là tức khắc ngay sau đó thầy xuất hiện với 3 tiếng sấm nổ vang và một quầng hào quang sáng rực để giải thoát cho người bị nạn.
Sự linh ứng trong việc trợ giúp dân làng của thầy đã được các vua triều Nguyễn công nhận, vì thế các vua Minh Mạng, Đồng Khánh, Duy Tân, và Khải Định đã ban tặng cho thầy 8 sắc phong và truyền chỉ cho dân chúng các làng trên đảo phải phụng thờ thầy.
Cũng như đền thờ công chúa Bàn Tranh, việc phụng thờ, cúng tế thầy Nại do bổn điền 9 làng của 3 xã trên đảo luân phiên nhau thực hiện. Mỗi làng được giữ sắc phong và thờ phụng, cúng tế thầy trong một năm, qua năm sau luân chuyển qua làng khác.
Lễ hội tại Đền Thờ Thầy Nại mỗi năm diễn ra 2 đợt: lễ rước sắc thầy vào mùng 3 tháng Giêng âm lịch và kỵ thầy giao phiên vào mùng 4 tháng tư âm lịch. Trong lễ rước sắc thầy mùng 3 tháng Giêng âm lịch, làng đang phụng thờ thầy chuẩn bị đoàn lễ (kiệu, cờ đại, cờ trung, cờ tiểu, tàng, lọng, chiêng, trống, bát bửu…) rước sắc phong của thầy từ làng đến đền thơ thầy Nại, các lễ vật dâng lễ thầy trong nghi lễ này gồm có bò, heo, gà, hoa quả, trầu cau, trà rượu…
Có thể nói Phú Quý là điểm du lịch lý tưởng cho những ai thích khám phá và trải nghiệm thiên nhiên, sống trên một hoang đảo luôn có cảm giác thú vị và thích thú vì được hòa mình vào thiên nhiên hoang sơ.Lễ hội tại đền thờ thầy Nại là ngày hội văn hóa dân gian độc đáo của người dân trên đảo. Đó cũng là một nét đẹp riêng trong đời sống tâm linh tín ngưỡng của người dân Phú Quý.