Một thời gian sau khi thầy quy thiên, người dân trên đảo đã đồng tâm góp công sức, tiền của để xây đền thờ thầy trên một khu đồi cao ở làng Phú An, xã Ngũ Phụng. Trải qua nhiều thế kỷ tồn tại, đền thờ thầy Nại được các thế hệ người dân trên đảo bảo quản, tôn tạo ngày càng tôn nghiêm và bề thế. Lần trùng tu gần đây vào năm 2002 đã mở rộng và nâng thêm vẻ trang trọng và tôn nghiêm của đền. Quần thể kiến trúc đền thầy Nại hiện nay khá quy mô, bao gồm nhiều hạng mục chính như: cổng Tam quan, cột cờ, bình phong, võ ca và điện thờ chính. Tất cả được bố trí, lắp ghép một cách hài hòa và uyển chuyển phù hợp với kiến trúc tôn giáo và chức năng của đền.
Ngày mùng 4 tháng Tư năm Nhâm Thìn (?) ông qua đời, theo ý nguyện của thầy một đoàn thuyền buồm của người Hoa đã xuất phát từ biển Bắc, mất 6 ngày 6 đêm để mang tro cốt ông đến đảo Phú Quý an táng. Đoàn thuyền mang tro cốt thầy ghé vào đảo đúng vào thời điểm ban đêm nên dân chúng trên đảo không ai hay biết. Việc cúng tế và an táng thầy diễn ra trong đêm hôm đó. Sáng hôm sau, người dân trên đảo đi làm mới ngạc nhiên khi phát hiện có rất nhiều hương đèn, hoa quả và các loại lễ vật như: gà, heo, trà rượu…tại khu vực mộ thầy hiện nay mà không hề thấy bóng dáng người. Tin đồn lan nhanh khiến người dân trên đảo tò mò kéo nhau đến xem rất đông và người ta phát hiện có một chiếc thạp sành đựng tro cốt được chôn tại đây.