Lưng đền tựa vào dãy núi trùng điệp chạy dài từ Cẩm Phả đến Mông Dương, mặt đền hướng ra vịnh Bái Tử Long. Đây là đền thờ Hưng Nhượng Vương Trần Quốc Tảng, người con trai thứ ba của Hưng Đạo Vương Trần Quốc Tuấn.
Thời nhà Trần, đền mới chỉ là một thảo am đơn sơ. Đến cuối thế kỷ XIX, khi cảng than Cửa Ông được xây dựng, dân cư bắt đầu đông đúc, đền mới được xây cất lại bằng gạch với ba khu Hạ, Trung, Thượng theo chiều lên cao dần của ngọn núi tạo thành một quần thể kiến trúc hình chân vạc.
- Xem thêm: Hùng vĩ vùng cao Quảng Ninh
Đặt chân đến tam quan đền Thượng, du khách có thể ngắm nhìn toàn cảnh vịnh Bái Tử Long với nhiều hòn đảo lớn nhỏ, bao la một màu xanh tít tắp tận chân trời. Trong cuộc chiến tranh chống Mỹ, đền Hạ và đền Trung đã bị phá hủy.
Ngày nay, đền Cửa Ông chỉ còn lại khu đền Thượng gồm đền thờ Trần Quốc Tảng, đền thờ Thánh Mẫu, lăng Trần Quốc Tảng và một ngôi chùa cổ nép mình dưới tán lá sum suê của những cây cổ thụ. Đứng khiêm nhường phía sau đền Cửa Ông là một bức tường rêu phong với nhiều hình nổi sinh động.
Vẫn những họa tiết truyền thống với rồng phượng quây quần, vòm mái cong tựa mũi thuyền nhưng tổng thể bức tường với nhiều cửa và cột đã có sự giao hòa với lối kiến trúc phương Tây. Điều đặc biệt là đền Cửa Ông không chỉ thờ Hưng Nhượng Vương Trần Quốc Tảng mà còn thờ đầy đủ toàn bộ gia đình Hưng Đạo Vương và các cận thần, gia tướng của ông, với hơn 34 pho tượng được chạm trổ công phu tỉ mỉ.
Hình ảnh những người anh hùng Trần Quốc Tảng, Trần Khánh Dư, Yết Kiêu, Dã Tượng, Phạm Ngũ Lão, Lê Phụ Trần, Đỗ Khắc Chung… được các nghệ nhân khắc họa sắc nét với tư thế ngồi trong ngai, khám, long đình sống động.
Đền Cửa Ông không chỉ thu hút du khách nhờ phong cảnh đẹp mà còn bởi khi mùa xuân về (từ ngày mùng 2 tháng Giêng đến hết tháng Ba Âm lịch), đền lại mở hội với nhiều hoạt động văn hóa phong phú. Bắt đầu là lễ dâng hương, sau đó là lễ rước.
Những người lớn tuổi ở địa phương kính cẩn rước bài vị Hưng Nhượng Vương từ đền vi hành ra miếu (tương truyền xưa là vườn nhãn, nơi Đức Ông hóa) ở xã Trác Chân rồi lại rước về đền. Lễ rước bài vị này mô phỏng những cuộc tuần du bảo vệ bờ cõi vùng biển Đông Bắc của Hưng Nhượng Vương.
Trong những ngày diễn ra lễ hội còn có các cuộc thi múa rồng, thi soạn dâng lễ vật lên Đức Ông, thi nấu cơm, têm trầu, bày mâm quả, cùng với những trò chơi dân gian như cờ bỏi, bịt mắt đập niêu, kéo co, đẩy gậy.
Đứng trên đền Cửa Ông phóng tầm mắt nhìn ra xa ngắm vịnh Bái Tử Long với hàng ngàn đảo đá đủ mọi hình thù, nhìn sang phía khác để ngắm toàn bộ cảnh quan sinh động và phố phường sầm uất của vùng than Cẩm Phả, du khách chợt thấy trên đất nước mình nơi đâu cũng có những phong cảnh đẹp khó quên.