Η μονή βρίσκεται στην ανατολική ακτή του νησιού, σε ελάχιστη απόσταση από τη μονή Προδρόμου. Όπως παραδίδεται από την αυτοβιογραφία των Αψαράδων, στην ίδια θέση υπήρχε ησυχαστήριο, αφιερωμένο στον άγιο Παντελεήμονα ήδη από τις αρχές του 16ου αιώνα, όταν ιδρύθηκε η μονή Προδρόμου. Το καθολικό της μονής είναι τρίκλιτη βασιλική με επίπεδη ξύλινη στέγη και αποτελείται από τον κυρίως ναό, το ιερό βήμα και τον γυναικωνίτη. Το καθολικό υπέστη αρκετές φθορές εξαιτίας της κατολίσθησης βράχων οι οποίες θα επισκευαστούν το 1800 και το 1815 κατόπιν εντολής του Αλή πασά.

Ο χώρος συνδέεται άμεσα με τον Αλή, ο οποίος κατέφυγε στη μονή την τελευταία περίοδο της πολιορκίας του από τα σουλτανικά στρατεύματα και τελικά δολοφονήθηκε στα κελιά της μονής τον Ιανουάριο του 1822. Μετά τον θάνατο του οι στρατιώτες του σουλτάνου θα λεηλατήσουν και στην συνέχεια θα πυρπολήσουν το μοναστήρι το οποίο θα χτιστεί ξανά για να λάβει την σημερινή μορφή και να χαρακτηριστεί το 1925 ως ιστορικό διατηρητέο μνημείο.

Εκτός από το καθολικό, μέσα στον περίβολο της μονής διατηρούνται δύο κτίρια κελιών, πρόσφατα αναστηλωμένα. Το βόρειο κελί, που λειτούργησε και ως ηγουμενείο, στεγάζει τη συλλογή παλαιοτύπων και χειρογράφων των μονών του νησιού. Το νότιο κελί, με το διαβατικό που συνδέει τη μονή με τη γειτονική μονή Προδρόμου, είναι ο χώρος όπου δολοφονήθηκε ο Αλή Πασάς και σήμερα φιλοξενεί μουσείο της επαναστατικής περιόδου.

Σύμφωνα με τον Κ. Νικολαίδη η μονή του Αγίου Παντελεήμονα έμεινε στην ιστορία όχι μόνο ως τελευταίο καταφύγιο του Αλή Πασά αλλά και για το πανηγύρι της που ήταν «το πρώτο και καλύτερο του Νησιού.