Недалеко от лавры св. Герасима был также монастырь Каламон, который, по преданию, находился на том самом месте, где ныне расположен монастырь. Его основание восходит ко времени св. царицы Елены. Но еще с апостольских времен существовала маленькая церковь в пещере, где, согласно преданию, останавливались на ночь во время бегства в Египет Пресвятая Богородица с новорожденным Богомладенцем и св. Иосифом Обручником.