Rođen je u Andrijanopolju i od malena predan na službu Bogu. Kao đakon služio je u crkvi u Andrijanopolju kod episkopa Teodora. Sveti Alimpije želeo je da se povuče i da živi u molitvi i usamljeništvu pa se povukao na jedno jelinsko groblje od kojeg su ljudi bežali zbog demonskih priviđenja. Tu je postavio krst i sagradio hram svete Efimije koja mu se javila u snu. Potkraj hrama podigao je stub, popeo se na njega i tu, u postu i molitvi, proveo 53 godine. Ni podsmeh ljudi, ni zla demonska nisu ga mogla odatle pomeriti. Od svega se ograđivao krsnim znamenjem i imenom Hristovim. Najzad, ljudi su počeli da ga poštuju i da mu dolaze radi utehe, pouke i isceljenja Oko njegovog stuba podignuta su dva manastira, jedan muški i jedan ženski. U ženskom manastiru živele su svetiteljeve majka i sestra, a on je sa svog stuba, primerom i rečima, ukazivao ljudima put ka spasenju. Sveti Alimpije poživeo je sto godina i upokojio se 640. godine u vreme cara Iraklija. Od njegovih moštiju sačuvana je glava u Kotlomuškom manastiru u Svetoj Gori.