的黎波里建国应追溯到图卢兹的雷蒙德四世(Raymond of Toulouse),他参加了第一次十字军东征。尽管雷蒙德是十字军中最富有且军力最强的贵族,却没能在东方斩获任何领地。其他西欧领主分别占据埃德萨、耶路撒冷和安条克并建立国家,雷蒙德却仅从拜占庭帝国那里占领了极少的土地。极度渴望在圣地拥有一席之地的雷蒙德,把征服的目光投向的黎波里。1103年,他着手准备攻打这个港口城市,组建了一支强大的军队,其中很多人是参加过1101年战役的老兵。雷蒙德先在距的黎波里仅数里之遥的山脊上修建一座城堡,并将之命名为“朝圣者之巅(Mount Pilgrim)”。这座城堡被当地人称为“圣吉尔斯城堡”。从1103年到1289年,它一直都由十字军掌控,这个时间比任何十字军领地都长。然而即使有坚不可摧的要塞和训练有素的士兵,攻城依然进展缓慢。直到1105年5月25日雷蒙德本人去世时,的黎波里仍未被攻克。雷蒙德的去世本可能造成整支围城部队的瓦解,但是的黎波里的富裕对于十字军是一个巨大的诱惑,使得他们并没有撤围,而是由雷蒙德的表亲及战友,塞尔达尼亚的威廉伯爵率领,继续攻打城市。但是情况很