五仙观后殿后面坡山之顶耸立着一座钟楼，俗称为岭南第一楼，又名禁钟楼，此楼始建于明洪武七年(1374年)，为行省参知政事汪广洋所建造。现在我们看到的楼是明万历年间重建的。钟楼坐北朝南，宛如城楼，通高17米，分为上下两层。下层楼基以红砂岩砌筑成一高大的方台，台宽14米，深12米，高7米，中间为拱券洞门，前后贯通。上层为四面开放式木结构，呈长方形，面宽11．8米，进深9．7米，重檐歇山顶。屋顶正脊两端有一对相向倒立的鳖鱼，脊刹为葫芦珠刹。桁梁刻有“乾隆五十三年重建”字样。

　　楼上悬挂铜钟一口，钟高3米，直径2米，高5吨，为广东现存最大的青铜巨钟。而奇怪的是，悬挂历这么重铜钟的只是  一根葛藤。讲到葛藤，还有一个颇为神奇的掌故。

　　古代有一大官乘轿路过此地时，扎轿杠的绳索断了，便吩咐轿夫在半时辰内栈到绳子扎好轿杠。轿夫正焦急找着，忽见路旁走来一位老人。老人指着山岩上的一条葛藤说：“可用那藤。”轿轿夫见藤又细又短，以为老人要耍弄他。突然老人不见了，轿夫才知道遇着仙人，连忙扯下葛藤去扎轿。也真奇怪，葛藤越扎越长，直到轿杠扎得结结实实才用完。到了驿站，轿夫仔细察看，见藤尾刻有“吕洞宾”三个字，这才醒悟到那是吕洞宾所赐的仙藤。

　　后来坡山建五仙观、盖大钟楼，要找绳索吊大钟。轿夫便把仙藤献出，细小的葛藤把数千公斤的铜钟吊得稳稳当当的。

　　故事终归是故事，传说也不一定曾发生过，可一根葛藤吊起那沉重的大钟是不争的事实。

　　再说那口大铜钟，钟体铸铭篆文，是洪武十一年(1378年)所铸。钟口之下正对着楼基和心的方形大井口，能产生共鸣。一敲钟，声自券形门洞传出，钟鸣远播，声闻十里。传说  此钟只有遇着火警之类灾难时才撞击鸣钟，无事禁止撞钟，故又称之为“禁钟”，该楼又叫做“禁钟楼”。