中国人建城，按东、南、西、北开四门，而爵溪建于明朝洪武三十一年（1398年）的抗倭古城却开五门。一段时间，有人说，爵溪只有三门而无北门，其实，爵溪不但有北门，城门两旁有石柱，中间有槽，若封城时可用厚板在槽中闸上。而一座鲜为人知的北门则在城里山城墙的最高处，城门呈竖立的凹凸状，远看无门，走进拐弯即可出得城去。

以独特方言著称的爵溪，不但城门比别处多一门，而且连说话也比别地多一们。爵溪城内的原住民，其祖先多来自河南开封等地，明抗倭留住下的官兵，清及民国时，温、台渔民大量涌入。南北语言交融形成一种独特语种，清代钱鸿宾《爵溪怀古》诗曰："人音非土著，信国古屯营。"指的是人言语至今皆汴音。汴是河南市的别称。汉语中人称的复数中只有"我们"、"你们"、"他们"，爵溪人话中还有一个"谁们"。这"谁们"指的就是还有别的什么人们。

在爵溪境内的地名，十二生肖一应俱全，子鼠在半边山的老鼠山，丑牛有二处，即牛礁、牛昌，寅虎有三地：虎岩、老虎窝、老虎洞，卯兔有兔岩，辰龙有九个地名，即龙头岗、龙葱山、水龙岸、地龙山、二龙山、沙龙、燥阁龙洞、青龙头、伏龙庵，可应了龙生九种之说，巳蛇地名有二，扑蛇头、蛇礁，午马有三，即马糟嘴、马鞍岗、马格礁，未羊有羊背山，申猴二只，即大活孙、小活孙，酉鸡有鸡礁，狗有狗脚山、狗洞山，亥猪有青门外的十八只猪礁。

爵溪三面环山，东临大海，地势险要，奇岩怪石像形赋物、惟妙惟肖，镇西前岙岭道口，南北有二块巨石屹立，南称卧虎，北曰龙头，故素有龙虎把门之说。在黄岑岙山中，更是奇石嶙峋，犹如苍鹰傲立，或像猴子拜佛，另一山顶一巨石更像河姆渡遗址，山有凤凰山，石称麒麟头、狮子头等。一个小镇如此形象的称呼，在别处很少见到，足见这个古老小镇深厚的文化底蕴。