鎌倉時代に高山伊賀守秀頼が築城したとされますが、詳細は不明です。

戦国時代では、平井氏ー森氏の居城となり、関ケ原の合戦の際には西軍方の田丸直昌（岩村城主）の支城となっています。

直昌は、東濃の戦い（関ケ原の合戦時に東濃地方で行われた一連の戦い）で妻木氏に敗れ、高山城に火を放って鶴ヶ城（瑞浪市）に退いたとされています。

土岐高山城の落城の様子は、家康が妻木家頼に宛てた書翰に見ることができます。

高山城跡には現在、物見櫓が建てられ土岐市街地を一望することができます。