Kaldbakshorn rís sunnan Kaldbaksvíkur. Hornið er gneipt og virðist eins og það slúti framyfir vegfarandann. Upp í gegnum Hornið er dimm gjá er nefnist Svansgjá og kennd við Svan á Svanshóli. Inn úr gjánni skulu vera göng sem opnast í gildragi ofan við Svanshólsbæinn í Bjarnarfirði. Svanur réri frá Kaldbaksvík og gekk um þessi göng í hvert skipti sem hann fór til róðra. Svanur drukknaði á Húnaflóa og það síðasta sem til hans sást var að hann gekk í Kaldbakshornið.

(Heimild: Samantekt Hauks Jóhannessonar)