Sejarah Kelam Panjat Pinang, Simbol Penindasan dan Warisan Belanda