青年時代の直弼の恋人として、大老時代には密偵として直弼に献身した女性が、村山たか女です。
たか女は、犬上郡多賀町の多賀大社にゆかりがある出生とされ、名前は「多賀の女」がなまったものとも言われています。
大社の社僧・般若院慈尊（はんにゃいんじそん）と彦根の芸者との間に生まれたとも、大社にあった尊勝院の主・尊賀上人と般若院の妹との子とも伝えられています。
同町楢崎の高源寺には、晩年に近い頃とされるたか女の肖像画が掲げられています。
高源寺は、明治9年（1876）の火災で焼失したため、明治16年（1883）多賀大社の般若院と不動院、正覚院を移築。3院をつなぎあわせた形で現在に至っています。肖像画は院にあったものがそのまま高源寺に移されたと考えられ、たか女と大社とのつながりが浮かび上がります。
たか女は、直弼の兄で12代藩主・直亮の侍女を勤めたのち、文武の修行に全力を傾けていた埋木舎の直弼を訪ねるようになります。和歌や踊りにも才覚のあったたか女は、直弼と心を通わせていったようです。この頃、直弼が師と仰ぎ、のちに腹心となった長野主膳とも出会っています。
藩主を経て、安政5年（1858）に44才で大老に就いた直弼は、日米修好通商条約を締結しますが、将軍家跡継ぎ問題を含めて、幕府政権への批判者と対立していきます。たか女は直弼の役に立とうと反幕府勢力の動静を探り、情報を集める密偵をかって出たのです。しかし、2年後の桜田門外の変で直弼が水戸藩士の剣に倒れると、たか女も反幕派の標的になり、生き晒しの刑に処されます。三日三晩のはりつけから生きのびたのちは、京都一乗寺の金福寺で尼僧となり、明治9年、68歳で亡くなるまで直弼、そして主膳の菩提を弔い続けたのです。
肖像画は、明治初期に京都で描かれたものと推測されています。顔立ちからは、才色兼備として知られた若かりし頃の雰囲気が伝わってきます。
高源寺では、毎年4月 （中旬～下旬）と11月（2008年は11月15日～30日まで）に、この肖像画を公開しています。また、11月の公開では、あわせて紅葉ライトアップも開催されます。
