11代藩主直中の十四男として、文化12年（1815）に生まれた直弼は、すでに隠居の身であった 父とともに、幼少期を槻御殿で何不自由なく過ごします。ところが天保2年（1831）の父の死は、彼の境遇を一変させることになりました。
直弼は、井伊家の家風に従って藩から三百俵の宛行扶持を支給されることになり、質素な屋敷に移ることになります。
世の中を よそに見つつもうもれ木の 埋もれておらむ心なき身は
と、詠い、この館を「埋木舎」と名づけました。直弼は一生を埋木舎で朽ち果てることを覚悟しましたが、心は決して埋もれないという決意表明でもありました。禅や武術、兵学、和歌・国学、陶芸、華道、政治、海外事情など文武両道にわたり、「なすべき業（すべ）」を見出し、全力を傾けました。
なかでも茶の湯においては「一期一会」「独座観念」という概念を確立し、遊興的な色合いが強くなっていた茶の湯の世界を批判しました。また、のちの腹心となる長野主膳と文学論などを三日三晩語り明かしたのもこの埋木舎の表座敷でした。
直弼の運命の転換地点ともいえるのが、弘化3年（1846）。世子・直元が病死したため、直弼が急遽世子として将軍の目通りを得ることになったのです。そして嘉永３年（1850）に13代藩主に、安政5年（1858）には大老に就きます。幕政の中枢で日本の岐路を決するために奔走することになります。
直弼の埋木舎での時代は17歳から32歳まで15年間にも及びましたが、決して「埋木」ではありませんでした。ここで培った精神が、政治家直弼の礎となっていったのです。
