直弼は、文化12年（1815）10月29日、11代藩主・直中の14男として、槻御殿で生まれ、17歳までここで過ごしました。
槻御殿は、4代藩主・直興が、藩主の家族が生活する下屋敷として延宝5年（1677）に造営したのが最初です。
直弼が生まれる3年前に、直中は家督を次男の直亮に譲り、槻御殿で隠居生活を送っていました。
藩主となる道は閉ざされていたものの、直弼にとっての槻御殿での生活は父や母、兄弟らに囲まれたおだやかなものだったようです。諸芸の道に親しんだ父･直中の影響により、文化的素養を身につけていったのもこの頃でした。特に能は、直中が屋敷に能舞台を設け、能楽師を召し抱えるほど造詣が深く、直弼にとっても能は身近な存在でした。
直弼が17歳のとき、直中が没します。
井伊家では藩主の子であっても世子以外は､他家に養子に行くか､家臣の養子となってその家を継ぐか､あるいは寺に入るのが決まりとされていました｡庶子である直弼はそのしきたりに従って、槻御殿を出、部屋住みの身とならなければなりませんでした。後に、直弼みずから「埋木舎」（第三景参照）と名づけることになる屋敷に移ります。自身の行く末の決まらぬまま文武に励む生活は、32歳で直亮の養子となり埋木舎を出るまでの16年間続くことになります。
