新政府人选确定以后，这些日本人开始商量怎么对待德川家族，当谈到这个问题的时候，做为新政府官员之一的岩仓具视首先发言：“家茂公辞去官职，奉还大政，可见其对朝廷的忠心。但这足够吗？不，还不够，应当让家茂庆公代表德川家族辞官纳地。”

幕府作为日本的权力中心，虽然在名义上算是废除了，但德川宗家仍然保留着武士最高职务征夷大将军的世袭权，德川家茂还挂着朝廷高官大纳言的头衔，岩仓具视希望家茂把这些官职也交出来——辞官，此外，还必须将所有德川家直辖的土地也一并交还给朝廷纳地。

此言一出，亲幕府的山内容堂第一个跳出来表示反对：“这是政变，这是暴举！家茂公已经表示了他对朝廷的忠心了，不加以奖勉，反而要剥夺他的官职和封地吗？汝等公家不要想妄图盗取权力任意胡为！”

这个时候又有一个亲幕府的官员开口说道：

“如何处置德川家，我以为应当以刑名为先，道义为后，怎么处理德川家，应该有德川家的代表在场，发言为自己辩护，才能最终拿出方案来，否则就太不公平了。”

这话说得有道理，然而此次开会，并非没有邀请德川家茂等人到来，但德川家茂也好，还是那些最铁杆的佐幕派却害怕被围攻，遭毒手，纷纷托病不肯进入御所。

这回再提召德川家茂前来开会坂本龙马立刻一口回绝：“他自己不肯来的，又不是咱们故意将其排除在外。”否决了这一建议……

这次会议是在皇宫内召开的，史称“小御所会议”。但是并非全部的议定、参与都出席了，而武市半平太则肩负警护宫门之责，一直呆在会场外面。呆在外面可是呆在外面，却不时有人向他通报会议的进程，当听说对于德川家的处理问题，与会各人争论不定的时候，隆盛冷冷地撇了撇嘴，叫人去悄悄通知坂本龙马：

“此时口舌无用，当用刀剑！”

会议开到中途，坂本龙马宣布暂时休息，然后他就利用这个机会相找到武市半平太，悄悄说道：“只有用非常手段，才能解决问题。”

这话让人听到了。赶紧去找山内容堂，说好汉不吃眼前亏，还是先退一步为好。

结果会议重开，一心想要既改革政治又保留德川家的山内容堂先认怂了，亲幕府的官员再也无力支撑大局，只得勉强同意让德川家辞官纳地。小御所会议，以倒幕派全面获胜而告终。

小御所会议的结果传到德川家茂耳中，德川家茂瞬间不知所措，麾下群臣则怒不可遏。幕府时代改易诸侯，曾经造成很多藩士直接变成浪人，俸禄全无、生计窘迫，这些情况幕臣们也都看在眼里。如今德川家就要失去全部土地了，那自己也要步那些家伙的后尘，沦落乡间，是可忍，孰不可忍！

群臣磕头如捣蒜，苦苦哀求德川家茂，万不可接受这般“乱命”。

而当再次召开新政府会议，在坂本龙马因事缺席的情况下，山内容堂成了主导。既然朝廷已经下令让德川家辞官纳地了，命令不可更改，就在辞官纳地的具体内容上做点文章……

辞官可以，但得保留曾经有过的官声，以后就称家茂公为“前大纳言”好了；纳地可以，但是没说要纳多少，就让德川家缴纳新政府一笔“政务费用”，当作上交土地好了。最后，要求任命德川家茂为议定，也参与到新政府里来。