一九六五年，王林调到了省军区，李小林则在县里当县委书记。他们分开没多久，“文化大革命”就开始了。
李小林后来竭力否认这是一场革命，她说那只是一场痞子流氓的大聚会。是将全国上下当成一个痞子流氓的培训班。所以，从“文化大革命”以后，举国上下才会突然冒出那么多的痞子和流氓。我在武汉见李小林时，她知道我想学写诗之后，马上对我说，现在连作家、诗人都有变成痞子流氓的。她自然还说了些要还作家、诗人以本来面目的话。
李小林说这话时，并没有将自己作为一名厅局级的政治家，完全将自己等同于一个在平常生活中的女人。她甚至还说过，自己的命比大姑、细姑更苦。大姑和细姑是棵黄连树，而她是黄连树下的根。
在旧戏班子里长大的李小林，比一般的女干部多了些许长处，哪怕当了县委书记，也还经常给老百姓和大领导唱些自己熟悉的楚戏。李小林的这些长处，一放到“文化大革命”的风暴中，即刻变成致命短处，成了县里第一个被打倒的领导干部。别的人被打倒后还有少数保皇派，李小林没有人敢保护，她被各个造反组织轮流揪斗了一年多时间，最后被勒令到县生猪仓库帮忙杀猪。