呂振羽曾祖父呂紀(jì)，佃農(nóng)，參加了太平天國賴文光的部隊(duì)，后升為大旗官，隨軍入南京。無奈南京陷落，方晝伏夜行乞討回家，靠打草鞋維持生計(jì)。呂振羽在《大旗官呂先紀(jì)》載“閉門聚兒女，端詳說天軍”，可見他從小受曾祖父影響頗深，同情下層民眾，憎恨剝削階級，向往維新圖強(qiáng)。
呂振羽的祖父呂德良因父親出征，十二歲成為家庭主要勞動力，成年后娶了一位地主跛腳的女兒。在呂振羽祖母娘家資助下，再加上祖父的勤勞，他家逐漸成為擁有少量土地的自耕農(nóng)。
呂振羽的父親呂公斌讀了幾年書，在本村開辦私塾教蒙童為生。
呂振羽7歲時(shí)，進(jìn)入父親的蒙館讀書。11歲時(shí)，辛亥革命爆發(fā)，他父親的蒙館關(guān)閉，從此棄教務(wù)農(nóng)，幾乎斷了經(jīng)濟(jì)來源，家庭日漸拮據(jù)。但父親發(fā)現(xiàn)他天資聰穎、且勤奮好學(xué)，是塊讀書的好料子。于是暗下決心，就算傾家蕩產(chǎn)也要送兒子繼續(xù)讀書。此后呂振羽到本鄉(xiāng)田心村玉公山坊經(jīng)館讀書。13歲時(shí)，呂振羽寫《詠榴花》詩以明志，由此可見他從小氣宇非凡。
門內(nèi)榴花樹，花開血樣紅;
何時(shí)成碩果，此日莫搖風(fēng)。
1915年，15歲的呂振羽輕松考入由其族兄呂新民創(chuàng)辦不久的武東初級中學(xué)，從舊式經(jīng)館走入新式學(xué)堂，接觸到新學(xué)課本和老師的教案，他往往廢寢忘食。但鄉(xiāng)下的簡易中學(xué)仍然不能滿足呂振羽對新思想新文化的渴望。
1916年，呂振羽聽說武岡城里的縣立中學(xué)不要學(xué)費(fèi)，包吃包住。便跟父親說想去縣城求學(xué)。但其父親心里忐忑：一怕得罪了呂新民，二怕兒子說的不靠譜，于是親自到武岡城打探了一番，發(fā)現(xiàn)果不其然。其父便抱著試一試的心理去找呂新民商量。沒想到呂新民非常支持。呂新民對這個族弟本來欣賞有加，打心底里舍不得他轉(zhuǎn)學(xué)，但又怕埋沒了人才。便親自帶上他父子倆去找一個在縣立中學(xué)任教的老師肖石城。
肖石城一見呂振羽就當(dāng)場出題考了他，見他知書達(dá)禮，談吐文雅，對答如流，肖石城喜上眉梢，對這個人小心高的年輕伢子非常中意。就這樣呂振羽順利通過考試，進(jìn)入武岡縣立中學(xué)。