吴棠先祖“宅于（皖南）休宁之商山村，明代中叶四世祖吴万由徽迁滁，卜居于滁州、定远、盱眙之三界。” （吴棠《重修吴氏族谱叙》）

吴棠父亲吴洹，字圣基，号北山，坐馆为业。性情和易，治家有法。家贫不能送子读书，便亲自教授。寒暑皆随鸡声起，教吴棠以朱子小学及圣贤书，录前贤名言粘在窗壁上，以便吴棠随时学习。母亲程氏，定远县武庠生程夔光之女，敕封孺人，死后，赐封一品夫人。有二子吴检、吴棠。吴棠先后娶盱眙庠生李世锜之女李氏、宝庆府知府谭光祜之女谭氏、两淮伍祐场（今江苏盐城市伍祐镇）大使黄宗寿之女黄氏为妻，侧室史氏，妾沈氏、邵氏。（吴棠于同治十三年重修的《盱眙吴氏族谱》）吴棠有三子二女，子吴炳采、吴炳祥、吴炳和。长女名不祥，次女述仙。

长子吴炳采，字载甫。生于道光二十四年（1844年），于咸丰十一年（1861年）去世，娶句容县知县王会图之女为妻，生有一女。王氏生于道光二十二年，炳采死后守志终身，赐封淑人，吴家人称“大老太”。

二子吴炳祥，字吉甫，生于道光三十年（1850年），同治庚午（1870年）科举人，江苏候补道，光绪二十年（1894年）署江苏盐巡道，寓居扬州，光绪二十五年（1899年）病故于任上。著有《怡庐诗钞》二卷。娶定远同知衔胡清女为妻。胡氏生于咸丰二年，赐封宜人。有二子：公望、公武。公望有二子四女：长子克斌、次子克昶。四女为：克静、克琬、克敏、克宁。公武无后，过继克宁为后。

三子吴炳和，字协甫，生于咸丰二年（1852年），以父荫钦赐举人。光绪五年（1879年）九月入京谒试，光绪六年（1880年），奉旨参加礼部考试，授直隶候补道。炳和娶黄氏，赐封宜人。有子增诃，娶桐城张廷玉的后人张传经为妻，传经生于1883年，卒于1955年。增诃有子克炎，克炎有子绍彬，1993年于滁州市工商银行退休。妻秦翠兰在滁州市邮电局退休。绍彬有二子一女。长子秦威，次子吴琦，女吴媛媛。

长女名不详，嫁河南知县秦茂林之子秦尔熙，有子秦其增。次女述仙，嫁漕运总督杨殿邦之孙杨士燮，字味春。述仙四岁丧母，最为吴棠钟爱，会诗文，针线、厨艺俱佳。时味春屡试不第，致使夫家贫困，“述仙三年内，妆奁典卖一空，助夫苦读，后杨味春官居浙江巡警道，赖其助力。经常济困扶贫，周恤亲友，公婆谓之贤孝妇”。（吴炳仁《约园存稿》）

兄吴检因家贫弃学，置一马磨磨麦为粉养家。吴棠乡试、省试，都由吴检陪同，拉一蹇驴让棠乘之，另一驴驼面粉换盘缠。每到旅店，店主都以为吴检是吴棠的仆人，后见同寝同食，方知其为兄弟。（吴炳仁《约园存稿》）

吴检有四子：炳麒、炳仁、炳寿、炳康。炳麒字祥伯，跟随吴棠长年征战，官至四川直隶州忠州知州，有一子增倬，字银斋；炳仁字莼甫，官至扬州知府，有《约园存稿》三卷。有子十一，女五。炳寿有子三：增侃、增年、增榖；炳康有一女静淑，过继增榖为嗣。

吴棠兄弟于同治三年（1864年）移家滁州，随同迁滁的还有族侄吴炳经等人。吴炳经字德甫，廪贡生，跟随吴棠南北征战，军功保举奉贤知县。

吴氏孝敬堂的辈份至吴棠已是十二代，从吴棠的祖父吴钅才 起，辈份谱为“金水木火土”为偏旁的字。吴棠又拟十二字为“后之命名者庶有所依”。即“克绍至德继祖扬芳诗书世守福寿延长。”吴氏族谱有《原籍商山族谱》、吴棠于同治十三年重修的《盱眙吴氏族谱》、《皇帝封赠诰命圣旨》、《清河移建崇实书院记》等四册，保存在洛阳吴检的五代孙吴至海处。吴棠侄玄孙吴绍赣和吴绍坪于近年所补修吴氏族谱一册，已由吴绍坪自费印刷。

现居滁州的吴棠嫡裔可以确认的有吴绍彬一家。吴检有子四，次子炳仁有子十一，故后人比较多。还有吴炳经的曾孙吴绍华等族人。

吴氏孝敬堂的族人跟随吴棠常年征战，授予知县、道员的有数十人。后人中也有很多有成就的：    

    吴继光（绍琳），字铁夫，黄埔军校第二期毕业，国民党军第58师副师长兼174旅旅长。在淞沪抗战中殉国。（见吴志浩口述 徐茵执笔《血染淞江光昭青史---回忆父亲吴继光将军》）

吴绍骙号又骙。1905年生，美国明尼苏达大学博士。著名作物遗传育种专家、农业教育家、社会活动家。中国玉米育种奠基人之一。历任河南大学农学院副院长兼河南农业厅副厅长、河南农业大学副校长，河南省人大常委会副主任、政协副主席。中国民主同盟中央委员、中央监察委员。

吴少同（绍同），1919年生，福州军区空军后勤部部长。抗战期间参加新四军四支队，曾营救过五名美军飞行员。                                  

作者与吴棠后裔及吴氏宗亲的合影