1949年开国大典之际，北京土唐刀胡同里，派出所所长肖大力正忙着维持群众游行的秩序，遇到惜阴学校的教师冯静波，引起他的怀疑。冯的真实身份是国民党的潜伏特务，代号"5182"，住在15号院内。恶霸四阎王为冯颁发委任状，让他接受"白眼镜"的命令。妓院里的使唤丫头大眉子来到15号院，看到"白眼镜"从院内出来，以为是失散多年的哥哥。冯上前拦住大眉子，"白眼镜"趁机溜走。

肖大力与妻子刘亚琴生下一子，取名为"新桅"，意即"新中国航船的桅杆"。为查清冯的身份，大力一家搬进15号院。大眉子参加了夜校扫盲班，对冯的才华爱慕不已，常主动为他做家务。"白眼镜"在为冯送电台时被大力等人击成重伤，死前只说出"5182"。公安局查封全市妓院，大眉子被送进了"妇女生产教养院"。冯求大力将大眉子放回来。大眉子迫于生计向冯求助，冯因自身难保也无能为力。

有人报告说看见了四阎王，派出所立即出动人马追捕，但却扑空。大力认为是冯通风报信，警员王六斤自投罗网，使大力琢磨不透。大眉子在乡下活不下去，又回到北京城找冯帮忙，冯留她帮佣。四阎王乔装打扮被认出，终于被捉住。在镇压反革命的公审会上，大力不失时机地向冯施加压力，又到冯的山西老家调查，却一无所获。听说枪毙了一批罪大恶极的犯罪分子，冯内心极为不安，为掩护身份，他请大力做媒，娶大眉子为妻。

大力在深夜偶然听到从冯家传出用做联络暗号的乐曲，便买了台短波收音机进行研究。亚琴想去工作，大力灵机一动，介绍她去惜阴学校，借此监视冯的举动。大力从音乐教师那里得知那首名为《展览会上的图画》的曲子，吃饭睡觉都念念不忘。冯不禁暗暗心惊，不动声色地应付着。他假称挖出一夜壶金子，将自己的活动经费交给政府，被评为抗美援朝积极分子。与此同时，大眉子有了喜，冯戏言要与大力攀亲家。

风风火火的土改运动席卷北京城。给四阎王家看坟的老周来到冯家讨教房产的事，冯随口说房契的事包在他身上。大力听说后不由得眼前一亮，更加坚信王六斤、四阎王都是为掩护冯而抛出的诱饵。冯邂逅了校长的女儿徐小妤，两人一见如故。小妤仰慕冯的才华，冯也倾心于美丽聪敏的小妤。惜阴学校改为北京一小，亚琴因怀孕将被调离学校，冯设法帮她重返岗位。冯去派出所为女儿上户口，大力一语双关，为冯的女儿取名为"抗美"。

冯在学校里没有过激言行，是个人人称赞的好老师。大力找不出他的毛病，但又不甘心。街道组织大家学习宪法，请冯讲解。冯对镇压反革命的条文心有余悸。冯与小妤荡舟湖上，面对小妤炽热的目光，冯深感痛苦，心情沉重地说自己是负罪之人，小妤错愕不已。冯深知自己的处境岌岌可危，打算自首，但在大力面前却欲言又止。晚上，冯突然不见了踪迹，大力极为紧张，以为他畏罪潜逃。敏感的亚琴却直奔小妤的宿舍，正好撞见二人正在偷情。

东窗事发，冯家乱成一团。大眉子要跟那个破坏她家庭的女人"撞头"。冯终于鼓起勇气提出和大眉子离婚，遭到大力等人的指责和阻挠。徐校长更以开除相威胁，不许他离婚。大力十分气愤，把冯反锁在厕所里，让他好好反省一下。大眉子索性躲到乡下，对冯避而不见。冯静波与徐小妤迫于压力，只得黯然分手，冯也因此被学校记了大过。大力向马局长反映冯的生活作风问题，却被局长斥为多管闲事。大力感到莫名其妙。

大鸣大放之后，紧接着是反右运动，不少老师被打成右派。学校礼堂里，平时爱穿旗袍的陈老师遭到批判，她的一通自我检讨，丑态百出。冯对此表现出少有的沉默，埋头搞小发明，改良学校设施。冯对亚琴说出心里话，他从来就不爱没有文化、举止粗俗的大眉子。小妤为争取婚姻自由，给校长贴了一张大字报，题为《请尊重宪法》。怯懦的冯始终没敢签上自己的名字。小妤因"攻击宪法"被划成右派，下放劳动。

大力私拆小妤给冯的信，亚琴对此非常生气。冯心灰意冷，想用煤气自杀，被大力及时救起。1958年大炼钢铁，土唐刀胡同里一片热火朝天的景象。马局长派大力进驻惜阴学校，以防冯搞破坏。冯为学校设计出一个大风箱，受到表彰，并当上区劳模，这可把大力弄得一头雾水。曾经被俘的焕章从朝鲜战场归来，决心自食其力摆鞋摊。焕章要求恢复党籍，请冯代笔写材料。冯小心翼翼地问他是否想去台湾，焕章斩钉截铁的回答令冯肃然起敬。

三年自然灾害期间，乡下吃不饱饭，大眉子带着皮包骨般的抗美回城。冯出于责任，留下大眉子母女，但他仍为无爱的婚姻烦恼。心烦意乱的冯找大力谈心，大力却固执地认为生活作风是检验政治立场的试金石。冯一气之下不想离婚。马局长乡下的儿子土生进城找大力，却走错路来到了惜阴学校。冯收留他住在宿舍，次日却在食堂地上发现了他的尸体，令冯蒙受不白之冤。待查明死因，马局长和大力都感到心情沉重。

1966年秋，大力的儿子新桅考入北航附中。大眉子无意中发现了冯的委任状，悄悄地把它烧掉。接着，大眉子不让冯听收音机，冯十分惊讶。文化大革命爆发，以大力为组长的工作组进驻北京一中，遏止闹事的中学生。大力与红卫兵发生激烈冲突，新桅带人来声援，跟父亲针锋相对。大力不禁为孩子们表现出来的狂热而担心。文革中砸烂公检法，马局长和大力对运动不理解，被停职审查。大力被狂热的红卫兵带走，临走前还不忘约束冯的行动。

大力收听短波被认为是特务，被送进劳改农场干苦工，亚琴在家里默默忍受着屈辱。冯千里迢迢去探望大力，真诚地表示关心，对他说出许多心里话。大力并不领情，逼迫冯尽早交代历史问题。冯恼羞成怒，二人为此争论不休。大力在被关押期间，偷偷地跑出来查案。工作组的人跟踪追来，大力跳下山崖摔断腿。亚琴万念具焚，在家里上吊自杀，大力的母亲也伤心而死。噩耗传来，大力和新桅回家奔丧。

粉碎四人帮，大力重新穿上了警服，着手平反冤假错案。新桅回城没有工作，暂时在煤铺摇煤球儿。大力想送二儿子继民去当兵，冯则主张让他上大学。一日，土唐刀胡同来了一对奇怪男女，男的是四阎王之子阎伯隐，女的是传闻中死去多年的李彦玲。新桅与抗美青梅竹马，感情日深，且谈及婚嫁。冯看出女儿的心意，有心成全他们，但大眉子却显得心事重重，犹豫不决。大力也极力反对新桅与抗美来往。

大眉子向女儿挑明冯是潜伏特务的真相，并说出大力一直在跟踪着冯。懂事的抗美主动与新桅分手，并接受了教育局祁局长之子的追求，新桅十分伤心。大力打算正式立项来调查冯，追踪了他一辈子，亚琴因此搭进了性命，现在又影响了儿子的婚姻。冯与小妤重逢，小妤劝他去深圳发展，冯婉言谢绝。冯和女儿一起去车站送小妤，抗美表示非常理解父亲的苦衷，因为上代人的感情悲剧在她身上又重演了。

新桅把新女友叶娃带回家，大力十分满意。冯却抱着一线希望，劝抗美能与新桅和好如初，可抗美心意已决。大眉子多年来跟着冯担惊受怕，这次为了抗美的婚事与冯争吵起来，大力从中听出弦外之音。冯找大力评理，让他说清楚为什么干涉儿女的婚姻。冯总觉得有张无形的网罩在心头，想摆脱一切去深圳。为了抗美，冯打算把一切向大力坦白，可又被大眉子堵了回去。抗美接受不了新桅变心的刺激，赌气离家出走。

新桅和叶娃在华北楼摆下婚宴，应邀前来的抗美心情沮丧，借酒消愁，喝醉后向祁局长之子祁卫革寻求安慰，二人草率结婚。卫革的母亲在文革中惨死，他因此惊吓过度，无法与抗美过正常的夫妻生活，婚后两年仍没有孩子，两人感情出现危机。四阎王代表一家香港公司来洽谈投资项目，这使大力惊讶不已。新的对台政策公布了，四阎王成了统战对象。大力到北京饭店找他想了解冯的情况，却被拒之门外。

由于新桅插队甘肃，没有北京户口，使叶娃分房无望，二人又生下女儿咪咪，住房十分紧张。叶娃让新桅跟大力说说，尽快把户口报上，谁知大力却为了邻居四阎王的亲戚，硬是把新桅的户口撤了下来。惜阴学校开校友会，宣布冯为副校长，大力疑惑不解。继民复员归来，特地送冯一个炮壳笔筒，上面刻着"一日为师，终身为父"，冯极为感动。焕章请冯代笔，致函给那个当年让他丢了党籍的朝鲜姑娘，想再续前缘。

卫革有严重的心理障碍，抗美经常被他殴打，她决定与卫革离婚。冯感到难堪，质问女儿为何视婚姻为儿戏。新桅在叶娃的怂恿下，上街张贴对调工作的启示，遇到卫革。卫革求他劝抗美撤回离婚书，只要抗美回到自己身边，哪怕新桅和抗美做出越轨之事，他也不在乎。惜阴学校的两名女生烫发被赶出教室。大力指责冯管教不严，冯下决心整顿校风。继民帮冯拍出一部宣传学生守则的电视专题片，效果不错。

抗美坚持要离婚，卫革经受不住这个打击，病发住进了医院。焕章的朝鲜女友来到土唐刀胡同，二人开了一家朝鲜冷面馆。新桅无端被派出所拘留，叶娃一气之下回到娘家。新桅在杂志社的工作也丢了，无奈之中，他去了香港一家公司打工，不料这家公司是四阎王开的。大力得知后，十分恼怒，让叶娃去公司把新桅叫回家，叶娃正好撞见搂抱在一起的新桅和抗美。抗美承认自己曾经去拘留所看过新桅，并说她离不开新桅。

失去工作的新桅又回到了煤铺。卫革出院后，抗美不原再刺激他，没有去法院办理离婚手续。叶娃听说抗美怀孕，隐隐猜到了这孩子是新桅的。抗美想打掉胎儿，新桅痛苦不堪。冯出席四阎王的婚宴，借酒意大发感慨。冯回到家中，大眉子拿出收藏多年的"白眼镜"，诉说大力一直在追踪冯，但他没有向任何人提及，否则冯家早已不保。大力的铮铮铁骨令冯自惭形秽，他终于幡然悔悟，在女儿的搀扶下走进了公安部的大门。