新婚の秋山大治郎（山口馬木也）と佐々木三冬（寺島しのぶ）のところに、秋山小兵衛（藤田まこと）の旧友で一刀流の達人、学者でもある笠原源四郎（石田太郎）が居候をしていた。さすがに新婚と気づいて退散し、不二楼に移った。
　秋山父子とも付き合いのある中沢春蔵（矢崎滋）という浪人がいた。腕は立つが人生に投げやりだ。中沢は賭場で知り合った平吉（谷口高史）という男から、「悪い侍を叩きのめして欲しい」と前金五両を渡され、詳しい事情も聞かずに引き受けた。
　二日後の夜、中沢は平吉に手引きされ、酔って歩いている侍を棍棒で殴り気絶させた。翌日中沢は大治郎を訪ね、借りていた一両を返した。そこに小兵衛と弥七（三浦浩一）が来て、不二楼を出た笠原が、夜道で殺されたと告げる。棍棒のようなもので殴られ、倒れているところを背中から刺された、と言う。中沢は耳を疑った。
　小兵衛と弥七は不二楼に急ぐ。中沢も後を追う。その理由をしどろもどろに、「殺されたお方が先生のお知り合いと聞き、座視できないので」と言った。小兵衛と弥七は、中沢の態度が尋常でないのを不審に思った。
　中沢は自分が殺人の片棒をかついだことで良心の呵責を感じ、平吉の行方を探す。やがて半月ほど前、浄心寺の境内に平吉が女連れでいたとの情報を賭場で得る。雲をつかむような話だが、それしか手がかりはない。中沢は翌日から浄心寺の参道の茶店に編み笠をかぶって張り込む。その中沢を小兵衛、弥七、徳次郎（山内としお）が監視していた。
　中沢は不運な男だった。剣の腕で将来が期待されていたが、ある日、溺愛していた三歳の娘が、妻が目を離したすきに、野良犬に噛まれて死んだ。その自責の念で、妻も川に身を投げて死んだ。以来中沢は、酒びたりの生活となった。
　笠原の世話をしていた不二楼の女中お千（筒井真理子）の様子が最近おかしい。浄心寺の境内で人を探しているお千を中沢が見つけ、問い詰めた。お千は二月前に病気の亭主を亡くし、三歳の娘を抱えて借金を抱えていた。そんなお千に平吉が近づき、ついには所帯を持とうとまで言った。そうしてある日、笠原のことをあれこれと聞き、仕事のことで話をしたいので、笠原が不二楼を引き払う日だけでも教えて欲しいと迫った。
　それを教えたことの罪の意識でお千はいたたまれない。お千の長屋で話を聞いた中沢は、自分に任せろと言って財布をお千に渡し、眠っている三歳のおみつ（尾上瑞季）の髪に、いつも懐に持っていた赤い櫛を挿した。死んだ娘の櫛だった。
　平吉は高橋又十郎（佐藤仁哉）という道場主のところに身を隠していた。高橋は以前、酒に酔って笠原にからみ、斬りかかったが軽くあしらわれ、堀に投げ込まれた。その恥辱と、それが世間に知れたら、道場の人気が落ちることを恐れ、裏社会を知る平吉に百両で笠原殺害の手助けをするように依頼、あの日、倒れた笠原を背中から刺したのだ。
　平吉がお千の長屋に現れ、外で遊んでいたおみつを殺そうとする。そこに石つぶてが飛んでくる。大治郎だった。平吉が逃げる。浄心寺の境内を行く平吉を中沢が見て後を追う。平吉は高橋道場に入り、江戸を去るので餞別を百両出せと言い、出さなければ・・・と、高橋の悪行を話す。それを中沢が聞いていた。中沢が刀を抜き、高橋や門下生が刀や木刀を持って集まる。そこに大治郎と小兵衛、弥七らが到着して激しい戦いとなるが、小兵衛が木太刀で高橋を撃ちのめし、弥七がお縄にする。中沢は平吉を斬り捨てた。
　裁きの結果、高橋は死罪。中沢も騙されたとはいえ罪は免れず島送りとなった。お千は取調べの対象にならなかった。小兵衛と大治郎は中沢に、「過ちは犯したが、か弱い親子を救った。償いが済んだら人生をやり直せ、力になる」と言うのだった。