ミシシッピ州(Mississippi)の小さな町スパルタ(Sparta)に夜行列車から一人の黒人が降り立ちます。フィラデルフィア(Philadelphia)市警殺人課の敏腕刑事ヴァジル・ティッブス(Virgil Tibbs)です。彼は、人種偏見と差別が厳しい小さな町スパルタで起きた殺人事件に偶然捜査に加わることになります。捜査で対立する白人の人種差別的な警察署長との緊張を描いたサスペンス映画が「夜の大捜査線」(In the Heat of the Night)です。

スパルタで有力者の殺人事件が発生します。うだるような熱帯夜のなか、巡回していたパトカーの警官が死体を発見します。人種偏見の強い町の駅待合室にいた「よそ者」刑事ヴァジルは警官によって容疑者として連行されます。白人警察署長ジレスピ(Chief Bill Gillespie)の前に突き出されてしまいます。

滅多にない殺人事件に手を焼く署長ジレスピは、地元市長からの圧力もあって、屈辱感を覚えつつも都会のベテラン刑事ティッブスに捜査協力を依頼します。署長はもともと頑固な差別主義です。人種偏見が根強い町であるために、捜査は暗礁に乗り上げます。ですが次第にティッブスの刑事としての能力に署長も一目置くようになります。ティッブスと署長との間には奇妙な友情のようなものが生まれます。ティッブスが町を去る日、駅には彼を晴れやかな表情で見送る署長の姿があります。