労働組合にとって最も大きな打撃となったのは、組合が間接的にしか関与していない悲劇的な出来事でした。それは1886年のメーデーに呼びかけられたストライキの1つに、シカゴのマコーミック農耕機器製作会社(McCormick Harvesting Machine Company)に対するものでした。5月3日、ヘイマーケット広場での騒動(The Haymarket Riot) です。ピケットラインで争いが起こり、警察が治安を回復するために介入しますが、数人の労働者が負傷したり死亡したりします。

組合幹部は5月4日夜、ヘイマーケット広場で抗議集会を開きますが、集会が終わると、極右たちが占拠して扇動的な演説を始めました。警察がすぐに介入し、爆弾が爆発して警官7人が死亡、多数の負傷者が出ます。8人の極右が逮捕され、裁判にかけられ、殺人の罪で有罪になっります。そのうち4人は絞首刑、1人は自殺します。残りの3人は、1893年にジョン・アルトゲルド知事(Gov. John P. Altgeld)によって恩赦されます。知事は、彼らが偏見に満ちた雰囲気の中で有罪判決を受けたので、有罪であると確信することは不可能であると認めざるをえなかったのです。

世論はヘイマーケットの悲劇について組織労働者を非難し、多くの人が組合の活動には暴力が伴う可能性があると確信していきました。騎士団は1886年に失った信頼を回復することはなく、今世紀に入るまで、組織労働者が一般大衆の共感を得ることはほとんどありませんでした。組合員総数が最大となった1885-86年の数字に再び達したのは1900年になってからでした。組合活動は依然として活発であり、1889年から世紀末まで毎年1,000回以上のストライキが行われました。

騎士団の力が弱まるにつれ、労働組合運動の指導者はアメリカ労働総同盟(American Federation of Labor: AFL)に移ります。労働総同盟は1881年に最初に組織され、1886年に再編成された地方労働組合とクラフト・ユニオン(craft unions)の緩やかな連合体でした。数年間、騎士団とAFLの間には名目上の協力関係がありましたが、両者の基本的な組織と理念の違いが協力を困難なものにしました。労働総同盟は熟練労働者のみにアピールし、その目的は労働時間、賃金、労働条件、組合の承認など、組合員にとって直接関係のある要求が主体でした。労働総同盟はストライキとボイコットを中心とする経済的手段に依存し、州や地方の選挙キャンペーンを除いては政治活動を避けていきます。労働総同盟の中心人物は、ニューヨークの葉巻製造業者であったサミュエル・ゴンパーズ(Samuel Gompers)で、1886年から1924年に亡くなるまで会長を務めます。