本来、フェティシズムとは、生命を持たない呪術的な物（フェティッシュ、英: fetish、仏: féticheという）に対しての崇拝を指し、性欲とは無関係であった。原義のフェティシズムについては呪物崇拝を参照されたい。もともとは人類学、宗教学の用語であったが、19世紀後半にオーギュスト・コントやアルフレッド・ビネーといった心理学者が、崇拝構造を『性欲の対象とするもの』と『対象によって惹起される性欲』との関係として流用し、ある種の性的倒錯の説明として用いた。リヒャルト・フォン・クラフト＝エビングは性的な物神崇拝、同性愛、サディズム、マゾヒズムについて著書『性的精神病理』で説いた。その後フロイトも著書『性の理論に関する三つの論文』（1905年）において、フェティシズムという用語を用いて足や髪、衣服などを性の対象とするある種の性の逸脱現象の説明として、それを幼児期の体験に基づくものとした。日本においては心理学的な用法がポルノグラフィーその他で広まった関係で呪物崇拝という原義よりも性的フェティシズムのことを指すことが一般的である。