Келвин Клайн е роден в Бронкс, Ню Йорк в семейството на еврейските емигранти Фло и Лео Щерн, като той е второто от общо три деца. Баба му е била шивачка и от нея той придобива любовта си към шиенето, а майка му постоянно поддържа любовта му към изкуствата и модата. Келвин Клайн завършва Гимназията за изкуство и дизайн в Ню Йорк и Модния технологичен институт.
Няколко години работи за различни нюйоркски магазини, докато през 1968 година заедно с приятеля си от детските години Бари Шварц създават марката Calvin Klein. Първата им поръчка се оказва инцидентна - купувач от Bonwit Teller, който слязъл от асансьора на грешния етаж, поръчва на Клайн палта за 50 000 долара.
Окуражен от добрите отзиви и подкрепен от директорите на магазина, Клайн разширява линията си като включва и женско спортно облекло. Скоро той вече притежава Calvin Klein Collection, CK sportswear и CК Jeans, като до 1997 година продажбите от CK Jeans достигат половин милиард долара.
Келвин Клайн е безкрайно талантлив дизайнер, който винаги е бил сред модните законодатели. Изчистени модели, елегантни кройки, луксозни материи и богата цветна палитра – това е почеркът на Келвин Клайн.
Парфюмите, създадени от модната къща, също са с водещи позиции във визитката на Келвин Клайн, макар че към днешна дата са собственост на парфюмерийната къща Coty Inc.
Ключът към успеха на Келвин Клайн са рекламите, които често предизвикват истински фурор заради провокативното си съдържание. Имената, които застават зад марката Calvin Klein, са Брук Шийлдс, Скарлет Йохансон, Мила Йовович, Наталия Водянова. Освен това през годините негови модели стават и няколко известни спортисти.
Интересен факт от портфолиото на великия дизайнер е, че той е първият, който прави женско бельо, наподобяващо мъжки боксерки. Когато ги представя през 1970 г., предизвиква смесени емоции у аудиторията, но в крайна сметка това решение му носи приходи от 70 милиона долара годишно.
Противно на всеобщото мнение, Келвин Клайн не е гей. През 1964 година се жени за Джейн Сентър, от която има дъщеря Марси. Двамата се развеждат през 1974 година, а през 1986 година сключва брак с Кели Ректър, която по онова време е негова асистентка.