Selvom sønnen af murere fra Aachen aldrig fik en formel uddannelse, syntes han bestemt for at blive arkitekt. Han lærte om byggeri gennem sin fars virksomhed og som 19-årig flyttede han til Berlin, hvor han arbejdede for Bruno Paul og Peter Behrens, to centrale skikkelser inden for reformbevægelsen.
Mies fik sin gang i velhavende og veluddannede kredse, bl.a. bestående af samlere, der lærte ham om moderne kunst. I begyndelsen af 20'erne lavede han sine første for skyskrabere.
Efter en skilsmisse levede han som puristisk ungkarl, der tog afstand fra al "triviel dekoration". Men selv hans mest revolutionerende åbne plantegninger var aldrig fjernt fra grundtanken med middelklassens bolig, hvor de forskellige områder blev adskilt, f.eks. områder for mænd og kvinder og særlige afdelinger til personalet. Møblerne var biprodukter til hans bygninger. Hans milepæle omfatter et projekt for Weißenhofsiedlung i Stuttgart (1927), den tyske pavillon til verdensudstillingen i Barcelona (1929) samt Villa Tugendhat i Brno, Tjekkiet (1930). Hans globale karriere tog sin begyndelse, da han forfinede den såkaldte cantilever stol, et begreb skabt Mart Stam, som blev præsenteret i Stuttgart. Han kaldte MR 90 stolen, der blev præsenteret på verdensudstillingen, for en "monumental genstand". Anvendelse af relativt tungt stål gjorde det muligt at skabe den udsædvanlige form. Selvom møblerne oprindelig kun blev fremstillet i begrænset antal, påvirkede de hans stil, hvilket bl.a. se i glasbordet med den synlige krydsramme og chaiselongen med de to parallelle pukler. Deres betydning ses ikke kun i de mange efterligninger og den efterfølgende vellykkede markedsføring af produktet, men også i det forhold, at hans ideer er blevet overtaget af store designere som om Franco Albini og Poul Kjærholm samt anti-designerne i Archizoom-designstudiet. Selvom Mies van der Rohe normalt sættes i forbindelse med Bauhausbevægelsen, havde han allerede udviklet sine vigtigste værker, før han blev Bauhaus' sidste direktør i 1930. Hans forsøg på at komme overens med nazi-regimet mislykkedes. I slutningen af 30'erne emigrerede han til USA, hvor han blev leder af arkitektskolen ved Illinois Institute of Technology. Indtil sin død var han en populær arkitekt i hele verden og blev anset for sammen med Marcel Breuer og Walter Gropius at være et ikon inden for den "internationale stil".
Side af Ludwig Mies van der Rohe