La maggior parte del confine settentrionale dello Yemen con l'Arabia Saudita corre attraverso il grande deserto della penisola, il Rubʿ al-Khali («Quarto Vuoto»), e fino al 2000 rimase senza una delimitazione precisa, così come la frontiera orientale con l'Oman, determinata nel 1992. Lo Yemen è bagnato a sud dal Golfo di Aden e dal Mar Arabico e a ovest dal Mar Rosso. Al territorio dello Yemen appartengono anche numerose isole, quali il gruppo di Kamarān, situato nel Mar Rosso nei pressi di Al-Ḥudaydah; le Isole Ḥanīsh, nel Mar Rosso meridionale; l'Isola di Perim (Barīm), nello Stretto di Bab el-Mandeb, che separa la penisola arabica dall'Africa; Socotra (Suquṭrā), la più importante e più grande isola dello Yemen, situata nel Mar Arabico quasi 1000 Km a est di Aden; e I Fratelli (Al-Ikhwān), un gruppo di piccole isolette nei pressi di Socotra.
Lo Yemen può essere suddiviso in cinque regioni principali: una pianura costiera che si estende da nord a sud nota come Tihāmah (un prolungamento della Tihāmat ʿAsīr), gli altopiani occidentali, le montagne centrali (l'altopiano dello Yemen), gli altopiani orientali e, infine, le regioni desertiche orientali e nord-orientali.
La pianura costiera varia in ampiezza tra gli 8 e i 65 km. Una serie di montagne poco elevate (300–1100 m) si innalza tra le basse colline della pianura e il grande massiccio centrale, ove sono situate molte vette che superano i 3000 m; la più alta tra queste è il monte Al-Nabī Shuʿayb, che culmina a 3760 m. Verso est/nord-est, le montagne digradano piuttosto rapidamente negli altopiani orientali (750–1100 m), che a loro volta digradano nelle colline sabbiose del Rubʿ al-Khali.
Lo Yemen è un paese arido, e non presenta corsi d'acqua permanenti. Le precipitazioni regolari che cadono in alcune aree scendono, nella parte settentrionale, a ovest verso il mar Rosso per mezzo di cinque corsi d'acqua (wadi) principali e, nella parte meridionale, a sud verso il golfo di Aden e il mar Arabico per mezzo di tre corsi d'acqua principali. Il maggiore tra questi ultimi è lo Wadi Ḥaḍramawt (valle dell'Hadhramaut), rinomato fin dall'antichità per le sue piante dalle quali si ricava l'incenso e storicamente focolaio di un gran numero di sofisticate città-stato. Assieme ai loro affluenti e ai loro vicini più piccoli, questi corsi d'acqua dal flusso intermittente hanno scolpito nella superficie del massiccio centrale un gran numero di altopiani e di creste. In molti luoghi vi è traccia di attività vulcaniche, le più recenti risalenti a poche centinaia di anni fa; l'esistenza di sorgenti termali e fumarole (condotti vulcanici) attestano la continua attività sotterranea. Inoltre, il paese si trova a cavallo di una delle più attive linee di faglia della regione del mar Rosso (bacino della Rift Valley) ed in epoca moderna è stato sconvolto da alcuni potenti terremoti, tra i quali quello che devastò l'area di Dhamar nel dicembre del 1982, che provocò circa 3000 vittime e rase al suolo alcuni villaggi e centinaia di insediamenti più piccoli.
Il suolo del paese varia dal sabbioso all'argilloso, e la maggior parte di essi è povero di materia organica, caratteristica che ne limita lo sfruttamento agricolo. In alcune aree, tuttavia, un elaborato sistema di terrazzamenti coltivati ricopre le montagne dalla base alla vetta. L'elevata produttività agricola di questo sistema va attribuita in gran parte al suolo che è stato raccolto e arricchito di concime nell'arco dei secoli. In epoca moderna, la trascuratezza e i conflitti civili hanno fatto sì che questo sistema di terrazze, particolarmente vulnerabile all'erosione, sia caduto nell'abbandono. Tuttavia, le terrazze sono ancora in gran parte intatte e costituiscono uno dei panorami mozzafiato dell'angolo montuoso dello Yemen.
La maggior parte dello Yemen è situata al confine tra due principali sistemi meteorologici: i regolari venti settentrionali (provenienti dal bacino mediterraneo) e i venti monsonici sud-occidentali. Questi creano un ritmo stagionale abbastanza ben definito; i venti settentrionali predominano durante l'inverno, mentre in estate il monsone di sud-ovest apporta la maggiore quantità di precipitazioni. Tagliata fuori da questo sistema dalle montagne centrali, la frangia costiera meridionale sul golfo di Aden ha un clima spiccatamente tropicale. Ad Aden, così come nel nord ad Al-Ḥudaydah, le temperature superano spesso i 30 °C, con un'elevata umidità, mentre a Sanaa (situata a oltre 2200 m di quota) le temperature medie diurne non superano i 20 °C, e l'umidità è bassa. Sulle cime settentrionali più elevate del massiccio centrale non sono rare occasionali gelate e spruzzate di neve durante i mesi invernali.
Nella Tihāmah, così come lungo la fascia costiera meridionale, cadono in media meno di 130 mm di pioggia all'anno; in molti anni non vi cadono nemmeno piogge di misurabile intensità. La piovosità cresce con l'altitudine; la parte inferiore degli altopiani riceve circa 400–500 mm di pioggia all'anno, mentre quella media, attorno a Taʿizz e Ibb, ne riceve più di 750 mm. Differenti cicli annuali caratterizzano le parti settentrionali e meridionali dello Yemen: mentre il nord generalmente ha due stagioni delle piogge (marzo-maggio e luglio-settembre), il sud spesso non riceve alcuna precipitazione fatta eccezione per poche gocce durante i mesi estivi. In ogni parte dello Yemen, le precipitazioni sono irregolari e variabili di anno in anno, e lunghe siccità non sono affatto sconosciute; vi sono stati anche periodi di cinque anni nei quali il valore delle precipitazioni è stato appena di un decimo del normale. Una grave siccità che colpì il paese durante la guerra civile nello Yemen del Nord del 1962-70 portò a gravi conseguenze sociali ed economiche.
La distribuzione della vegetazione corrisponde all'incirca alle fasce di altitudine e precipitazioni. È possibile distinguere tre regioni generali:
Lo Yemen mantenne una considerevole copertura forestale fino agli inizi del XX secolo. Tuttavia, le pressioni generate da una rapida crescita della popolazione - in particolare l'aumento della richiesta di legna da ardere e di terreni per l'agricoltura - hanno fatto sì che venisse in gran parte devastata. Agli inizi del XXI secolo ne rimaneva appena una percentuale irrilevante.
Quelle stesse pressioni umane hanno avuto un effetto devastante sulla fauna selvatica dello Yemen. Le testimonianze suggeriscono che alcune specie quali la pantera, lo struzzo, varie antilopi (compreso l'orice d'Arabia) e grandi felini (ad esempio leoni) vivessero nel paese non più tardi di un secolo fa; alcune specie di pantera e antilope, ancora presenti nello Yemen, sono minacciate e sopravvivono in numero ridotto. Uno tra i mammiferi selvatici più grandi ancora ben diffuso nello Yemen è il babbuino amadriade (Papio hamadryas), ma si ritiene che anch'esso sia in diminuzione; tra i mammiferi più piccoli figurano la iena, la volpe e il coniglio. Due classi di animali - uccelli e insetti - sono relativamente numerose e diversificate nello Yemen; molte specie non sono state ancora descritte scientificamente. Probabilmente, tuttavia, la maggiore biodiversità animale del paese abita nelle acque del mar Rosso, del mar Arabico e del golfo di Aden. Tra le molte specie differenti vi sono tonni, sgombri, squali, sardine, astici, gamberetti e calamari.