Beliau merupakan khalifah ke-2 setelah Abu bakar ash-shiddiq, yang memiliki julukan dari Rasulullah yaitu "al-faruq" karena beliau ahli dalam membedakan antara yang hak dan yang batil, beliau menjadi khalifah di hari dimana khalifah Abu Bakar wafat. Selama masa kekhalifahannya, Khalifah Umar melakukan tugasnya dengan baik seperti halnya sirah, jihad, dan kesabaran Abu bakar Radhiyallahu'anhu.
Hal yang pertama dilakukan oleh khalifah Umar setelah resmi menjabat sebagai khalifah ialah mencopot Khalid bin Walid dari jabatannya sebegai panglima pemimpin pasukan dan menggantinya dengan Abu Ubaidah.
Beliau menyaksikan penakulukan Baitul Maqdis dan tinggal disana selama 10 hari. Beliau kemudian kembali ke Madinah dengan membawa serta Khalid bin Walid, tatkala Khalid menanyakan mengapa dirinya di copot dari jabatannya, khalifah Umar kemudai menjawab dengan rendah hati, "Demi Allah! Wahai Khalid, sesungguhnya engkau sangat kumulikana dan sangat kucintai".
Dengan dicopotnya Khalid dari jabatannya, kemudian Khalifah Umar menulis surat ke berbagai wilayah untuk tidak menimbulkan hal yang kontroversial. "Sesungguhnya, aku tidak memecat Khalid karena kebencian dan tidak pula karena pengkhianatan, tetapi aku memecatnya karena mengasihani jiwa-jiwa manusia dari kecepatan serangan-serangannya dan kedahsyatan benturan-benturannya."
Khalid bin Walid merupakan anak dari bibinya Khalifah Umar, ia meninggal pada masa Khalifah Umar di daerah yang bernama Hamat.
Pada tahun ke-14 Hijriah terdapat negeri yang ditaklukkan oleh pasukan Khalifah Umar salah satunya negeri Damaskus, yang ditaklukan dengan 2 cara yaitu dengan cara damai, serta cara kekerasan. Yang secara dengan yaitu Hamsh dan Ba'albak dan yang secara kekerasan adalah Bashrah dan Aballah.
Kemudian pada tahun itu juga (14 hijriah), Khalifah Umar menghimpun serta mengajaka Kaum Muslimin untuk melaksanakan shalat tarawih berjamaah sebanyak dua puluh rakaat.
Singkat cerita, terbunuhnya Khalifah Umar, orang yang membunuh Umar adalah seorang Majusi bernama Abdul Mughirah yang biasa dipanggil Abu Lu'lu'ah. Disebutkan dalam suatu riwayat motif yang melatarbelakangi pembunuhan ini karena ia tidak senang dengan keputusan Umar ketika ditanya mengenai berapa banyak pajak yang harus dibayar olehnya, dengan ketidaksukaan nya tersebut ia justru berjanji untuk membunuh Khalifah Umar.
Pada suatu hari disiapkannya oleh Abdul Mughirah Pisau belati yang telah diasah dan dilumuri dengan racun, hingga pada suatu ketika Umar ingin melaksanakan shalat shubuh ke masjid, abdul mughirah ini sudah siap untuk membunuh Khlifah Umar dengan menggunakan pisau belati tersebut.Â
Dengan menikam khalifah Umar serta menusukkannya pisau tersebut ke punggung Umar sebanyak 3 tusukkan dan berhasil merobohkan badan Umar.
Kemudian kaum Muslimin yang melihat itu langsung mengepungnya dan ingin mengeksekusi Abdul Mughirah, tetapi setelah melihat dirinya dikepung justru ia menusukkan pisau belati yang ia genggam ke tubuhnya sehinga matinya ia justru karena membunuh dirinya sendiri.
