Pada bulan September 1969 merupakan awal mula berdirinya Rumah Sakit PKU Muhammadiyah Mayong Jepara, dimana pada saat itu masih berupa Balai Pengobatan PKU Muhammadiyah Pecangaan di Mayong Jepara. Tempat operasional pertama berada di rumah Bapak H. Abdul Majid. Balai Pengobatan ini beroperasi hingga tahun 1985.

Pada tahun 1986, Balai Pengobatan PKU Muhammadiyah Pecangaan di Mayong berhenti berperasi. Hingga pada bulan Oktober tahun 1991, Balai Pengobatan beroperasi kembali dengan dipelopori oleh Pimpinan Cabang Muhammadiyah Mayong yang kemudian diberikan nama Balai Pengobatan PKU Muhammadiyah Mayong Jepara.

Pada tahun 2005 hingga tahun 2010 merupakan periode peralihan dari Balai Pengobatan menjadi Rumah Sakit. Dimana pada periode ini terdapat beberapa perubahan dalam hal fasilitas dan pembangunan gedung baru.

Pada tahun 2011, Rumah Sakit PKU Muhammadiyah Mayong Jepara resmi berdiri menjadi Rumah Sakit tipe D, dengan dipimpin oleh dr. Hj. Titik Sumarni sebagai direktur rumah sakit dan Bapak H. Yusuf, SP sebagai ketua MPKU. Dimana Rumah Sakit ini berada di bawah naungan Pimpinan Cabang Muhammadiyah Mayong yang saat itu dipimpin oleh Bapak Noor Azis.

Pada bulan Desember tahun 2022, Rumah Sakit PKU Muhammadiyah Mayong Jepara mendapatkan akreditasi paripurna atau bintang lima dari LARSI (Lembaga Akreditasi Rumah Sakit Indonesia). Kemudian pada tanggal 14 Februari tahun 2023, Rumah Sakit PKU Muhammadiyah Mayong Jepara resmi menjadi Rumah Sakit tipe C.

Hingga Sekarang, Rumah Sakit PKU Muhammadiyah Mayong Jepara masih terus mengembangkan tempat dan fasilitas, sehingga dapat membantu dan melayani masyarakat yang membutuhkan dari semua kalangan tanpa terkecuali, sesuai dengaan amanat K.H. Ahmad Dahlan selaku pendiri Persyarikatan Muhammadiyah.