Suimei Lisesi'nde Sakura-sou yurdu, okulun en kötü şöhretli öğrencilerini barındırmasıyla ünlüdür. Bu yüzden, oldukça sakin bir öğrenci olan Sorata Kanda bu yurda transfer edildiğinde, aklındaki tek şey buradan kaçmanın bir yolunu bulmaktır. Ancak şimdilik oraya sıkışıp kalan Sorata, birbirinden garip oda arkadaşlarıyla başa çıkmayı öğrenmek zorundadır. Bunlar arasında enerjik animatör Misaki Kamiigusa, çekici çapkın yazar Jin Mitaka ve içine kapanık dahi programcı Ryuunosuke Akasaka yer almaktadır. Bu tuhaflıklar arasında Sorata, tek "normal" arkadaşı olan, ses sanatçısı olma hayali kuran Nanami Aoyama ile geçirdiği zamanlarda huzur bulur. Ancak bir gün, yabancı değişim öğrencisi Mashiro Shiina yurda katılır ve Sorata onun etkileyici güzelliğinden anında büyülenir. Fakat Mashiro’nun göz kamaştırıcı görünüşünün altında sıra dışı bir gerçek yatmaktadır: O, sanatta dünya çapında bir dahi olmasına rağmen basit günlük işleri bile yapamayan bir otistik savanttır. Mashiro'nun bakımından sorumlu hale gelen Sorata, zamanla onunla yakınlaşır ve yurdu terk etme isteği yavaş yavaş unutulmaya başlar. Her ne kadar sıra dışı olsalar da, yurttaki herkes kendi alanında inanılmaz bir yeteneğe sahiptir. Bu durum Sorata'yı kendi yeteneksizliğiyle yüzleşmeye zorlar. Çevresinde parlayan dehalarla birlikte, onlara eşit olabilmek için çabalar. Sakura-sou no Pet na Kanojo, renkli karakterlerinin yaşadığı zorluklar ve mutluluklar etrafında dönen, dostluk, aşk, hırs ve kalp kırıklıklarını konu alan sımsıcak bir büyüme hikayesidir. Bu hikaye, sıradan bir gencin, olağanüstü insanların arasında kendini keşfetme yolculuğunu anlatır.