Summer Pockets lấy bối cảnh trên một hòn đảo biệt lập, thôn dã và yên bình tên là Torishirojima, có dân số khoảng 2.000 người. Nhân vật chính là Takahara Hairi, một chàng trai trẻ không phải là dân bản địa. Lớn lên ở thành phố, sau một biến cố, Hairi mượn cớ việc bà nội mất để đến đảo lo việc bán di sản. Tại đây, cậu gặp gỡ và quen biết bốn cô gái là trọng tâm của câu chuyện. Bốn cô gái đó là: Shiroha Naruse, người đã quên mất những ngày hè; Ao Sorakado, người đang theo đuổi những truyền thuyết của hòn đảo; Kamome Kushima, một cô gái đang tìm kiếm một con tàu cướp biển; và Tsumugi Wenders, một cô gái trẻ tuổi đang cố gắng tìm thấy bản thân mình; Kamiyama Shiki, một cô gái tự xưng mình là quỷ tìm kiếm hình bóng nào đó.