東京の四ツ谷[注 1]に暮らす男子高校生・立花瀧は、ある朝、目を覚ますと飛騨[14]の山奥にある糸守町の女子高生・宮水三葉になっていた。そして、三葉は瀧の身体に。2人とも「奇妙な夢」だと思いながら、知らない誰かの一日を過ごす。
翌朝、無事に元の身体に戻った2人は入れ替わったことをほとんど忘れていたが、周囲の人達の反応や、その後もたびたび「入れ替わり」が起きたことによって、ただの夢ではなく実在の誰かと入れ替わっていることに気づく。2人はスマートフォンのメモを通してやりとりをし、入れ替わっている間のルールを決め、元の身体に戻ったあと困らないよう日記を残すことにした。
性別も暮らす環境もまったく異なる瀧と三葉の入れ替わりには困難も多々あったものの、お互い束の間の入れ替わりを楽しみながら次第に打ち解けていったが、その入れ替わりは突然途絶えてしまう。瀧は風景のスケッチだけを頼りに飛騨に向かい、瀧の様子を不審に思い心配していた友人・藤井司とバイト先の先輩・奥寺ミキもそれに同行する。しかし、たどり着いた糸守町は、3年前に隕石（彗星の破片）の衝突により消滅しており、三葉やその家族、友人も含む住民500人以上が死亡していたことが判明する。
瀧は以前三葉と入れ替わった際に参拝した、山上にある宮水神社の御神体へと向かい、もう一度入れ替わりが起きることを願いながら、3年前に奉納された三葉の口噛み酒を飲み下す。
再び（隕石落下前の）三葉の身体に入った瀧は、三葉の友人である勅使河原克彦、名取早耶香の2人とともに、住民を避難させるために変電所を爆破し町一帯を停電させ、町内放送を電波ジャックして避難を呼びかけるという作戦を画策する。しかし、その計画の要である三葉の父（糸守町長）の説得に失敗、父親には三葉の姿をしている別人だと見破られてしまう。
瀧の身体に入った状態の三葉に会うため、瀧（身体は三葉）は御神体がある山を登る。生きている世界には3年の時間差がある2人だったが、なぜか互いの声だけは聞こえており名前を呼び互いの姿を探す。お互い近くにいるのは分かっていても、見ることも触れることもできない2人だったが、黄昏時が訪れると入れ替わりが元に戻ると同時に互いの姿が見え、初めて2人は直接会話することができた。
三葉は瀧から住民を助ける計画を引き継ぎ、下山する。計画通りに町を停電させ、避難指示の放送を流すが、その電波ジャックもしばらくしたのち町の職員に見つかり訂正の放送を流され、避難は進まない。三葉は改めて（三葉に入れ替わった瀧ではなく三葉本人から）父（町長）を説得するため町役場に向かう。
瀧が「入れ替わり」という不思議な出来事に遭ってから5年後、そして「奇跡的に住民が避難訓練をしており死者が出なかった」糸守への隕石衝突から8年後へと舞台は移る。瀧も三葉も東京で暮らしており、入れ替わりのこともその相手の名前も忘れていたが、漠然と「誰かを探している」思いだけが残っており、ときおり町中でその相手の気配を感じることがあった。
さらに月日が流れたある日、並走する電車の車窓でお互いを見つけた2人は、それぞれ次の駅で降り、お互いの下車駅に向かって走り出す。ようやく住宅地の階段で互いを見つけた三葉と瀧は、それぞれ歩み寄っていく。すれ違ったところで瀧が話しかけ、2人とも互いに探していた相手だと分かり涙を流し、そして2人は同時に名前を尋ねた。
