Il termine tatami deriva dal verbo tatamu che vuol dire proprio “piegare” in quanto il tatami prima era un vero e proprio tappeto, quindi si poteva ripiegare e mettere da parte oppure essere accatastato in vari strati. 
Il tatami risale al periodo Heian ed era un bene di lusso, quindi non conosciuto a tutti, ma bensì alla nobiltà soltanto. In questo periodo era in voga uno stile architettonico definito Shinden-zukuri che prevede camere sontuose con una pavimentazione principalmente in legno. Il tatami quindi veniva utilizzato sostanzialmente come un posto a sedere. Nel periodo successivo, il periodo Kamakura era in auge un altro stile architettonico, chiamato shoin-zukuri, che riguardava per lo più le residenze dei samurai o dei sacerdoti che erano al potere in quei tempi. Durante il periodo detto Muromachi, questo stile architettonico raggiunge il suo apice e si sviluppa notevolmente. In questa fase il tatami viene a ricoprire interamente la pavimentazione di intere stanza, prima di quelle più piccole e poi di quelle più grandi. Le camere che sono interamente rivestite con il tatami vengono chiamate zashiki (che letteralmente vuol dire “camere adatte per sedersi”).
In Giappone in tempi antichi erano le norme di comportamento ed il “galateo” a stabilire come doveva essere disposto il tatami nelle stanze.