Während der Nara-Zeit (719 - 794) wurden die Schwerter in Japan noch vom asiatischen Festland importiert. Erst allmählich begann man, zuerst in der Gegend um Yamato, mit der eigenen Herstellung. Wurden die frühen Schwerter vor allem als Stichwaffen eingesetzt, entwickelten sie sich im Laufe der Zeit zu Hiebwaffen. Bis zur Heinan-Zeit (zweite Hälfte des 12. Jahrhunderts) hatten sich die Schwerter so entwickelt, wie sie heute noch gefertigt werden.

Infolge der zunehmenden kriegerischen Auseinandersetzungen zwischen mächtigen Feudalgeschlechtern entstanden in allen Teilen Japans immer mehr Produktionsstätten für Schwerter. Meisterschmiede gaben ihr Wissen weiter an ihre Schüler und es entstanden die Schwertschulen. Wer sich einen Namen machen konnte, war in der Gesellschaft hoch angesehen. Hochqualifizierte Schmiede wurden oftmals von einem Fürsten angestellt, damit sie nur noch für ihn produzierten.

Vor allem in der Sengoku-Zeit (1467 - 1603), als auf den japanischen Hauptinseln Honshū, Shikoku und Kyūshū verschiedene Clans um die Vormachtstellung kämpften, wurden Unmengen von Waffen benötigt und die Schmiede hatten sehr viel zu tun. Deshalb ist es nicht verwunderlich, dass man heute noch sehr viele Schwerter aus dieser Zeit findet.

Nach dem Tokugawa Ieyasu den mehr als 150 Jahre dauernden Bürgerkrieg beenden konnte, brach ein ruhigere Zeit an. Es wurden weniger Schwerter für den Kampf benötigt und der Niedergang der hohen Schwertschmiedekunst wurde langsam eingeleitet. Als mit der Meiji-Restauration (ab 1868) das Shogunat abgeschafft wurde und auch das Tragen von Schwertern verboten wurde, waren auch die letzten Schwertschmiede ihren Job los.

Man geht davon aus, dass es in der Geschichte Japans etwa 20'000 Schwertschmiede gab, heute sind es noch ein paar Duzend.