В 1921 году Komatsu основалось как маленькая строительная мастерская по ремонту техники в городе Komatsu на западном побережье Японии предпринимателем Meitaro Takeuchi . Этому предшествовала организация в 1917 году Komatsu Iron works Division для производства угольного и горного оборудования. Для этого инженеры, работающие в Komatsu, прошли обучение в Европе и в США, ориентируясь на международный уровень. Датой основания компании считается 13 мая 1921 года, когда Komatsu Iron Works отделяется от Takeuchi Mining Co., и становится Komatsu Ltd.
Первое время она занималась гусеничными тракторами, бульдозерами, вездеходами, бронетехникой, гидравлическими прессами, погрузчиками, кранами и экскаваторами. Лишь в 1951 году по образцу американских автомобилей “Юклид” (Euclid) был построен первый 15-тонный самосвал “HD150”, очень похожий на советский МАЗ-525.
1953 стал годом создания первой базы компании в Точиге, которая специализировалась на производстве вилочных погрузчиков.
Примерно в 1955 году Komatsu стало «тесно» в Японии. Поэтому была произведена первая экспортная поставка техники в Аргентину, а именно автогрейдеров «GD37».
В 1964 году компания Komatsu открыла свой первый зарубежный филиал — в Индии, а уже в 1967—1971 годах — целый ряд филиалов на территории Европы, Азии и Америки, в том числе и филиал в Советском Союзе.
1975 год ознаменовался открытием первого завода Komatsu на территории зарубежья, а именно в Бразилии. Вскоре после него последовало создание заводов в Индонезии в 1982 году, заводов в Англии и США — в 1985 и 1986 годах соответственно.
В 1986 году было создано ещё одно совместное предприятие в Германии с компанией Hanomag, которое в 1995 году получило название «Komatsu — Hanomag».
В 1988 году компания Komatsu осуществила первое интернациональное поглощение американской компании Dresser. Сперва в соотношении 50:50, однако уже в 1994 году произошло стопроцентное поглощение данной фирмы, которая в 1996 году стала называться «Komatsu America International Company».
1995 год стал годом открытия фирмы «Komatsu Saigon Co. Ltd» во Вьетнаме, «Bangkok Komatsu Co. Ltd» в Таиланде, а также, основания «FKI Fai Komatsu Industries S.p.A.», которая в 2000 году была переименована в Komatsu Utility Europe S.p.A. в Италии. Именно тогда в 1995—1996 годах были созданы три дочерних компании в Китае: «Komatsu Shantui Construction Machinery Co. Ltd», «Komatsu Changlin Construction Machinery Co. Ltd», а также, «Komatsu (Shanghai) Ltd».
В 1996 году в Германии была создана «Demag Komatsu GmbH», однако в 1999 году, когда она стала на 100% дочерним предприятием Komatsu, её переименовали в «Komatsu Mining Germany GmbH».
В 1998 году была основана компания «Komatsu Brasil International Ltd» в Бразилии. Это было совместное с Американской фирмой «Cummins Engine» предприятие «Industrial Power Alliance Ltd», которое специализировалось на разработке и производстве двигателей, а также, ещё одного совместного предприятия — в России, с компанией «Kraneks International Company Limited».
В 2004 году была основана фирма «Komatsu Forest», а также компания «Komatsu Forklift (Shanghai) Co. Ltd» на территории Китая. И уже в 2007 году была создана компания «Komatsu India».
В 2010 году открылся самый большой на данный момент в Европе завод «Komatsu Manufacturing Rus» в Ярославле, на территории России.
Сегодня Komatsu представляет собой концерн международного уровня, который включает в себя 47 заводов-производителей, а также, 144 продающих и обслуживающих компаний, которые расположены на всех континентах Земли