Когда в июле 1937 года вспыхнул очередной японо-китайский инцидент, японские армейские ВВС оказались без дальнего бомбардировщика, способного наносить удары по стратегическим целям. В результате Япония закупила около 80 итальянских бомбардировщиков Fiat BR.20. Этот самолет оказался не слишком удачным, но уже в декабре 1938 года на вооружение поступил новый японский дальний бомбардировщик Mitsubishi Ki-21 (Type 97).

Проектирование самолета Ki-21 началось в феврале 1936 года. Это был двухмоторный цельнометаллический свободнонесущий моноплан полумонококовой конструкции с работающей обшивкой. Вместе с превосходной аэродинамикой и современной конструкцией самолет имел и недостатки: слабое оборонительное вооружение, незначительная боевая нагрузка, отсутствие бронирования экипажа и протектирования баков. Hо зато он был быстрее любого другого бомбардировщика такого же класса и имел большую дальность полета.

Первый прототип Ki-21, оснащенный двигателем Mitsubishi Ha-6 мощностью 825л.с. с трехлопастными винтами, взлетел в декабре 1936 года. Экипаж состоял из четырех человек. Два пилота располагались рядом, в носовой части было оборудовано место бомбардира, вооруженного одним 7,7-мм пулеметом, стрелок-радист находился в стрелковой башне с таким же пулеметом и еще один пулемет был установлен в нижнем люке. На втором прототипе от стрелковой башни отказались из-за ее большого воздушного сопротивления. Бомбоотсек, в котором помещалось до 1000кг бомб, размещался под лонжеронами центроплана. Шасси убирались гидравлически.

Одновременно с Ki-21 проходил испытания бомбардиовщик Nakajima Ki-19, который обладал схожими характеристиками, но был оснащен двигателями Nakajima Ha-5 мощностью 890л.с. Явного победителя конкурса определить неудалось и компании Mitsubishi предложили доработать свой самолет с установкой двигателей Nakajima Ha-5 и более обтекаемой носовой части по типу Ki-19. Уступ в нижней части фюзеляжа был устранен, оперение было незначительно изменено. Осенью 1937 года доработанный Ki-21-I показал полное превосходство над своим конкурентом и был запущен в серийное производство.

С началом боевого применения стало очевидным недосточное оборонительное вооружение бомбардировщика Ki-21. При дневных налетах без истребительного прикрытия их потери были весьма ощутимыми. На модификации Ki-21-Ib добавили четвертый пулемет для стрельбы через боковые окна, а в хвосте установили один пулемет неподвижно. Бензобаки были частично протектированы, введено бронирование мест экипажа. Кроме этого была увеличена площадь закрылков и хвостового оперения. В заднем бомбоотсеке модификации Ki-21-Ic устанавливался дополнительный топливный бак, при этом бомбы подвешивались на внешних держателях. Увеличение взлетного веса привело к усилению стоек шасси и увеличению диаметра колес. Новые модификации быстро сменили Ki-21-Ia в подразделениях первой линии, а снятые с вооружения самолеты передавались в летные школы или переделывались в транспортные под обозначением MC-21. На этих самолетах снималось вооружение, заделывался бомболюк и удалялся верхний фонарь стрелка. В основном транспортные MC-21 перевозили срочные грузы, но мог перевозить и до 10 десантников.

Девять самолетов Ki-21 использовались в операции десантного отряда Giretsu, атаковавшего американские аэродромы на Окинаве. Чтобы увеличить дальность полета, с самолетов сняли оборонительное вооружение, а в их бомбоотсеках разместилось по 12 десантников с толовыми шашками. Два самолета были потеряны во время перелета, еще шесть было сбито американскими истребителями при подлете к острову. Лишь один самолет сумел достигнуть аэродрома и сел, не выпуская шасси. Всего за несколько минут десантники сумели уничтожить склад горюче-смазочных материалов и семь самолетов, но авиабаза была выведена из строя всего на несколько часов.

На модификацию Ki-21-II установили 14-цилиндровые двухрядные двигатели Mitsubishi Ha-101 мощностью 1500л.с. Увеличение диаметра мотогондол позволило полностью убрать колеса шасси в гондолы. Для сохранения центровки стреловидность крыла увеличилась до 10°. Испытания этого варианта начались весной 1940 года и в начале 1941 года Ki-21-II начал поступать на вооружение.

С началом войны на Тихом океане японские бомбардировщики столкнулись с современными американскими и британскими истребителями. На модификации Ki-21-IIb установили сферическую стрелковую башню с крупнокалиберным пулеметом, усилили бронирование, но это лишь немного улучшило живучесть самолета. Однако японские ВВС продолжали использовать устаревший бомбардировщик, так как созданный ему на замену самолет Nakajima Ki-49 оказался сложным в управлении и нес небольшую боевую нагрузку.

Производство самолетов Ki-21 продолжалось до сентября 1944 года. Только с запуском в серию бомбардировщика Ki-67 начался вывод Ki-21 из боевых частей. Но самолет продолжал использоваться для тренировки экипажей и в качестве транспортного до конца войны.