1945年9月2日，在停靠于东京湾的密苏里号甲板上，日本代表在投降书上签字，宣告了日本军国主义的彻底失败。随后，位于中国和其他太平洋战场上的日军陆续向当地政府投降。
在日军投降之后，除了一些罪行深重的战犯外，大部分日本士兵陆续被遣返回国，但其中也有一部分日本军人留在了当地。
他们留下来的理由众多，有些不接受战败的事实，有些适应了当地的生活。而他们当中有的人弃恶从善，也有人继续为祸人间。
日籍解放军
1945年以后，有很多掌握技术的日本军人留在了八路军和新四军中，在军队建设方面发挥了贡献。
林弥一郎（后改名林保毅）出生于1911年9月，1932年被征召为日本陆军航空兵，1939年晋升至中尉，1941年以飞行地54战队第3中队长的身份参加太平洋战争。日本投降前，任关东军第2航空军独立第101教育飞行团第4连城飞行队长，少佐军衔。
日本宣布投降之后，林弥一郎拒绝向苏联投降，他带领部队出逃后遭遇八路军包围，经交涉后最终选择投降（日本方面的记述则称其带领部队躲进山中，在粮食吃尽的情况下准备向国民政府投降，却误投了八路军）。
由于当时中共尚无空军，林弥一郎等人的才能受到彭真等人的重视。1946年1月，东北民主联军（后来的东北人民解放军）成立了东北航空总队，林弥一郎任副队长兼参议。同年他又被任命为东北民主联军航空学校（东北老航校）的主任教官。
他和其他日本教官一起，培养出了解放军第一代飞行员，其中就包括曾在朝鲜上空击落29架美军战机的“王海大队”大队长，后任解放军空军司令的王海，以及空军副司令林虎、北京军区空军司令刘玉堤以及曾经击落美国空军王牌飞行员戴维斯的张积慧等人。
1956年8月，林弥一郎返回日本，回国后曾担任中日友好协会会长，并数次回到中国参加东北老航校成立的纪念活动。最终与1999年8月14日离世，享年84岁。
与其经历相似的还有日向胜（中文名林胜）。
日向胜1942年毕业于丰桥陆军预备士官学校炮兵科，被分配到日本陆军第34师团。后任警备小队长，军衔少尉。1944年日向胜被新四军俘虏，后加入新四军，因为新四军缺少正轨的炮兵训练，被任命为新四军炮兵训练负责人，后又任炮兵部队作战参谋，先后参与了孟良崮战役和淮海战役。
淮海战役后他又被任命为解放军二十九炮兵团一营营长，参与了渡江战役。1958年日向胜返回日本，回国前已经升任团级职务。回国后曾担任“日中旅行会社”关西支社长代理等职务。
原日本众议院议员，曾任厚生大臣和首相辅佐的户井田三郎也同样有解放军履历。他以军医身份被征召入伍，战后因为掌握医疗卫生知识被留在东北，先后成为八路军和解放军军医。在华期间他与同样被收编为随军护士的日本妻子结婚，并在河南省生下长子户井田徹，1953年携妻儿一同回国。
此外还有我们熟知的，曾参加抗战胜利70周年阅兵的小林宽澄老人。
协助国军的日本军人
除了加入中共之外，也有部分日本士兵选择加入国军。
日本中国派遣军总司令冈村宁次在向中国陆军总司令何应钦递交降书以后，就曾提议留下一部分暂时不缴械的日军帮助国军“剿共”，但遭到拒绝。而坐镇山西的阎锡山因为担心自身实力不足，与日本华北方面军第一军司令澄田来四郞达成秘密协议，使一部分日军在其庇护下整建制地被其收编。
澄田来四郞等人有着自己的目的，前山西省政府顾问辅佐官城野宏制作了名为《日本人的立场》的小册子在山西的日本士兵中传播，大意是美苏战争即将爆发，届时双方陷入争斗之中便可为日本的复兴来带机会，因此我们不能解除武装，必须保存实力。
但随着阎锡山的溃败，这些妄图东山再起的日本部队也随之被击败，最后一只残留日本部队在太原被解放后也被击溃，大部分都被解放军俘虏，，并在1954年之后被遣返日本，而事件的主谋澄田来四郞则在阎锡山的安排下提前逃回了日本。
此外还有曾任驻蒙军司令，1949年秘密渡航至台湾帮助蒋介石在金门战役抵抗解放军的根本博等人。
根据日本方面的统计，解放战争期间，共有大约5600人加入国共两方的阵营中作战。
除了中国，相似的情况也发生在越南、印尼和马来西亚等地，许多日本军人参与了当地的独立战争。但与中国情况不同的是，由于当地大多是先前被西方列强占据的殖民地，因此当地居民大多对将殖民者赶走的日本军队抱有好感，这些参与独立战争的日本士兵也普遍受到优待。
而除了这些加入当地军队日本士兵外，也有部分不承认战败，在战后几年甚至几十年间仍旧坚持游击，与当地警察和军队纠缠不休的日本军人存在。
负隅顽抗者
并非所有残留日本兵都选择与当地军队合作，他们中一部分人藏入山林之中，继续进行抵抗。之所以会这样做的理由也不尽相同，有些人因为种种原因错过了天皇宣布投降的广播“玉音放送”，有些则拒绝相信，认为这是一场阴谋。
横井庄一（よこい しょういち）
横井庄一生于1915年，曾于1935年被征召入日本陆军作为补充兵，4年后退役。1941再度被征召入伍，3年后被派往关岛。
同年7月，美军发动关岛战役。8月，横井庄一的名字便出现在了阵亡名单之上，1965年被日本政府授予勋七等青色桐叶章。
1972年，两名关岛当地的猎人在检查捕鱼陷阱时发现了横井。起初二人以为他是当地居民，但横井主动向他们发起攻击，二人在付出了一些轻伤作为代价后制服了横井，并将他送往当地政府。
起初横井一心求死，但在喝到了热汤之后态度开始软化，他向抓捕他的人道歉并表明了自己的身份。
原来当年的关岛日军被击溃后，其中的一部分人躲进了山中，因此错过了天皇的投降宣言。从此，他们开始了荒野求生的日子。
到横井被发现的时候，原本的12人中只有他一人活了下来，他的最后两名伙伴死于八年前的一场台风中。
不久之后横井被送回日本。由于在军中接受过严格的军国主义教育，横井庄一曾把“不能活着回国”当作信条，因此在机场见到前来迎接他的厚生劳动大臣和之后的记者会上，横井均说出了“怀抱着耻辱回来了”的话，这句话也成为了当年的日本流行语。
脱离文明社会将近30年，人们普遍认为他将无法适应现在的生活，但横井很快便习以为常，除了战后的通货膨胀以外。之后横井将自己的财产交由妻子管理，自己则成为了野外生存专家，在日本各地巡回演讲，1997年死于心脏病发作，时年82岁。
横井庄一虽然受到军国主义的洗脑，但他最终保留下了人性并适应了现代社会。与之相比，下面的这名残留日本兵则堪称军国主义的活化石。
小野田宽郎（おのだ ひろお）
小野田宽郎生于1922年，曾于1939年来到中国武汉，在田岛洋行汉口分店工作。
1942年小野田被征召入伍，1944年进入久留米第一陆军预备士官学校学习，同年毕业，因为精通英语和汉语，又被选拔进入陆军中野学校二俣分校学习，其后被授予预备陆军少尉军衔，同年年底被派往菲律宾卢邦岛执行作战任务。
1944年12月，太平洋战场上的日军已经处于崩溃的边缘。此时，小野田接到了上级师团长的命令，要他率领部队在岛上开展游击战，并强调说：
"玉碎便什么也做不成了，坚持三到五年，我们一定会回来迎接你们。在此之前一定要坚持，这段期间就算还有一个人活着，哪怕是吃椰果也要给我作战到底。我再说一遍，绝对不允许玉碎，明白了吗？"
1945年2月28日，美军在卢邦岛成功登陆，岛上日军大部分战死或投降，小野田宽郎则与伍长岛田庄一、上等兵小冢金七以及一等兵赤津勇一三个人一起躲入岛上的丛林之中，开展游击战。
同年8月15日，日本宣布无条件投降。为了让潜伏的残余日军出降，美军派遣大量投降的日本士兵来到各大战场开展劝降工作。
小野田曾接到师团长的游击命令，在临行前他还见到了日军高级司令部制定的，“关于日本本土被占领后继续与盟军战斗”的作战计划，他的母亲还在临行前送给他一把短刀，并交代“如果要被敌人抓住的话，就用它漂亮地结果了自己的性命”，以上原因都让小野田拒绝向盟军投降。
他说服自己和战友，这些都是敌人为了引诱他们出现设下的陷阱。其后他们继续执行游击和情报收集、谍报等任务。
卢邦岛位于马尼拉湾出口处，从这里可以观察到驻扎在菲律宾的军舰和飞机动向。小野田经常进行侦查活动，并将搜集到的情报结合自己的幻想进行脑补。
在小野田的想象中，日本本土虽然被盟军占领，但日军并未投降，他们仍然占据着中国东北与之进行对抗，因此他相信有朝一日援军一定会到来。他将朝鲜战争解读为东北的日军开始反击，将越战解读为日军重返太平洋，而劝降报纸上展示的日本现代化情况，反而更让他相信富强的日本是不可战胜的。
相较于横井庄一的自力更生，小野田等人则充分展现出其野蛮本性。他们经常骚扰岛上的村庄，抢夺粮食，打死打伤村民和军警。菲律宾政府则组织围剿，在这个过程中，小野田的一名队友投降，两人被击毙，但狡猾的他却数次避开敌人的追捕，成功逃脱。
1972年10月19日，小野田的最后一名队友小冢金七被当地警察击毙，成为二战当中最后一名被击毙的轴心国士兵。这件事引起了日本政府的重视，他们开始派遣人员来到菲律宾寻找小野田，并留下报纸、杂志以及小冢葬礼的照片。但小野田仍旧不为所动，他甚至决心继续开展游击9年，9年后便向附近的雷达站进行自杀冲锋以结束自己的生命。
1974年2月20日，小野田在丛林中与专程前来寻找他的日籍自由探险家铃木纪夫相遇。虽然此时他终于相信了日本战败的事实，却仍旧坚持要接到其上司谷口义美少佐的命令才肯投降。
铃木回国后几经周折，终于找到了已经更改姓名并成为一名书商的谷口。在铃木的请求下，谷口写下了一份要求小野田投降的命令，随后他与铃木一同前往菲律宾，亲自向小野田宣读了这份命令。
接到命令的第二天，小野田宽郎来到当地警察局，向菲律宾政府投降。
小野田在卢邦岛上潜伏了29年，期间他和她的队友共计打死了当地警民130人，因此他理应接受法律的制裁。但由于日本政府从中斡旋，时任菲律宾总统费迪南德·马科斯赦免了他，并允许他返回日本。
回国后的小野田拒绝了日本政府给予他的100万日圆补偿金，并将之捐给了靖国神社。他同样婉拒了天皇的接见，理由是担心听到天皇的道歉而难过。
小野田是个典型的旧日本军人，他在回国之际高喊天皇万岁，回国后经常组织右翼爱国活动，每当听见日本军歌便会流泪，被部分日本媒体称为“军国主义的亡灵”。与横井截然相反，小野田对战后日本的变化非常不适应，非常不理解日本新宪法中对于军事行动的限制。
媒体曾数次计划安排小野田与横井进行面对面谈话，但当小野田听说横井曾将天皇授予的刺刀用作挖掘工具后，便果断予以拒绝。
由于难以适应现代日本，小野田晚年移民至巴西定居并经营农场获得成功，随后他以“为祖国培养出健全的日本国民”为口号，创立了培训机构”小野自然孰“。
2014年1月16日，这个顽固的军国主义者于东京去世，终年91岁。
还有一人与小野田经历相似，但不同的是，他虽是日本兵，却非日本人。
史尼育唔（中村辉夫、李光辉）
史尼育唔，台湾阿美族原住民，日军高砂义勇队成员。
1930年10月，台湾爆发了原住民暴力反抗日本殖民统治的雾社事件，造成日本军民160余人死亡，震惊了日本政府和国际社会。虽然事件很快遭到平息，但台湾原住民在丛林中的优秀作战能力给日军留下了深刻印象。因此在太平洋战争期间，日军组织当地原住民成立了所谓“高砂义勇队”。
史尼育唔生于日据时期，被授予日本姓名“中村辉夫”。八岁起就读于公立学校，1943年被选入高砂义勇队当中。
1944年5月他随军队从高雄港出发，途径菲律宾，于7月到达印尼莫罗泰岛。
在上岸两个月后，美军开始发动进攻，不久日军战败，中村辉夫与部队被打散，迷失在丛林之中。在失去联络的情况，最终他被宣布“阵亡”。
和横井庄一一样，中村辉夫也没有听到天皇的投降宣言，原住民的优秀丛林生存能力让他得以在这个陌生的岛屿上独自存活下来。
他在丛林中搭建了一间竹屋，用三八式步枪子弹内的火药和放大镜生火，并通过挖坑堆积干木柴的方法保存火源。初期靠野果或偷取附近田地中的食物充饥，后来担心被发现，于是自行耕作了一块小田地，偶尔也制作陷阱捕猎鱼类和野兽。
每天清晨起床后，中村辉夫先用水洗脸，然后向着天皇皇宫的方向遥拜，随后做早操，生活十分规律。但中村并非孤独一人，他曾与一名当地岛民有过接触。
台湾南岛语言与印尼语同属南岛语系，相互间存在很多共同点，因此二人基本可以进行正常交流，很快就成为了朋友。
岛民偶尔会送给中村盐、糖、鱼等食物，在成为朋友后，曾试图告诉他战争已经结束。遗憾的是中村拒绝相信，并请求岛民保守秘密，不要让其他人知道自己的存在。
岛民一直信守与朋友间的承诺，但在病危之际他还是将这件事情告诉了自己的儿子。虽然他要求儿子保守秘密，消息还是不胫而走，在岛上流传开来。
1974年，曾参与莫罗泰岛战役，时任日本陆上自卫队军官的川岛威伸率领“遗骨收集团”到莫罗泰岛访问之时，听说了岛上还有残留日本兵的传闻。于是他马上联系印尼政府，组织人员在岛上搜寻。12月18日，一行人在发现其踪迹的区域高唱日本国歌《君之代》和军国主义歌曲《爱国进行曲》，终于吸引其露面，并在短暂的对峙后被说服，和搜寻人员一起回到了印尼莫罗泰岛空军基地。日本驻印尼大使馆也在接到发现残留日本兵的消息后，派遣武官会见了在医院接受检查的中村辉夫。
生于日据时期，自幼接受皇民化教育的中村辉夫毫无身为中国公民的自觉。当使馆武官告知他日本已经投降，台湾已脱离其统治时，他却用日语回应道：“日本は負けてはおりません、自分は日本に帰りたい（日本不可能战败，我想回到日本）。”在随后日本大使馆为其召开的记者会上，虽然为其准备了母语翻译人员，但他依旧坚持全程使用日语。
中村辉夫在日本获得了“最后的帝国军人”的称号，日本政府授予其“二阶级特进”兵长，同时他还收到了补偿金与捐款共计日元800余万。
尽管如此，因为思念故乡的原因，中村最终还是选择了中国身份。他取中文名李光辉，于1975年1月8日乘飞机回到台湾。但在回国后的日子并不美满，他先是在听闻妻子早已与其离婚后，盛怒之下将妻儿从乘坐的车上赶下并缺席了专门为他举办的欢迎会，其后因为获得巨款而与同乡人疏远。李光辉整日暴饮暴食，大量吸食香烟与槟榔，仅仅过了四年便死于肺癌，终年59岁。
特殊潜伏者
除了以上原因外，残留日本兵中也有带着特殊任务进行潜伏的人存在。
深谷义治（ふかたに よしはる）
深谷义治出生于1915年，1937年进入浜田步兵队，1939年又被配属至北平日军宪兵司令部教习队，系统学习了中文、历史、地理、中共与国民党党史、情报与谋略等课程，并以优异的成绩毕业。
1940年底，深谷接受秘密任务，他化名尤志远与一名上海女子结婚，伪装成中国人进行了一系列间谍活动，包括成功在上海制造并散播假币造成金融系统混乱，他也因此获得了日本政府颁发的宝瑞章。
日本战败后，由于身份没有暴露，深谷接到上级命令让他继续潜伏，伺机而动。
1955年上海市公安局接到群众举报，称其亲戚尤志远是日本特务。在进行了详细的调查后，深谷义治于1958年被逮捕。但由于其拒绝承认间谍事实，公安机关又没有掌握确实的证据，因此直到1974年才宣布判处其无期徒刑。
1972年中日邦交正常化，1978年两国签订了《中日友好和平条约》，深谷义治获得特赦，得以返回日本。
回国后的深谷因为政府发放的补偿金遭人冒领，被日本政府视为流亡者，晚年陷入贫困之中，2015年因肺炎去世，终年99岁。
除了这些潜伏抵抗者外，还有一名被当地同化而消失在人们视野中的日本士兵，见《石田东四郎：被拯救的生命与心灵》
另见残留日本兵特别篇：《安塔纳汉女王事件：一个女人和三十二个男人的荒岛求生》