1926年10月，张灵甫毕业于黄埔军校，被分配到蒋介石的第一军。张灵甫在作战中因表现良好，一路从基层军官开始，历任排长、连长、营长、团长等职。 1933年，他与来自四川广元的女学生吴海兰结了婚，很快还生了一个女儿，家庭生活还是比较幸福的。
可是后来出乎意料的是，不知道为什么张灵甫举枪杀害了结发妻子吴海兰，到目前为止还有疑点。
吴海兰是四川广远人，属于小家小家碧玉型，上过女子学堂，有文化，年轻美丽。
1935年，张灵甫带着他的妻子回了他的家乡，借住在西安张灵甫堂哥的家中，就在这里他杀死了妻子吴海兰，就是轰动一时的“团长古城杀妻案”。
关于为什么张灵甫要杀死他的妻子，最多的说法是“因为妻子有外遇”。张灵甫个性内向，脾气暴躁。当他听说他的妻子和别人有暧昧时，他没有问妻子半个字，就假装让他的妻子去后院割韭菜，当妻子弯腰割韭菜时，他拿出手枪杀了他的妻子。
后来，还有另一个说法，就是吴海兰偷了张灵甫的文件。据张灵甫第四任妻子王玉龄向外界透露吴海兰偷了他的的重要文件，并问了她多次，她都拒绝承认，回家时，经过母亲的墓地，让吴海兰给母亲祭拜，吴海兰还是拒绝，回到家中，她也一直板着脸，张灵甫继续盘问文件的下落，吴海兰还是不理他，失去理智的他对吴海兰痛下杀手。
就包括张灵甫和吴海兰的女儿张清芳的四伯张秀甫曾也跟她是这样说的，是她的母亲偷了父亲的重要文件，还不承认父亲才痛下杀手的。
所以后来张灵甫因谋杀而进入监狱，被判处十年。
在南京“监狱”服刑时，由于表现良好，在监狱待了一年多，又回到了战场，还娶了第三妻子王玉玲。
