爱情给了他事业的动力，但没给他事业上的运气和能力。结婚不久格拉特就跟随部队到俄勒冈州，可能是因为想念新婚的妻子，他在部队老是酗酒，最后被布坎南赶回家去。
后来格兰特就过上了倒买倒卖的生活，可自从他做上生意后，家里的生活没变好反而更加艰难了，掉入了打工还债的无底洞。妻子在不断生孩子，他也只能东奔西走去打工。
中年的格兰特欠了一屁股债，家人都远离他，过得非常痛苦。19 世纪50 年代后期的美国酝酿着一场巨大的政治风暴，南北分裂的局面正在形成。1860年，主张解放黑奴的共和党人亚伯拉罕·林肯当选为总统。
南方各州纷纷退出联邦组成“南部同盟”，并于1861年4 月向北方发动战争。至此，美利坚合众国完全分裂，南北战争开始。格兰特原来是支持民主党的他的父母都是很激进的废奴主义者，然而他的妻子却是拥有黑奴的奴隶主。
当朱丽亚嫁给格兰特，从自己的娘家带来四个黑奴作为嫁妆。直到1863年的《废奴宣言》的发布，这四个黑奴始终是格兰特家“财产”的一部分。在1859年3月12日，格兰特在给他父亲的信中很坦白地说：“如果没有了这些黑奴，朱丽亚无法正常的生活。”
而在1858至1859年，格兰特自己也买了一个30多岁的黑奴威廉-琼斯。这种情况也导致了他家庭成员之间的矛盾与不和。 1856年11月的总统选举中，他曾投票选举民主党总统候选人詹姆斯·布坎南。
他在自传中说：“我很清楚，如果一位共和党人在1856年的大选中当选为总统，那就意味着南方蓄奴州将脱离联邦，并进行叛乱活动。”聪明的茱莉亚觉得，她老公的机会来了。