但出乎意料的是，直奉开战，不到一周，奉军便被吴佩孚击败，狼狈退回关外，南北夹击直系的计划，化为泡影。
但南方的北伐，却如弦上之箭，不得不发了。
五月八日，南方大总统委任陈炯明的部下叶举为粤桂边督办，以示对粤军的信任。
五月九日，南方大总统在韶关大誓三军，旌麾北指；“出师宗旨，在树立真正之共和，扫除积年政治上之黑暗与罪恶，俾国家统一，民治发达”。
然而陈炯明的部下叶举，对南方大总统的信任并不领情。
五月二十日，他率领六十多营粤军，突然开入省城。
粤军虽然打着迎陈复职的旗号，但内部已经开始分化。
一派要求陈炯明马上回省，恢复所有职务，镇摄大局；另一派则不满陈炯明对南方大总统的态度过于软弱，希望由叶举来领导粤军，与南方大总统彻底决裂。如果陈炯明不同意，就请他出洋，或者继续留在惠州休养。
五月三十一日，上海《申报》的一篇文章，透露了粤军内部的分歧：“现在陈之部曲，亦分两派，一主张陈氏即速回省，则大局立定；一主张陈氏不可造次，俟解决完妥后，始可返省。”
陈炯明则在惠州隐居。各界吁请陈炯明回省的函电，铺天盖地，见诸报端；前往劝驾的使者，车水马龙，络绎不绝。
甚至连陈.独.秀也到了惠州，劝陈炯明不如加入共.产.党，领导华南地区的革.命。
一九二二年六月一日，南方大总统率领两个营的警卫，从韶关返回被粤军重重包围的广州。
六月二日，南方大总统在总统府设宴招待粤军将领，竟没有一个高级军官应邀前来，只来了几个中下级军官。
他对那几个小军官说：“告诉你们的长官，不要以为据守白云山，便可胡作非为，我立刻上永丰舰，升火驶入东江射击你们，连你们的根据地也一并铲除！现在东江水涨，永丰炮舰可以直行驶入陈炯明的老巢！”
南方大总统一连拍了三封电报，要求陈炯明立即到广州面商一切，又派人到惠州催驾。但陈炯明拒绝在这个时候到广州，他说，在省城军队撤出之前，他都不打算到广州。显然，他不希望被人误解。陈炯明曾经说过，一旦粤军叛孙，则“天下之恶皆归焉”，这是他所不愿意看见的。
六月十二日南方大总统召集广州各报记者举行谈话会，表示对“陈家军”的态度：
“我北伐的目的，在于打破北方武人的专制，不料广东军人武武相护，反对北伐。陈竞存（炯明）本人出身秀才，他反对北伐可能是由于政见不同，他的部下反对北伐，却是为了拥护武力。我出兵八月没有获得进展，问题在于武人专制，在后方掣我的肘。我改道江西北伐，是由于湘赵（指赵恒惕）表示服从，成为我们的友军，所以取道湖南，我们必须走到岳州才能遇见敌人，出兵江西，则走出广东一步就可以遇到敌人。不料陈竟疑心改道是为了要对付他们。我由广西回到广州后，北伐军乘车向北江出发，陈竟存才知道我并无不利于他的企图。但是陈家军由南宁开回，在浔州举行秘密会议，歃血为盟，他们一定要恢复陈总司令的职权，否则誓不罢休。他们经过肇庆、三水、河口开到广州，其兵力共有六十营，这时，北伐军义愤填膺地请求我回师平乱，我劝他们按照原定计划继续北伐，后方问题由我负责处理。
“我回到广州已有十多天，而陈竞存和他和部下没有一个人前来见我，却用兵力威胁，向我索讨军饷。他们口口声声说我不应当罢免他们的总司令。各位都知道，废督裁兵是我回到广东定下的大政方针，总司令是变相的督军，陈竞存没有反对裁撤总司令的任何理由，何况总统有用人行政之权，任何人都不应反对。我今天委曲求全，派陈竞存以陆军总长兼办两广军务，算是仁至义尽。而陈系军人却继续张牙舞爪，我回广州如果自己没有把握，决不会投入陈系六十营军队的大包围中。我为了保全广州秩序，今天特请舆论界来讲讲道理，希望你们在十天内将陈系军人不法行为尽量揭露，告诫他们全部移驻广州城外三十里，听候宽大处置，否则我一定顺从民意，加以驱逐。有人叫我孙大炮，我以前用炮打过莫荣新，今天将以同样的大炮去打这些不听命令，目无法纪的陈家将！”