孙中山对他的信任，奠定他在国民党里的大哥的地位，从而埋藏着与蒋介石矛盾的伏线。
曾有机会掌握大权
孙中山病逝北京，时人都猜想：谁能登上国民党的“一哥”宝座？胡汉民仍在代理大元帅，但文质彬彬，充满书生气的人尽管是“元帅”，又怎能登上第一把交椅。结果，他在广州第三公园，代表国民党中央执行委员会宣布汪精卫为主席。自己也辞去代理大元帅和广东省省长职务，当上外交部长。
廖仲恺在广州遇刺，汪蒋乘机陷害，派士兵将他拘禁在黄埔，胡汉民被迫出走苏联。半年里，他思想发生转变，盛赞孙中山“以俄为师”的决策。当然与蒋的矛盾再度升级。1931年2月，时任立法院长的他再次被抓，软禁汤山，此事犹如原子弹爆炸，国民党各派系明显分裂了。南京政府的文官长古应芬第一个提出辞职，并南下广州策动陈济棠一道反蒋。5月3日，两广将领陈济棠、李济深等数十人联名通电，要求释放胡汉民，限令蒋介石48小时内下野，表示“不达目的誓不罢休”。5月27日，“国民党中央执监委非常会议”在广州召开。次日，另一个“国民政府”在广州成立，“宁粤之争”开始。
同年10月，胡汉民获释，寓居香港，凭借粤、桂地方势力继续与南京分庭抗礼。不久，与邹鲁等人着手组建“新国民党”。按他的解释是。国民党在蒋介石把持下腐化败坏，完全丧失了早先的“革命精神”，坠落为军阀工具。为“拯救本党”，先生便是“重建新党，使党成为真的革命组织”。胡汉民指示，“新国民党”发展党员要“秘密推进”，只许“反蒋最坚决的人”参加。截至1934年10月，“新国民党”登记在册的党员超过2700人，以后又有逾千上万人“集体加入”，当时的广东省政府财政厅，每月提供5万元作为活动经费，由于“新国民党”主张抗日，在北京发展颇有声势，冯玉祥等爱国将领也积极响应。至此，胡蒋对峙局面形成。
1935年秋，在邹鲁的撮合下，胡、蒋有“合作之意”。同年12月，借口在法国休养实际静观形势的胡汉民，被国民党“五全大会”推选为中央常务委员主席（蒋介石为副主席、军委会委员长兼国府行政院长）。胡汉民答应从法国归来，国内引起一场欢迎热潮，广东各界专门组织了“欢迎胡汉民先生回国主持救国大计大会”。南京有数十个民众团体成立了迎胡入京的组织，上海也准备开欢迎会，并由《新闻报》、《申报》等报纸登载欢迎特刊。
1936年1月25日，胡汉民经香港回到广州。5月，正当人们以为胡汉民有机会掌握大权的时候，突然变故发生了。
在矛盾和忧愤中离开人世
去南京，还是留在广州，胡汉民拿不定主意。到南京获得实权固然好，但据他对蒋的了解，此行多是劳而无功，凶多吉少。经过数十天的活动和思考，终于决定还是留在保险系数较高的广州。陈济棠自然千方百计挽留，为的是把他作为与南京抗争的政治筹码。陈表面上毕恭毕敬，暗地里却害怕胡汉民改变主意，派卫兵形影不离地跟着“保护”。日本人也在打主意，要求胡与他们合作。
发动抗日运动的幻想成了泡影，北上的路又行不通。他恨陈济棠，又离不开陈济棠，胡汉民陷入深深的矛盾和忧愤之中。
1936年5月9日上午，胡汉民发表谈话，猛烈批评南京政府公布的“宪法草案”，说其内容有不少反三民主义的地方。
是日下午3点，胡汉民为义女钟慧题写了李泰伯的对联“与影有情唯日月，遇红无礼是泥尘”。接着，到妻兄陈融的别墅颙园（位于今东风路省政府大院内）。晚饭后，与陈家的教书先生潘景夷下象棋，中了风，血压为135-110，左侧半身瘫痪，诊断为右侧脑溢血，即用冰囊敷头部及热敷下肢。
当晚10点，胡汉民从昏迷中醒来，神志略清。对死，他似乎并不畏惧，1920年当广东省长的第三天，广西军阀沈鸿英邀请他到广州江防司令部开会，突然沈的部下疯狂扫射会场，胡汉民的两个卫兵当场被打死，他逃到楼下，幸亏有人制止，才得以脱身。此时，他自知病情严重，传唤西南党政军要人萧佛成、陈济棠、邹鲁等及夫人陈淑子、女儿木兰、堂弟胡毅生来床前，口述遗嘱，由萧佛成记录，全文如下：“余以久病之躯，养疴海外，迭承五全大会敦促，力疾言还，方期努力奋斗，共纾国难，讵料归国以来，外力日见伸张，抵抗仍无实际，事与愿违，忧愤之余，病益增剧，势将不起。自维追随总理，从事革命30余年，确信三民主义为唯一救国主义，而熟察目前情势，非抗日不能实现民族主义，非推翻独裁政治不能实现民权主义，非肃清共匪，不能实现民生主义，尤盼吾党忠实同志切实奉行总理遗教，以完成本党救国之使命，切嘱。”
5月11日下午，胡汉民发高烧至40.2℃，血压为230-150.脉搏每分钟135次，呼吸每分钟42次。其神志昏沉，病情日益加重。12日晚上7点40分，胡汉民在颙园停止呼吸，终年58岁。当晚，西南执行部和西南政务委员会致电国民党中央并通电全国，宣布了胡汉民的死讯，治丧委员会由邹鲁、陈融、林翼中等人组成。
祭祀葬礼隆重其事
尽管胡汉民从未亲到南京出任“主席”一职，但也可以享受最高的祭祀和葬礼。13日下午4点，大殓在广州中山纪念堂举行，全国政要名人纷纷前来致祭，南京政府派来了立法院长孙科、司法院长居正等。25日是全国公祭胡汉民第一天，上午从7点45分开始，中央代表居正、孙科和许崇清等人最早进入会场。公祭仪式的次序是：全体肃立、主席就位、奏哀乐、行祭礼、鞠躬、献花、默哀、宣讲祭文、行三鞠躬礼、再奏哀乐。正午12点，广州的工厂鸣汽笛，车辆行人一律停止3分钟，飞机在天上散发宣传品数十万份。参加公祭者均送纪念专刊、三民主义月刊各一册，主办者还专门将《胡汉民遗教》印成英文小册送给外国人士。是日，各大报章在显著位置刊登了汪精卫和蒋介石的祭文。在中山纪念堂内正中，上悬“聪明正直”四字，左右对联为“一代楷模当尊李杜，千秋功业人仰伊周”。灵前及礼堂各处均有童军守护。
78岁的胡汉民养女胡琦霞回忆说，得知父亲逝世的消息，她正在香港岭南小学读二年级，赶来广州参加祭礼。当时中山纪念堂里的地板上铺满了松柏，绿色一片，家属全部集中在左侧的布帐后，只要有人前来祭拜，他们便要出来陪同站立。她当时才7岁，在她的印象中，最难捱的是时间长和天气热，晚上也不能回家，只能在布账里面席地而睡，那时并无风扇空调，佣人们买来大冬瓜，她抱着冬瓜睡觉，以此纳凉。据说，3天在广州参加公祭者有40多万人，其中最后一天，即27日超过20万人。
7月13日是奉移（送葬）大典。清晨6点，宣德路一带己是军警林立，夹道看守，并有各校童军分段服务，一时间战马嘶鸣，人影丛集。各路人马从原来集中的吉祥路、莲塘路、镇海路、宣德路、盘福路、长庚路、西门口等地点一齐行去中山纪念堂。在举行过一系列仪式后，10点10分，送葬队伍开始出发，一直走向黄花岗。是日天气炎热，队伍行到大东门一带，时值中午，参加者无不挥汗如雨，道旁有不少工作人员分发茶水，胡琦霞回忆说，她跟随母亲兄姐等，披麻带孝，在灵柩后的一个大白布做的帐篷里面向前行走，从纪念堂走到黄花岗，小小年纪的她，可以说是一次“长征”。在黄花岗设有一个休息亭，队伍在此解散。官员代表以及亲属则在此乘坐汽车前往龙眼洞斗文塱--胡的墓地。
71年过去了，胡琦霞说，胡汉民当时被埋在一大土堆里面，大批用来兴建陵墓的石块放置一旁。后因日军侵占广州，胡汉民的墓未有完成，一直是个大土包而已。抗战胜利后的1947年，她和亲属曾到龙眼洞拜祭父亲，那时土坟还在，旁边也还有不少遗留下来的石块。记忆中，当时的胡宅位于香港干德道33-35号（在半山区，今天该房屋己拆，改建成屋村了），小时候她的乳名叫“虾女”，父亲对她也十分宠爱，在花园里看她打秋千，跟她一起玩耍，在7岁的她的脑海里胡汉民是一个慈父印象。也是这个缘故，在上世纪80年代，当广东省人民政府决定拨款7万多元重建胡汉民墓时，胡女士积极为此事奔走，该墓园终于在1985年8月落成，是广州市保护文物单位。
余音：
胡汉民病逝后，陈济棠势力仅几个月后便被蒋介石瓦解，“南天王”陈济棠下台。有人戏称：为胡送葬，也为以陈济棠为代表的西南反蒋势力送葬，关于胡汉民跟随孙中山，却一直未能正式坐上国民党政府的第一把交椅，李宗仁如是说：“至于胡汉民，则确为一守正不阿，有为有守的君子。然胡氏的器量亦极狭隘。恃才傲物，言语尖刻，绝无物与民胞的政治家风度。当时党内自元老以至普通党员，没有人对展堂先生不表示尊敬，然也没有人觉得展堂先生足以为全党一致归心的领袖。因胡氏的天赋，为治世的循吏则有余，为乱世旋乾转坤的领袖却不足。”

胡汉民