孙中山大元帅本营的建立，为中国共产党在广州从事革命活动提供了有利条件。为了统一全党思想，确定国共合作的方针、政策和策略，1923年6月10—20日，中国共产党在广州召开了第三次全国代表大会。出席这次大会的有陈独秀、李大钊、毛泽东、蔡和森、张国焘、谭平山、瞿秋白、张太雷等30多人，代表党员420人。共产国际代表马林也参加了大会。大会主要议程是根据共产国际的决议，讨论共产党员加入国民党的问题。
在中共“三大”召开之前，共产国际第二次代表大会通过了列宁起草的《关于民族与殖民地问题的决议》，指出：“共产国际应当同殖民地和落后国家的资产阶级民主派暂时合作，甚至结成联盟，但是不要与之混为一体，甚至当无产阶级运动还处于萌芽状态时，也绝对要保持这一运动的独立性”，“各国共产党应以实际行动帮助这些国家的革命解放运动，而帮助的形式应与各该国共产党（如果有共产党）讨论”。中国共产党在共产国际的指导下，于1922年4—5月间和8月底先后召开了广州和杭州西湖两次重要会议，初步确定了国共合作的方向。1923年1月1日，共产国际执委会又通过了由布哈要等人起草的《关于中国共产党与国民党关系问题的决议》。5月24日，共产国际还专门发出一项《对中国共产党第三次代表大会的指示》。根据上述决议和指示，中国共产党决定在广州召开第三次全国代表大会。会前的事务性工作，由广东区代表谭平山、冯菊坡、刘尔崧、罗绮园等人负责筹备。为了召开“三大”，5月，中共中央机关迁来广州，陈独秀、毛泽东、蔡和森、向警予、张太雷、瞿秋白，以及共产国际代表马林也先后来到广州。大会在广州恤孤院后街31号（现为恤孤院路3号）一幢普通居民住宅召开。在讨论中，大家对实行国共合作和共产党员加入国民党问题，原则上取得了一致意见，但是在如何理解和实行国共合作问题上，却发生了严重的分歧和激烈争论，中心问题是：共产党员要不要全体加入国民党？要不要在工人群众中发展国民党组织？后一问题，尤为争论的焦点。围绕着上述问题，大会出现了完全对立的两派意见，一派以马林、陈独秀为代表，主张共产党员应全体加入国民党，并应在工人群众中发展国民党组织，认为只有“一切工作归国民党”，“才能增强国民革命的力量”，另一派以张国焘、蔡和林为代表，反对全体共产党员加入国民党，尤其反对在工人群众中发展国民党的组织。实际上“两种倾向都有错误，都是很幼稚的”。大会既反对了张国焘为代表的“左”倾观点，对马林提出的“一切工作归国民党”等否认共产党的独立性的右倾观点也没有完全接受。最后，会议通过了《关于国民运动及国民党问题的决议案》，指出：“半殖民地的中国，应以国民革命运动为中心工作”，“中国现有的党，只有国民党比较是一个国民革命的党”，“共产党党员应加入国民党”，并“努力扩大国民党的组织于全中国，使全中国革命分子集中于国民党，以应目前中国国民革命之需要”，同时“我们加入国民党，但仍旧保存我们的组织，并须努力从工人团体中， 从国民党左派中，吸收真有阶级觉悟的革命分子，渐渐扩大我们的组织，严谨我们的纪律，以立强大的群众共产党之基础”。
大会通过了《中国共产党第三次全国代表大会宣言》和党纲、党章草案、党员入政界决议等，改选了中央委员会，选出中央委员9人，候补中央委员5人。由陈独秀、毛泽东、罗章龙、蔡和森、谭平山等5人组成中央局，陈独秀为委员长，毛泽东为秘书。
在广州召开的中国共产党第三次全国代表大会，正式确定了国共合作的方针，对促进中国反帝反封建革命统一战线的形成和革命形势的发展具有重大意义。此后，在中国共产党和共产国际的帮助下，国民党加快了改组步伐。