他上任后做的第一件事是令总务厅将外交部门前的下水道疏通。原来的总理衙门前下水道淤塞，每逢雨天，门前积水就很深，每位外交官员只好由衙门的差役背进衙门。衙门改成外交部，陆征祥认为门口积水有碍北洋政府外交部形象，所以先清除了淤塞，让门面有个新气象。第二件事是免去部里一切部员的职，由他考察后再任命。他坚持宁缺勿滥的原则，新组成的外交部竟缺员一百五十名，袁世凯的侄儿也在被裁的一批人中。部里有一余姓厨师，曾大得慈禧之宠，当年李鸿章亦怕他几分，李曾考虑用西宴招待外宾，余不干，李只好作罢。余姓厨师还向当时外务总理施压，委任自己的儿子任部里的秘书。民国成立后，余厨子以为陆总长不会不买他的账，起先还不急，发现新外长果然行事与前清老爷大不同，就慌了神，余便带了几十只火腿送到陆外长家，却被告知赶快带着火腿走。余厨子离开外交部一事不但在国内让知情人称快，连西班牙等国报纸也当新闻刊出，被看着是北洋政府外交部改革的风向标。
另一方面，陆征祥开始培养新人。他参考欧洲一些国家外交人员录用管理制度，定出民国外交部录用人员三大原则:1.一律经考核后择优录取;2.为防止地方派系主义，全国统一考试;3.长于一门外语者优先。他还要求外交部的官员必须学会一门外语。陆征祥真是踌躇满志，意在改变外行官僚办外交的局面，使北洋政府外交从此现代化。
当时国内各部官员都无按点到署的概念。陆征祥对自己的部员说:“我陆某无能无德，实愧任外交总长一职，但某有一长，即能按点办公，故敢要求各位亦如此办。“当时的外交部也真有一些新气象。
就这样，他组建起民国的外交部，创建了民国外交人才培养体系。第二次世界大战时，他当年挑选的六十名青年已有三人任大使、十四人任公使了。民国第一届内阁夭折后，陆征祥出任新内阁总理。但由于他本来一介书生，超然政治派别，自然失败，只得辞职，仍任外长。1912年中华民国成立之初，派系之争如同水火，内阁数次更迭，政府更像走马灯，陆征祥也数次被“请“入阁复又出阁，几沉几浮。
陆征祥的性格注定他是要演悲剧的。他善良而软弱，书生气十足，有人形容他“谦谨和平而拙于才断“，非常中肯。在一个不良的政治环境里，这样的书卷气只能使他成为野心家的炮灰，成为派系倾轧的最大受害者，所以，他不但实现不了治国强国的理想，还往往客观上做了野心家的帮闲、帮凶。如袁世凯称帝一事，陆征祥是反对的，但袁世凯称帝后，要他当外交总长，他又出任了。尽管他拒绝接受袁世凯的封爵授勋，但他毕竟在这个短命皇朝里称过臣子，无论他怎么为自己开脱说是为保存民国外交改革成果也罢，说是不得已也罢，都不能为自己洗脱这耻辱。
在任期间最令他痛心的还是签《二十一条》，以及巴黎会议期间政府不断施压要他在《凡尔赛和约》上签字。还是刚进入外交界时，正逢《马关条约》一案。许景澄痛心地对他说:子欣，子欣，不可忘了马关，日后当努力洗尽国耻，收我失地。出任外长后，陆征祥请林琴南写了“不忘马关“几个字挂在办公室，提醒自己勿忘国耻。可是，1915年，袁世凯为了穿龙袍，竟要在野的陆征祥再次出任外交总长，代表中国与日本就《二十一条》谈判，并命他签字。
明知是一个不平等的条约，不签，日本一定会出动武力，当时北洋政府兵力弱，加上内战，民众已在水深火热中，何堪再加日寇蹂躏?签，实在不情愿，他知道袁世凯不论签不签都要牺牲国家和民众，他只有硬着头皮接下这任务。《二十一条》签字后，陆征祥感到身心俱瘁，他对袁世凯说:“我签了字，也签了自己的死案了。“《二十一条》披露后，全国上下群情激愤，人们游行示威，声讨外交次长的曹汝霖和当时驻日公使陆宗舆，却未提及主持谈判的总长陆征祥，大家也都明白陆征祥是被临时推出主仪的，是被迫签的字。签了《二十一条》后，陆征祥提出，北洋政府只有对德宣战，方有希望在欧战结束后收回国土国权，袁世凯不听他的。后来黎元洪任总统复请陆征祥任外长，陆又提出如果
中国宣战，他便出任。黎元洪不肯宣战，陆征祥便不当总长闲居在家。直到段祺瑞任总理后对德、奥宣战，陆征祥才
第二十六章 外交部长陆征祥 下