当然他不能继续尤利乌斯二世的纪念建筑了。但最可悲的是连圣洛伦佐教堂也不能建立起来。拒绝和任何人合作犹以为未足，由着他的可怕的脾气，要一切由他自己动手的愿欲，他不留在翡冷翠做他的工作，反而跑到卡拉雷地方去监督斫石工作。他遇着种种困难，梅迪契族人要用最近被翡冷翠收买的皮耶特拉桑塔石厂的出品。因为米开朗琪罗主张用卡拉雷的白石，故他被教皇诬指为得贿；一五一八年二月二日，大主教尤利乌斯·特·梅迪契致书米开朗琪罗，有云：“我们疑惑你莫非为了私人的利益袒护卡拉雷石厂而不愿用皮耶特拉桑塔的白石……我们告诉你，不必任何解释，圣下的旨意要完全采用皮耶特拉桑塔的石块，任何其他的都不要……如果你不这么做，将是故意违反圣下与我们的意愿，我们将极有理由地对你表示严重的愤怒……因此，把这种固执从头脑里驱逐出去吧。”为要服从教皇的意志，米开朗琪罗又受卡拉雷人的责难，他们和航海工人联络起来；以至他找不到一条船肯替他在日纳与比萨中间运输白石。“我一直跑到日纳地方去寻觅船只……卡拉雷人买通了所有的船主人……我不得不往比萨去。……”（见一五一八年四月二日米开朗琪罗致乌尔比诺书）“我在比萨租的船永远没有来。我想人家又把我作弄了：这是我一切事情上的命运！喔，我离开卡拉雷的那一天那一时刻真应诅咒啊！这是我的失败的原因……”（一五一八年四月十八日书）他逼得在远亘的山中和荒确难行的平原上造起路来。当地的人又不肯拿出钱来帮助筑路费。工人一些也不会工作，这石厂是新的，工人亦是新的。米开朗琪罗呻吟着：“我在要开掘山道把艺术带到此地的时候，简直在干和令死者复活同样为难的工作。”一五一八年四月十八日书。——几个月之后：“山坡十分峭险，而工人们都是蠢极的；得忍耐着！应得要克服高山，教育人民……”（一五一八年九月致斐里加耶书）然而他挣扎着：“我所应允的，我将冒着一切患难而实践；我将做一番全意大利从未做过的事业，如果神助我。”
多少的力，多少的热情，多少的天才枉费了！一五一八年九月杪，他在塞拉韦扎地方，因为劳作过度，烦虑太甚而病了。他知道在这苦工生活中健康衰退了，梦想枯竭了。他日夜为了热望终有一日可以开始工作而焦虑，又因为不能实现而悲痛。他受着他所不能令人满意的工作压榨。指《米涅瓦基督》与尤利乌斯二世的陵墓。
“我不耐烦得要死，因为我的恶运不能使我为所欲为……我痛苦得要死，我做了骗子般的勾当，虽然不是由于我自己的过失……”一五一八年十二月二十一日致阿真大主教书。——四个仅仅动工的巨像，预备安放在尤利乌斯二世墓上的《奴隶》似乎是这一期的作品。
回到翡冷翠，在等待白石运到的时期中，他万分自苦；但阿尔诺河干涸着，满载石块的船只不能进口。
终于石块来了：这一次，他开始了么？——不，他回到石厂去。他固执着在没有把所有的白石堆聚起来成一座山头——如以前尤利乌斯二世的陵墓那次一般——之前他不动工。他把开始的日期一直捱延着；也许他怕开始。他不是在应允的时候太夸口了么？在这巨大的建筑工程中，他不太冒险么？这绝非他的内行；他将到哪里去学呢？此刻，他是进既不能，退亦不可了。
费了那么多的心思，还不能保障运输白石的安全。在运往翡冷翠的六支巨柱式的白石中，四支在路上裂断了，一支即在翡冷翠当地。他受了他的工人们的欺骗。
末了，教皇与梅迪契大主教眼见多少宝贵的光阴白白费掉在石厂与泥泞的路上，感着不耐烦起来。一五二○年三月十日，教皇一道敕谕把一五一八年命米开朗琪罗建造圣洛伦佐教堂的契约取消了。米开朗琪罗只在派来代替他的许多工人到达皮耶特拉桑塔地方的时候才知道消息。他深深地受了一个残酷的打击。
“我不和大主教计算我在此费掉的三年光阴，”他说，“我不和他计算我为了这圣洛伦佐作品而破产。我不和他计算人家对我的侮辱：一下子委任我做，一下子又不要我做这件工作，我不懂为什么缘故！我不和他计算我所损失的开支的一切……而现在，这件事情可以结束如下：教皇利奥把已经斫好石块的山头收回去，我手中是他给我的五百金币，还有是人家还我的自由！”一五二○年书信。
但米开朗琪罗所应指摘的不是他的保护人们而是他自己，他很明白这个。最大的痛苦即是为此。他和自己争斗。自一五一五至一五二○年中间，在他的力量的丰满时期，洋溢着天才的顶点，他做了些什么？——黯然无色的《米涅瓦基督》，——一件没有米开朗琪罗的成分的米开朗琪罗作品！
自一五一五至一五二○年中间，在这伟大的文艺复兴的最后几年中，在一切灾祸尚未摧毁意大利的美丽的青春之时，拉斐尔画了Ｌｏｇｅｓ室、火室以及各式各种的杰作，建造Ｍａｄａｍｅ别墅，主持圣彼得寺的建筑事宜，领导着古物发掘的工作，筹备庆祝节会，建立纪念物，统治艺术界，创办了一所极发达的学校；而后他在胜利的勋功伟业中逝世了。一五二○年四月六日。
他的幻灭的悲苦，枉费时日的绝望，意志的破裂，在他后来的作品中完全反映着：如梅迪契的坟墓，与尤利乌斯二世纪念碑上的新雕像。指《胜利》。
自由的米开朗琪罗，终身只在从一个羁绊转换到另一个羁绊，从一个主人换到另一个主人中消磨过去。大主教尤利乌斯·特·梅迪契，不久成为教皇克雷芒七世，自一五二○至一五三四年间主宰着他。