大工さんとトラブってます…

マイホーム建設予定でした。
ハウスメーカーの見積もりが４千万。値引きなしの状態でしたが、土地なし、建物だけでこの価格だったので知り合いの大工さんに相談したところ、キッチンお風呂等設備を1番いいのを入れても、間取りもこのままで、半額くらいでできるよ、と言われて、話し合いの末元々知り合いだし、お願いすることにしました。

設計士は別会社の方で、初めに一度会って要望を伝えてからは、メールでやりとり。
図面を何度書き直しても、最終決定の図面起こしまでは金額は発生しないよと口頭で大工さんから言われました。

ローンの仮審査に行く事になり、最終決定の前に、一旦今の状態の見積もりを出してもらいました。

するとその見積額がハウスメーカーとさほど変わらなかったんです。色々と聞くと、これくらいかかるよ！と…

当初と話が違うじゃん…と信用を一気に無くし、お断りする事になりお断りの連絡を入れたところ、設計士の費用は払ってもらう、と。

図面を何度もかいたこと、役所へ申請手続きについて聞きに行った手間（実際何の申請もしていません）

大工さんとは契約書等は一切交わしていません、サインや押印もしたことはないです。

ですが、これは設計士の手間代を支払う義務はやはり発生してしまうんでしょうか？？