Общепризнный факт держится на общей реальности. Сама по себе аксиома - это допущение, опора для дальнейших логических построений. В конечном итоге, математики не для того, чтобы их бесплатно кормить, и построения должны быть непротиворечивыми не только по отношению к другим аксиомам, но так же должны соответствовать реальности, обеспечивать эффективное познание и управление реальностью.
Как мы видим - не всегда. У шизо-математика например, общепризнынный факт держится просто на самом факте общественного признания, где наличие общего признания чего либо, равно истинности этого чего либо - явно религиозная точка зрения, основана на трактовке истины в виде "что думает большинство - то истинно".
Такая точка зрения на истину является морально устаревшей. Ведь очевидно что в ней не учитывается стихийный и инстинктивный характер этого самого большинства, а также тот факт что психологическое убеждение (как факт) не всегда релевантно (≠) фактам объективной реальности - и что из наличия одного нету необходимого каузального перехода к второму.
То же касается и философии, как поиска предельных оснований явлений для лучшего управления классами явлений - если даже в рассуждениях нет логических противоречий, они могут не соответствовать реальности из-за ложности изначальных допущений. Человек, к примеру, просто не понимает принципов квантовой физики или неправильно понимает проблему наблюдателя - в результате его дальнейшие рассуждения в целом не соответствуют реальности, ни к чему не ведут и никому не интересны.
Да так и есть, вы верно заметили, что даже если с точки зрения внутренней последовательности, все выводы взятые из аксиом верны (т.е строго выводятся из своих исходных постулатов) то сами эти аксиомы в конечном итоге могут быть произвольными и случайными на онтологическом уровне - и тут невнимательный человек будет путать простую непротиворечивость своих суждений с их фундаментальной необходимостью.
В философии поэтому нету такого рода аксиом, которые "просто берутся" (как в математике), поскольку она претендует именно на фундаментализм - т.е на создание и сочинение систематической само-обоснованной теории с неограниченным могуществом, которая может выводить из своих принципов и умозаключений любые дальнейшие последствия, в виде других явлений и их обоснование через свою систему.
Математические и философские рассуждения отличаются от религиозных отсуствием неизменных догматов на которых выстраивается богословие, и возможностью перестроить систему аксиом и теорий в случае несоотвествия реальности (к примеру, если математика описывает и прогнозирует физические процессы).
В философии это действительно так, она полностью и до конца критична, тогда как в математике такие догматы очевидно есть (называемые аксиомами)