Отцом ему приходился Альфонс II Беренгер, граф Прованса с 1196 года, матерью — Гарсенда де Сабран, графиня Форкалькье.
Несмотря на родство с королем Арагона, в Альбигойской войне, которая шла в то время на Юге Франции, Раймунд Беренгер IV принял сторону папы и короля против альбигойцев, графа Тулузского и их сторонников. Это имело не столько религиозные, сколько политические причины: в условиях внутренней нестабильности граф нуждался в сильных союзниках. Прованские города Авиньон, Арль и Тараскон поддержали графа Тулузского, тем самым выступив против собственного сеньора. В 1215 году от графства Прованского откололась Ницца, перейдя в подчинение Генуэзской республики. Все большей самостоятельности добивался Марсель, который графы Прованские контролировали лишь условно: жители верхнего города постоянно восставали против своих епископов, жители нижнего выкупали права своих виконтов, постепенно вводилось городское самоуправление, к тому же город то и дело демонстрировал склонность сговориться с графом Тулузским, подрывая власть графа Прованского.