Името му се разнасяло из цялата околност на Газа, знаели го далеч наоколо и при повод го споменавали заедно с наравно уважавания велик изповедник и еремит Дион Пугил, чиято слава, разбира се, известна още преди десет години, почивала на съвсем други способности, тъй като отец Дион бил прочут тъкмо с това, че умеел по-бързо и по-остро да прониква в душите, които му се доверяват, отколкото в изречените думи, че не един изповядващ се бивал изненадан, когато той право в очите му заговарял за граховете, които още не бил изповядал. Този познавач на душите, за когото Йозеф чувал да се разправят стотици удивителни истории и с когото сам никога не би дръзнал да се сравни, бил също надарен съветник на блудни души, голям съдник, въздавал наказания и разпоредби и също възлагал покаяние, самобичуване, поклонничество, подтиквал към бракове, принуждавал враждуващи да се помирят и неговият авторитет бил равен на авторитета на епископ. Живеел в околностите на Аскалон, но го посещавали молители дори от Ерусалим, а и от още по-далечни селища.

Йозеф Фамулус подобно на повечето отшелници и покаеници дълги години водил страстна и съсипваща борба. Макар да изоставил светския живот, да раздал имуществото си и своя дом, да напуснал града с неговите разнообразни примамки за земни и плътски наслади, той все не можел да се раздели със себе си, а в него били живи всички нагони на тялото и душата, които въвеждат човека в беда и изкушение. Преди всичко той се преборил с тялото си, строг и суров с него, приучил го на зной и студ, на глад и жажда, на белези и мазоли, докато то бавно се съсухрило и повехнало, но и в костеливата аскетична черупка старият Адам можел срамно да го изненадва и разгневява с най-безразсъдни жажди и похот, с мечти и мамещи надежди; естествено знаем, че на бегълците от света, на пустинниците, дяволът посвещава особени грижи. И когато люде, търсещи утеха и жадуващи да се изповядват, посещавали Йозеф, благодарен, той откривал в това зов на милост и едновременно изпитвал едно облекчение в своите дни на покаяние; неговият живот придобил свръхлични смисъл и съдържание, а нему била възложена длъжност, той можел да служи на другите или на бог като оръдие, за да привлича към себе си души. Това било действително чудно и възвишено чувство. Но с течение на времето проличало, че и блаженствата на душата спадат към земните и могат да бъдат изкушения и примки. Често, особено когато при него идвал пеш или на кон такъв странник, спирал пред пещерата, молел го за глътка вода, а след това и да изслуша неговата изповед, у нашия Йозеф неусетно се разливало чувство на успокоение и доволство, самодоволство, суетност и себелюбие, които, още щом усетел, го плашели много. Нерядко на колене той молел бога за прошка, молел го и за това да не изпраща повече изповядващи се нему, недостойния, ни от колибите на каещите се братя в околността, ни от селата и градовете на света. И все пак той не се чувствал много по-добре и тогава, когато наистина понякога нямало изповядващи се, а после, щом отново идвали много, се улавял в ново прегрешение: струвало му се, че докато слуша едно или друго признание, усеща изблици на студенина, липса на любов, дори презрение към тези, които се изповядват. С въздишка Йозеф поемал и тази борба върху себе си и имало времена, когато след всяка изповед, която изслушвал, се оттеглял в самота за размисъл и покаяние. Освен това сам приел като закон да се отнася към всички изповядващи се не само братски, а и с някаква особена почтителност, и толкова повече, колкото по-малко лицето му харесвало. Той ги приемал като пратеници на бога, дошли, за да го подложат на изпитание. Така с годините, твърде късно, когато бил вече възрастен човек, Йозеф постигнал известна отмереност в начина на живот и на онези, които живеели в близост с него, се виждал безукорен човек, познал мира с бога.