Toen Nederland bezet werd, leek het de Graaff nuttig, zijn Duitse contacten aan te houden; Nockemann, de eerste Befehlshaber der Sicherheitspolizei und des SD, kende hij persoonlijk uit Berlijn, maar toen deze over 'Anjerdag'
(29 juni '40) gestruikeld was, vond de Graaff zonder moeite anderen die bereid waren, aan een goed diner en een gesprekje deel te nemen. De Graaffs bedoeling was daarbij, voor zich en zijn gezin visa te krijgen voor bezoeken aan Zwitserland - hij wilde daar dan in het geheim contact opnemen met de Nederlandse legatie, speciaalook met de militaire attaché, generaal-majoor A. G. van Tricht. In januari' 4I kreeg de Graaff voor het eerst die visa uitgereikt. Voor zijn gezin kreeg hij ze in totaal vijf keer, z.g. voor vakantie, voor zichzelfnog eens zeventien keer. Geen Nederlander was er, aan wie zo vaak de particuliere gunst verleend werd, naar Zwitserland te mogen reizen, en die bijzondere faciliteiten verkreeg de Graaff niet omdat men hem voor deutschjreundlick aanzag (dat was niet voldoende), maar omdat hij op slimme wijze liet doorschemeren dat hij in Zwitserland de Sicherheitspolizei belangrijke diensten bewees. 'Ik bracht'
, vertelde hij later aan de Enquêtecommissie, 'de Sicherheitspolizei in Den Haag in de waan dat ik werkte met hun dienst in Brussel, in Brussel deed ik hetzelfde ten aanzien van Düsseldorf, en hier weer ten aanzien van Den Haag. Ik bracht hun '(bovendien)' deindruk bij dat ik in Berlijn hoge protectie had'
- 'het was een kaartenhuis'
;' Inderdaad, dat was het, maar het bleef overeind staan.