In '32 werd Sommer lid van de NSDAP; enkele jaren later kreeg hij moeilijkheden met de partijleiding in Hamburg, hij werd zelfs een tijdlang in arrest gehouden. Het kan zijn dat deze gang van zaken er toe bijdroeg dat Sommer die in de jaren '20 enige tijd in Rotterdam gestationeerd geweest was, zich in ' 40 in Amsterdam vestigde. Hij werd er een van de belangrijkste organisatoren van de Duitse zwarte aankopen, zulks vooral ten behoeve van het Reichsministerium für BewaffilUng und Kriegsproduletion ; bij deze aankopen werd Sommer door Fiebig, de vertegenwoordiger van dat departement, als het ware gedirigeerd; hij leverde zijn goederen af aan een door Fiebig gecontroleerde firma, de n.v. Pimitex. Voor hoeveel Sommer in totaal aan goederen gekocht heeft, is niet met zekerheid bekend; de schattingen variëren van f 40 mln tot f 100 mln. Vast staat dat hij er persoonlijk wèl bij voer. Vóór de oorlog had hij een 'vermogen'
gehad van welgeteld 153 I Rm - nu gafhij voor zijn particuliere uitgaven (hij bewoonde een grote villa en hield er twee grote auto's op na) per maand tussen de f 40 000 en f 50 000 uit; hij bracht bovendien een bedrag van meer dan een miljoen Rm naar Hamburg over waar het bij diverse bankinstellingen geplaatst werd. Het is alleszins mogelijk dat deviezensmokkel hierbij een rol heeft gespeeld. In de tweede helft van '43 kwam Sommer in moeilijkheden. De aard daarvan kennen wij niet precies; wij weten wèl dat hij in conflict geraakte met de Sicherheitspolizei en met Fiebig die hem eigenzinnig en ondisciplinair optreden verweten. Hij kreeg toen de aanzegging dat hij Nederland diende te verlaten. Dat deed hij niet; met de hulp van vrienden dook hij min of meer onder bij de Kriegsmarine in ons land - in elk geval was zijn rol als organisator van Duitse zwarte aankopen toen uitgespeeld. Welnu, bij die aankopen had Sommer tenslotte minstens elf Joodse inkopers ingeschakeld van wie enkelen voor hem zaken deden onder hun eigen firmanaam. Dat was een nuttige camouflage: Sommer-zelf bleef dan op de achtergrond. Ook die Joodse inkopers verdienden grote bedragen; één hield aan transacties met Sommer tot een totaal van f 800 000 persoonlijk meer dan f 100 000 over en het spreekt vanzelf dat deze en dergelijke elandestien verworven bedragen niet bij de roofbank LippmaIm-Rosenthal-Sarphatistraat aangemeld werden.