Bonjour à tous,

Après l’article de 2017 et avec pas mal de choses qui ont changées, on va refaire un tour de tout ce que j’ai chez moi histoire que vous puissiez voir comment tourne mon infrastructure.

Comme avant, je vais essayer de relier toute mon infrastructure à des articles que j’ai écrit sur le blog au cas où vous souhaiteriez refaire des choses pour vous.

 

Mon infrastructure aujourd’hui utilise le meilleur de tous les mondes. Il y’a du Linux, du FreeBSD, du Windows et le plus beau c’est que tout est parfaitement intégré dans ce petit monde.

 

Mon matériel de travail

Le PC fixe

Quelques évolutions depuis la dernière fois, il ne sert quasiment plus pour travailler, uniquement pour le jeu en 1440p au-dessus de 120fps et en 4k.

Je suis passé sur un « vrai » écran en 27″, j’ai doublé la ram et je suis passé sur une 1080Ti.

 

  • Ecran : Acer Predator XB271HUAbmiprz G-Sync
  • Boitier : In Win 303 Blanc
  • Alimentation : Seasonic M12II Evo Modulaire – 750W
  • Refroidissement additionnel : 4x Be Quiet Shadow Wings SW1 120 mm – Mid-Speed
  • Water cooling CPU : Thermaltake Water 3.0 Riing RGB 360
  • Carte mère : GIGABYTE GA-Z270X-ULTRA GAMING
  • Processeur : INTEL Core i7-7700K
  • Mémoire vive : 4x 8GB CORSAIR Vengeance LPX Red/Black  3200Mhz C16 (DDR4)
  • SSD Système : Samsung 960 EVO M.2 PCIe NVMe – 250 Go
  • SSD divers : Crucial MX500 – 1To
  • SSHD divers : 2x Seagate SSHD – 2To
  • Carte graphiques: Aorus GTX 1080Ti
  • Système d’exploitation : Windows 10 Enterprise 2016 LTSB (en Anglais américain)

 

J’ai parlé de la chauffe du processeur ici : https://www.abyssproject.net/2017/03/reduire-chauffe-intel-kaby-lake/

 

Le PC portable

Celui-la c’est devenu mon pc de travail principal pour le blog et mes serveurs depuis que je suis passé à Manjaro (eh oui, j’ai maintenant un Linux Desktop chez moi).

  • Modèle : Dell XPS 13 9350
  • Processeur : INTEL Core i7-6560U
  • Mémoire vive : 8GB DDR3 1600MHZ
  • SSD Système : Samsung PM951 M.2 PCIe NVMe – 250 Go
  • Carte graphique : Intel Iris 540
  • Système d’exploitation : Manjaro KDE

 

J’ai parlé du repaste de la bête ici : https://www.abyssproject.net/2017/01/repaste-undervolting-de-dell-xps-13-9350/

 

Le réseau et les serveurs en interne

Le réseau

J’ai déménagé, j’ai donc changé de rack, et j’ai refait quelque chose de plus propre.

L’onduleur est un Eaton protection station 800 relié en USB à un RaspberryPi. C’est un serveur Nuts qui ne fait que ça et qui se trouve à l’arrière du rack. Tout le reste communique en réseau avec des clients Nuts.

Le switch principal est TP-Link TL-SG1024DE, un switch 24 ports configurable avec deux vlans (LAN/WAN).

Le câblage de la baie est en catégorie 6a UTP.

Deux bornes WIFI dans la maison :

  • Une Unifi AP AC-Lite par étage, donc deux au total

Une caméra IP pour l’entrée :

  • Une Unifi UVC-G3 Dome

Les ampoules connectées passent par un pont Philips Hue.

 

Au niveau des couleurs, voici ce que ça donne :

  • Le câble jaune, c’est le serveur Nuts (Raspberry Pi), la surveillance du courant en gros.
  • Les câbles gris, c’est l’interconnexion de tout le bordel divers (NAS, BBOX, Wifi)
  • Les câbles rouges, c’est les IPMI
  • Les câbles blanc, c’est les deux uplink pour le serveur HP.
  • Les câbles noirs, c’est les quatres uplink pour le serveur SuperMicro.

 

L’extraction d’air est assurée par deux Noctua industrials de 140mm en 5v (avec switch 12v si ça devient chaud en été).

 

Les serveurs

On commence de bas en haut (voir photo ci-dessus)

  • Le HP Microserver GEN 8 en bas à gauche qui héberge mon OpenMediaVault (https://www.abyssproject.net/?s=openmediavault) (4 disques de 3To en raid5 en passtrought dans la VM), mon PiHole, mon LibreNMS (https://www.abyssproject.net/?s=LibreNMS) et mon firewall OPNSense. Les vms sont sous Debian 9, le serveur lui-même sous ESXi 6.7.
  • Le Synology DS214 sur la droite qui héberge tous les backups Veeam (https://www.abyssproject.net/?s=veeam) des serveurs et des PC. Il est passé en 2x8To en raid 0 (16To de stockage donc).
  • Au milieu à gauche, un boitier Raidon branché sur mon serveur de sauvegarde à gauche (pas visible sur la photo) qui me permets de faire une rotation de disques de sauvegarde (qui partent en suisse). On a ici 3x4To (2x4To en permanence connectés).
  • Au milieu à droite, ma BBOX.
  • Juste au-dessus, mon Supermicro avec un Xeon D-1518 et 64Go de ram. Mon serveur principal de virtualisation avec 1.2To de Flash (NVME+Sata) pour les VMs et 3To de HDD pour le contrôleur Unifi Video.
  • Pour finir, tout en haut mon Switch.

 

Le switch est passif et tous les serveurs sont configurés pour bouffer le moins de courant possible.

En tout je consomme environ 180W, ce qui est pas mal du tout pour environ 15 Vms, 3 serveurs physiques et deux « nas ».

 

Les VMs

Voici le détail de ce qui tourne sur l’ESX04 (SuperMicro donc) :

  • Ansible pour la gestion automatique de mon bordel
  • BitWarden pour mes mots de passe
  • DnsMasq pour fournir le DHCP sur le LAN
  • EX-XX02 pour l’AD et mon Exchange 2019, le tout sous Windows Serveur 2019
  • Kali pour mes tests de pénétration.
  • Nextcloud qui va revenir sur mon serveur web chez Hetzner
  • OVPN pour mon serveur OpenVPN
  • Reverse pour mon reverse Proxy Nginx
  • Ubiquiti qui héberge mes contrôleurs Unifi et Unifi Video. Sous Windows Serveur 2019

 

Voici le détail de ce qui tourne sur l’ESX05 (HP MicroServer donc) :

  • LibreNMS pour le monitoring
  • OMV pour mon serveur de fichier / DLNA
  • OPNSense pour mon pare-feu
  • PIHOLE pour mon Pihole et mon DNS over HTTPS

 

L’infrastructure de virtualisation

Mon ancienne infrastructure monstrueuse n’est toujours pas rapatriée chez moi pour l’instant, mais, je l’ai toujours.

J’ai pas le temps de faire des gros labos en ce moment et j’ai suffisamment de puissance avec mes deux esx de production pour faire des tests.

 

L’arrivée internet

Fini la 4g box, je suis repassé sur l’adsl du commun des mortels en 16/1. ça va très bien pour ce que j’en fais maintenant que je n’ai plus une soeur qui bouffe 90% de ma bande passante.

 

La sécurité et les backups

Niveau sécurité réseau, plusieurs points importants :

  • Le DNS est interdit, tout passe via le Pihole en DNS over HTTPS et part chez Cloudflare
  • Le SMTP In/Out est interdit pour tout, sauf une liste de machines qui envoient des emails. Et seul le trafic vers mon cluster antispam en extérieur est autorisé
  • Le trafic vers l’extérieur est interdit pour la domotique, l’imprimante, les IPMI …
  • Les blocklist IP sur le firewall sont monstrueuses :
https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/dshield.netset - 10 min
https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/zeus.ipset - 30 min
https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/sslbl_aggressive.ipset - 30 min
https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/iblocklist_abuse_palevo.netset - 12 h
https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/spamhaus_drop.netset - 12h
https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/spamhaus_edrop.netset - 12h
https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/blocklist_de.ipset - 15min
https://ransomwaretracker.abuse.ch/downloads/RW_IPBL.txt - 5min

 

Niveau backup et mises à jour, voici le détail de ce que j’ai en interne (et externe pour les mises à jour) :

Vous remarquerez que je lance tout à 23h. ça bouffe du courant et je profite donc des heures creuses 🙂

Et vous remarquerez aussi que je ne fais pas mes mises à jour moi-même. J’ai autre chose à faire de ma vie.
Ansible est grand et gère l’infrastructure tout seul, j’en ai parlé ici : https://www.abyssproject.net/2019/01/la-gestion-de-mes-mises-a-jour-avec-ansible-en-2019/

J’ai également une réplication entre mes deux ESX qui tourne pour les vms importantes, au cas ou un des serveurs tombe en panne (rip la carte mère du supermicro il y’a 1 mois, la réplication m’a sauvé des mails).

Les VLAN

Mon plan de VLAN pour ceux que ça intéresse :

 

Les serveurs en externe

Point sur ces bras cassés de Online et OVH

Alors, tout a bougé d’hébergeur.

Tout ce qui est DNS et noms de domaines est parti chez Gandi, qui a enfin intégré le DNSSEC en automatique sur ces offres. Au revoir OVH, son support inexistant et son manager en alpha depuis ma naissance.

 

Tout ce qui est serveur est parti de chez Online. Ces margoulins ayant collé une augmentation de +20%/+100% à l’intégralité de ses clients Online.net et plus récemment Scaleway.

Ça fait du bien de les avoir lâchés, le support, la seule chose qui leur restait est sur la pente OVH.

Ici, tout est parti sur le cloud hetzner, et bordel qu’est ce que ça marche.

 

Le serveur du blog

Le premier serveur, celui du blog est un CX21 avec 50Go de stockage supplémentaire en volume sur nbg1-dc3.

La configuration est toujours à main et entre temps j’ai fait un article pour que vous puissiez le faire aussi : https://www.abyssproject.net/2017/06/monter-serveur-web-debian-9/

 

Le serveur IPFS

Mon serveur IPFS (et Teamspeak) est un CX11 sur hel1-dc2.

Vous pouvez monter un serveur vous-même avec cet article : https://www.abyssproject.net/2019/01/installation-dun-serveur-ipfs-sous-debian-9-et-mise-a-jour/

 

Le cluster pour mes emails

Ici, on parle de trois CX11 (comme dirait Charles, je suis un grand malade).

Tout est sous Proxmox Mail Gateway (Debian 9 donc).

Les localisations :

  • fsn1-dc14 (MX1)
  • nbg1-dc3 (MX2)
  • hel1-dc2 (MX3)

 

Les mails arrivent de façon plus ou moins uniforme sur les 3. Le tout est renvoyé sur l’Exchange 2019 chez moi.

Si j’envoie des mails, je ressors sur MX1 <- MX3 <- MX2 (selon cet ordre préférence).

 

La sécurité et les backups chez Hetzner

Niveau sécurité, tout est protégé par des clés SSH en ED25519, du TLS 1.3 et par un firewall UFW : https://www.abyssproject.net/2016/05/creer-pare-feu-logiciel-debian-ubuntu-ufw/

 

Niveau backup, sur chaque VM j’ai l’option backup de Hetzner qui est activée et qui garde une image sur 7 jours.

En plus cela j’ai deux storages box de 100Go.

  • Une pour le serveur Web
  • Une pour le reste

 

Le backup se fait avec Veeam, encore une fois : https://www.abyssproject.net/2017/06/veeam-linux-sshfs-ftp-online-net/

J’externalise des sauvegardes sur C14 une fois dans l’année.

 

Petit bonus, mon LibreNMS a maintenant une page publique : https://www.youmonit.me/

 

Voilà, si vous avez des questions n’hésitez pas 🙂