(6 votes, moyenne: 4,33 sur 5)
Loading...Attention, cet article a plus d'une année d'ancienneté. Il est possible que les informations présentées ne soient plus à jour, spécialement dans le cadre d'un article technique.
Bonjour à tous,
Après l’article de 2017 et avec pas mal de choses qui ont changées, on va refaire un tour de tout ce que j’ai chez moi histoire que vous puissiez voir comment tourne mon infrastructure.
Comme avant, je vais essayer de relier toute mon infrastructure à des articles que j’ai écrit sur le blog au cas où vous souhaiteriez refaire des choses pour vous.
Mon infrastructure aujourd’hui utilise le meilleur de tous les mondes. Il y’a du Linux, du FreeBSD, du Windows et le plus beau c’est que tout est parfaitement intégré dans ce petit monde.
Mon matériel de travail
Le PC fixe
Quelques évolutions depuis la dernière fois, il ne sert quasiment plus pour travailler, uniquement pour le jeu en 1440p au-dessus de 120fps et en 4k.
Je suis passé sur un « vrai » écran en 27″, j’ai doublé la ram et je suis passé sur une 1080Ti.
- Ecran : Acer Predator XB271HUAbmiprz G-Sync
- Boitier : In Win 303 Blanc
- Alimentation : Seasonic M12II Evo Modulaire – 750W
- Refroidissement additionnel : 4x Be Quiet Shadow Wings SW1 120 mm – Mid-Speed
- Water cooling CPU : Thermaltake Water 3.0 Riing RGB 360
- Carte mère : GIGABYTE GA-Z270X-ULTRA GAMING
- Processeur : INTEL Core i7-7700K
- Mémoire vive : 4x 8GB CORSAIR Vengeance LPX Red/Black 3200Mhz C16 (DDR4)
- SSD Système : Samsung 960 EVO M.2 PCIe NVMe – 250 Go
- SSD divers : Crucial MX500 – 1To
- SSHD divers : 2x Seagate SSHD – 2To
- Carte graphiques: Aorus GTX 1080Ti
- Système d’exploitation : Windows 10 Enterprise 2016 LTSB (en Anglais américain)
J’ai parlé de la chauffe du processeur ici : https://www.abyssproject.net/2017/03/reduire-chauffe-intel-kaby-lake/
Le PC portable
Celui-la c’est devenu mon pc de travail principal pour le blog et mes serveurs depuis que je suis passé à Manjaro (eh oui, j’ai maintenant un Linux Desktop chez moi).
- Modèle : Dell XPS 13 9350
- Processeur : INTEL Core i7-6560U
- Mémoire vive : 8GB DDR3 1600MHZ
- SSD Système : Samsung PM951 M.2 PCIe NVMe – 250 Go
- Carte graphique : Intel Iris 540
- Système d’exploitation : Manjaro KDE
J’ai parlé du repaste de la bête ici : https://www.abyssproject.net/2017/01/repaste-undervolting-de-dell-xps-13-9350/
Le réseau et les serveurs en interne
Le réseau
J’ai déménagé, j’ai donc changé de rack, et j’ai refait quelque chose de plus propre.
L’onduleur est un Eaton protection station 800 relié en USB à un RaspberryPi. C’est un serveur Nuts qui ne fait que ça et qui se trouve à l’arrière du rack. Tout le reste communique en réseau avec des clients Nuts.
Le switch principal est TP-Link TL-SG1024DE, un switch 24 ports configurable avec deux vlans (LAN/WAN).
Le câblage de la baie est en catégorie 6a UTP.
Deux bornes WIFI dans la maison :
- Une Unifi AP AC-Lite par étage, donc deux au total
Une caméra IP pour l’entrée :
- Une Unifi UVC-G3 Dome
Les ampoules connectées passent par un pont Philips Hue.
Au niveau des couleurs, voici ce que ça donne :
- Le câble jaune, c’est le serveur Nuts (Raspberry Pi), la surveillance du courant en gros.
- Les câbles gris, c’est l’interconnexion de tout le bordel divers (NAS, BBOX, Wifi)
- Les câbles rouges, c’est les IPMI
- Les câbles blanc, c’est les deux uplink pour le serveur HP.
- Les câbles noirs, c’est les quatres uplink pour le serveur SuperMicro.
L’extraction d’air est assurée par deux Noctua industrials de 140mm en 5v (avec switch 12v si ça devient chaud en été).
Les serveurs
On commence de bas en haut (voir photo ci-dessus)
- Le HP Microserver GEN 8 en bas à gauche qui héberge mon OpenMediaVault (https://www.abyssproject.net/?s=openmediavault) (4 disques de 3To en raid5 en passtrought dans la VM), mon PiHole, mon LibreNMS (https://www.abyssproject.net/?s=LibreNMS) et mon firewall OPNSense. Les vms sont sous Debian 9, le serveur lui-même sous ESXi 6.7.
- Le Synology DS214 sur la droite qui héberge tous les backups Veeam (https://www.abyssproject.net/?s=veeam) des serveurs et des PC. Il est passé en 2x8To en raid 0 (16To de stockage donc).
- Au milieu à gauche, un boitier Raidon branché sur mon serveur de sauvegarde à gauche (pas visible sur la photo) qui me permets de faire une rotation de disques de sauvegarde (qui partent en suisse). On a ici 3x4To (2x4To en permanence connectés).
- Au milieu à droite, ma BBOX.
- Juste au-dessus, mon Supermicro avec un Xeon D-1518 et 64Go de ram. Mon serveur principal de virtualisation avec 1.2To de Flash (NVME+Sata) pour les VMs et 3To de HDD pour le contrôleur Unifi Video.
- Pour finir, tout en haut mon Switch.
Le switch est passif et tous les serveurs sont configurés pour bouffer le moins de courant possible.
En tout je consomme environ 180W, ce qui est pas mal du tout pour environ 15 Vms, 3 serveurs physiques et deux « nas ».
Les VMs
Voici le détail de ce qui tourne sur l’ESX04 (SuperMicro donc) :
- Ansible pour la gestion automatique de mon bordel
- BitWarden pour mes mots de passe
- DnsMasq pour fournir le DHCP sur le LAN
- EX-XX02 pour l’AD et mon Exchange 2019, le tout sous Windows Serveur 2019
- Kali pour mes tests de pénétration.
- Nextcloud qui va revenir sur mon serveur web chez Hetzner
- OVPN pour mon serveur OpenVPN
- Reverse pour mon reverse Proxy Nginx
- Ubiquiti qui héberge mes contrôleurs Unifi et Unifi Video. Sous Windows Serveur 2019
Voici le détail de ce qui tourne sur l’ESX05 (HP MicroServer donc) :
- LibreNMS pour le monitoring
- OMV pour mon serveur de fichier / DLNA
- OPNSense pour mon pare-feu
- PIHOLE pour mon Pihole et mon DNS over HTTPS
L’infrastructure de virtualisation
Mon ancienne infrastructure monstrueuse n’est toujours pas rapatriée chez moi pour l’instant, mais, je l’ai toujours.
J’ai pas le temps de faire des gros labos en ce moment et j’ai suffisamment de puissance avec mes deux esx de production pour faire des tests.
L’arrivée internet
Fini la 4g box, je suis repassé sur l’adsl du commun des mortels en 16/1. ça va très bien pour ce que j’en fais maintenant que je n’ai plus une soeur qui bouffe 90% de ma bande passante.
La sécurité et les backups
Niveau sécurité réseau, plusieurs points importants :
- Le DNS est interdit, tout passe via le Pihole en DNS over HTTPS et part chez Cloudflare
- Le SMTP In/Out est interdit pour tout, sauf une liste de machines qui envoient des emails. Et seul le trafic vers mon cluster antispam en extérieur est autorisé
- Le trafic vers l’extérieur est interdit pour la domotique, l’imprimante, les IPMI …
- Les blocklist IP sur le firewall sont monstrueuses :
https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/dshield.netset - 10 min https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/zeus.ipset - 30 min https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/sslbl_aggressive.ipset - 30 min https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/iblocklist_abuse_palevo.netset - 12 h https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/spamhaus_drop.netset - 12h https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/spamhaus_edrop.netset - 12h https://raw.githubusercontent.com/firehol/blocklist-ipsets/master/blocklist_de.ipset - 15min https://ransomwaretracker.abuse.ch/downloads/RW_IPBL.txt - 5min
Niveau backup et mises à jour, voici le détail de ce que j’ai en interne (et externe pour les mises à jour) :
Vous remarquerez que je lance tout à 23h. ça bouffe du courant et je profite donc des heures creuses 🙂
Et vous remarquerez aussi que je ne fais pas mes mises à jour moi-même. J’ai autre chose à faire de ma vie.
Ansible est grand et gère l’infrastructure tout seul, j’en ai parlé ici : https://www.abyssproject.net/2019/01/la-gestion-de-mes-mises-a-jour-avec-ansible-en-2019/
J’ai également une réplication entre mes deux ESX qui tourne pour les vms importantes, au cas ou un des serveurs tombe en panne (rip la carte mère du supermicro il y’a 1 mois, la réplication m’a sauvé des mails).
Les VLAN
Mon plan de VLAN pour ceux que ça intéresse :
Les serveurs en externe
Point sur ces bras cassés de Online et OVH
Alors, tout a bougé d’hébergeur.
Tout ce qui est DNS et noms de domaines est parti chez Gandi, qui a enfin intégré le DNSSEC en automatique sur ces offres. Au revoir OVH, son support inexistant et son manager en alpha depuis ma naissance.
Tout ce qui est serveur est parti de chez Online. Ces margoulins ayant collé une augmentation de +20%/+100% à l’intégralité de ses clients Online.net et plus récemment Scaleway.
Ça fait du bien de les avoir lâchés, le support, la seule chose qui leur restait est sur la pente OVH.
Ici, tout est parti sur le cloud hetzner, et bordel qu’est ce que ça marche.
Le serveur du blog
Le premier serveur, celui du blog est un CX21 avec 50Go de stockage supplémentaire en volume sur nbg1-dc3.
La configuration est toujours à main et entre temps j’ai fait un article pour que vous puissiez le faire aussi : https://www.abyssproject.net/2017/06/monter-serveur-web-debian-9/
Le serveur IPFS
Mon serveur IPFS (et Teamspeak) est un CX11 sur hel1-dc2.
Vous pouvez monter un serveur vous-même avec cet article : https://www.abyssproject.net/2019/01/installation-dun-serveur-ipfs-sous-debian-9-et-mise-a-jour/
Le cluster pour mes emails
Ici, on parle de trois CX11 (comme dirait Charles, je suis un grand malade).
Tout est sous Proxmox Mail Gateway (Debian 9 donc).
Les localisations :
- fsn1-dc14 (MX1)
- nbg1-dc3 (MX2)
- hel1-dc2 (MX3)
Les mails arrivent de façon plus ou moins uniforme sur les 3. Le tout est renvoyé sur l’Exchange 2019 chez moi.
Si j’envoie des mails, je ressors sur MX1 <- MX3 <- MX2 (selon cet ordre préférence).
La sécurité et les backups chez Hetzner
Niveau sécurité, tout est protégé par des clés SSH en ED25519, du TLS 1.3 et par un firewall UFW : https://www.abyssproject.net/2016/05/creer-pare-feu-logiciel-debian-ubuntu-ufw/
Niveau backup, sur chaque VM j’ai l’option backup de Hetzner qui est activée et qui garde une image sur 7 jours.
En plus cela j’ai deux storages box de 100Go.
- Une pour le serveur Web
- Une pour le reste
Le backup se fait avec Veeam, encore une fois : https://www.abyssproject.net/2017/06/veeam-linux-sshfs-ftp-online-net/
J’externalise des sauvegardes sur C14 une fois dans l’année.
Petit bonus, mon LibreNMS a maintenant une page publique : https://www.youmonit.me/
Voilà, si vous avez des questions n’hésitez pas 🙂
Sacré infra,
bon après gérer ses mails avec un Exchange dédié, je trouve ça un peu trop , mais pourquoi pas 😀
C’est marrant, car je viens de tomber sur ton site, et j’ai pas mal de chose similaire chez moi, comme un HP Gen 10, qui tourne aussi sur ESXi 6.7,
avec VMs OMV pour le NAS, et Jeedom chez moi pour la domotique.
Également un OPNsense , mais j’ai fait le choix d’un boitier Qotom, je préfère gérer le réseau a part.
Et je bosse également comme sysadmin 😉
Bravo en tout cas pour ton site.
Salut, merci pour le retour 🙂
Exchange je travaille dessus tous les jours, donc je peux tester les nouvelles versions avant les clients et en soi une fois que c’est installé c’est pas plus dur à gérer qu’une alternative sous Linux sachant que toutes les mises à jour et la gestion des logs et DB sont automatisés 🙂
Le serveur Supermicro c’est un 5018D-FN4T par hasard? Si oui ca donne quoi niveau bruit?
Alors au début, c’était un 5019A-FTN4 sauf que j’ai cramé la CM en voulant faire du tuning dessus 🙂
La j’ai gardé le boitier et je suis passé sur une X10SDV-4C-TLN4F avec un Xeon D-1518, ça marche beaucoup mieux que l’atom C3758.
Il y’a 64Go de DDR4 ECC Kingston, 1 NVME Samsung 250 Go, deux Sata Samsung de 500Go et un WD de 3To pour la vidéo dedans avec deux ventilateurs d’origines et un aftermakert chinois qui souffle moins fort pour le troisième.
C’est audible, surtout quand ça démarre peut-être 40-45DB mais faut que ça soit bien refroidi.
C’est aussi un xeon-d qui m’intéresse, merci pour les infos sur le bruit.
belle infra 🙂
pour avoir une idée, quel est le cout en euros par mois de l’électricité pour faire tourner tout ça ?
Hello,
ça va chercher dans les 140 / 150€ à l’année.
C’est pas mal en effet, pour une infra maison :p
Je t’avoue je suis parti pas mal à l’opposé de toi, en partant sur une infra qui limite le nombre d’équipements, pour consommer le moins possible (env 20W). Après nos besoins ne sont clairement pas les mêmes 😉
LibreNMS je l’ai utilisé des années, jette un oeil si tu ne connais pas à influxdb/telegraf/grafana 😉
Niveau parefeu, j’ai utilisé UFW pendant longtemps, mais depuis j’utilise firehol. C’est grandiose.
LibreNMS me va bien, je connais TIG mais honnêtement, LibreNMS fait la même chose sans passer par 15 langages et 2500 dépendances, donc je reste simple 🙂
Niveau firewall, UFW me va bien aussi, j’ai entendu parler de Firehol qui a l’air bien, mais pour les deux règles que j’ai par serveur je suis pas sur de gagner au change 🙂
T’es quand même un grand malade :p
Mais c’est chouette comme description… La question est : quelle est l’utilisation de tout cela à titre perso ?
La réponse est dans l’article 🙂
joli joli, moi qui trouve mon infra @home surdimensionnée, je me sens tout petit là !
Je cherche aussi à optimiser ma conso, je tourne actuellement autour des 165w avec 3servers proxmox (un home made à base de supermicro, 1260l,… et deux barebone qotom), un nas (ix4-300d), un switch ubiquiti, un AP ubiquiti,…
J’ai acheté recémment un N54l et un acer AC100 dans le but de virer le server homemade et le nas, j’espère gagner une 15aine de W.
Pour les backup j’ai un tapedrive LTO3
Hello,
Je ne pense pas que tu gagneras au change en virant du matos au niveau de la conso. Même si tu gagnes 15w, il va falloir des années pour rentabiliser l’investissement.