Hm, ich habe mir mal ein test-Friendica installiert, von hub.docker.com/_/friendica - und bin verwirrt: * Geht die Administration wirklich nur, indem ich mich per docker exec in den Container begebe und dort console verwende? * wie verbinde ich mich mit der Welt? Einen Account habe ich mir gemacht, kann auch Beiträge erstellen, aber wie verinde ich mich mit dem Fediverse? * Wie lege ich einen Admin an? Nach der "Installation" kann ich zwar einen User anlegen, der ist aber scheinbar nicht Admin
Excerpt from a message I just posted in a #diaspora team internal forum category. The context here is that I recently get pinged by slowness/load spikes on the diaspora* project web infrastructure (Discourse, Wiki, the project website, ...), and looking at the traffic logs makes me impressively angry.
In the last 60 days, the diaspora* web assets received 11.3 million requests. That equals to 2.19 req/s - which honestly isn't that much. I mean, it's more than your average personal blog, but nothing that my infrastructure shouldn't be able to handle.
However, here's what's grinding my fucking gears. Looking at the top user agent statistics, there are the leaders:
2.78 million requests - or 24.6% of all traffic - is coming from Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot).
1.69 million reuqests - 14.9% - Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
and the list goes on like this. Summing up the top UA groups, it looks like my server is doing 70% of all its work for these fucking LLM training bots that don't to anything except for crawling the fucking internet over and over again.
Oh, and of course, they don't just crawl a page once and then move on. Oh, no, they come back every 6 hours because lol why not. They also don't give a single flying fuck about robots.txt, because why should they. And the best thing of all: they crawl the stupidest pages possible. Recently, both ChatGPT and Amazon were - at the same time - crawling the entire edit history of the wiki. And I mean that - they indexed every single diff on every page for every change ever made. Frequently with spikes of more than 10req/s. Of course, this made MediaWiki and my database server very unhappy, causing load spikes, and effective downtime/slowness for the human users.
If you try to rate-limit them, they'll just switch to other IPs all the time. If you try to block them by User Agent string, they'll just switch to a non-bot UA string (no, really). This is literally a DDoS on the entire internet.
Just for context, here's how sane bots behave - or, in this case, classic search engine bots:
By Wyatt Reed - Dec 16, 2024Footage showing CNN’s regime change-crazed correspondent supposedly freeing a forgotten prisoner from a Syrian jail has been exposed a scandalous fraud, yet the network continues to re-air it, while defending its corresp…
Ehemaliger Richter äußert sich im Gespräch zur potenziell demokratiegefährdenden Online-Zensur auf EU-Ebene und zu den Auswüchsen der deutschen Pandemiepolitik
Das Gesetz über digitale Dienste (englisch Digital Services Act, DSA) ist seit dem 17. Februar 2024 in Deutschland anwendbar. Laut der Bundesregierung zielt es auf "ein sichereres und verantwortungsvolleres Online-Umfeld" ab. Der Richter außer Dienst und Rechtsanwalt Dr. Manfred Kölsch, der im Mai 2021 aufgrund der haarsträubenden Pandemiepolitik sein Bundesverdienstkreuz zurückgab, hat sich in mehreren Publikationen (2) mit diesem Gesetz beschäftigt und sieht vor allem in der Unbestimmtheit der angewandten Begriffe eine Gefahr für den Debattenraum. Die Möglichkeit, ganz frei zu Diskutieren, sei für ein demokratisches Zusammenleben elementar wichtig, der Streit zwischen kontroversen Meinungen gehöre untrennbar/unabdingbar/unverzichtbar zur Demokratie . Kölsch’ Meinung nach birgt der Digital Services Act das Potenzial, dass eben nicht nur tatsächlich rechtswidrige Inhalte gelöscht werden, sondern auch Meinungsäußerungen, die eigentlich von der Meinungsfreiheit gedeckt sind.
Im zweiten Teil unseres Gesprächs geht es um die illegale massenhafte Beschaffung von Masken unter dem ehemaligen Gesundheitsminister Jens Spahn, die Dr. Kölsch zufolge eindeutig illegal verlief. Der Bundeshaushalt sei hierdurch mit stolzen 5,9 Milliarden Euro belastet worden, ohne dass diese Ausgaben einen sinnvollen Beitrag zur „Pandemie“-Bekämpfung geleistet hätten. Manfred Kölsch spricht diesbezüglich von Steuergeldvernichtung und hat auch darüber eine ausführliche, sehr lesenswerte Analyse veröffentlicht.
