107 millió sornyi adat összegyűjtése egy interaktív tanácsi térkép elkészítéséhez

Ben Tossell lenyűgöző technológiai projektje új szintre emeli a közadatok átláthatóságát, miután 107 millió sornyi brit önkormányzati költési adatot dolgozott fel és vizualizált egy interaktív térképpé. A fejlesztő egy innovatív módszertant alkalmazott, amely során AI ágensek segítségével sikerült begyűjteni, megtisztítani és strukturálni azokat a szétszórt információkat, amelyek korábban nehezen voltak értelmezhetőek a nyilvánosság számára. A végeredmény egy olyan Apple Maps-stílusú, interaktív alkalmazás, amelyen keresztül a felhasználók könnyedén böngészhetik az egyes angol tanácsok kiadásait, legyen szó beszállítókról vagy a költések pontos típusairól.

A projekt technikai háttere kifejezetten ambiciózus, hiszen a teljes folyamat során 8,2 milliárd tokent dolgoztak fel, és összesen 656 autonóm AI ágenst vetettek be az adatfelderítés és a scraping feladatok elvégzésére. Az ágensek önállóan navigáltak az önkormányzati weboldalakon, hatékonyan küzdötték le a scraping elleni védelmi mechanizmusokat, és kezelték az inkonzisztens, gyakran nehezen olvasható fájlformátumokat. A hatékonyság érdekében Tossell a Parquet formátumot választotta az oszlopos adattároláshoz, míg az adatbázis-kezelésért a villámgyors és fájlalapú DuckDB felelt. A végleges rendszer egy okos, statikus webhely-architektúrára épül, amely ahelyett, hogy komplex és erőforrás-igényes backend megoldásokra támaszkodna, közvetlenül a böngészőben szűri a helyi adatokat, ezzel biztosítva a gyors és zökkenőmentes felhasználói élményt.

Ez a projekt azért bír kiemelkedő jelentőséggel, mert ékes példája annak, hogyan alakíthatják át az AI ágensek a korábban manuális, hetekig tartó adatmérnöki és kutatási feladatokat teljesen önálló munkafolyamatokká. Korábban a rendezetlen, fragmentált közadatok feldolgozása hatalmas erőforrásokat igényelt, azonban az AI segítségével ezek a rejtett információk mostantól mindenki számára elérhető, strukturált és elemezhető formátumban válnak hozzáférhetővé. Tossell munkája nem csupán technikai bravúr, hanem egy fontos mérföldkő is a közszolgálati adatok demokratizálásában, hiszen megmutatja, hogy a megfelelő eszközökkel még a leginkább elszigetelt kormányzati adatforrások is átláthatóvá és átláthatóan vizsgálhatóvá tehetők. Ez a megközelítés a jövőben új utakat nyithat az adatújságírás és a civil kontroll területén, ahol az automatizált rendszerek a hétköznapi állampolgárok számára is érthető módon képesek feltárni a közpénzek útját.