[KB] Script ingest Guida UI V2 nella KB AI (eseguito: 8 chunk, scope SYSTEM)
ARIA ora conosce la nuova interfaccia V2 (docs/kb/V2_UI_NAVIGAZIONE.md indicizzato in Qdrant nis2_kb scope SYSTEM). Header documenta il workaround mount (copia sotto application/). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
DevEnv nis2-agile
co-authored by
Claude Opus 4.8
Claude Opus 4.8
parent
1c64211685
commit
2b197440f6
@@ -0,0 +1,137 @@
|
|||||||
|
<?php
|
||||||
|
/**
|
||||||
|
* NIS2 Agile - Ingest documento "Guida UI V2 (Bootstrap Italia)" nella KB (RAG)
|
||||||
|
* ----------------------------------------------------------------------------
|
||||||
|
* Indicizza docs/kb/V2_UI_NAVIGAZIONE.md nella collection Qdrant `nis2_kb` con
|
||||||
|
* scope SYSTEM, cosi' che l'assistente AI (ARIA) sappia guidare l'utente nella
|
||||||
|
* nuova interfaccia V2 (sidebar, pagine, moduli).
|
||||||
|
*
|
||||||
|
* ESEGUIRE SU HETZNER (richiede Qdrant + Voyage). NB: il container nis2-app monta
|
||||||
|
* SOLO application/ e public/ (NON scripts/), quindi per girare via `docker exec`
|
||||||
|
* copiare temporaneamente questo script + il doc sotto application/ ed eseguire:
|
||||||
|
* cp scripts/ingest-v2-ui-doc.php application/_ingest-v2.php
|
||||||
|
* cp docs/kb/V2_UI_NAVIGAZIONE.md application/_v2_ui_doc.md # + adattare i path a __DIR__
|
||||||
|
* docker exec -i nis2-app php /var/www/nis2-agile/application/_ingest-v2.php
|
||||||
|
* rm application/_ingest-v2.php application/_v2_ui_doc.md
|
||||||
|
* (eseguito con successo il 2026-06-12: 8 chunk, scope SYSTEM).
|
||||||
|
*
|
||||||
|
* Idempotente: cancella i chunk SYSTEM di questa stessa fonte prima del re-upsert.
|
||||||
|
* Opzioni: --dry-run (estrae e mostra le statistiche senza upsert)
|
||||||
|
* ============================================================================
|
||||||
|
*/
|
||||||
|
|
||||||
|
if (PHP_SAPI !== 'cli') { fwrite(STDERR, "Solo CLI\n"); exit(1); }
|
||||||
|
|
||||||
|
if (!defined('BASE_PATH')) define('BASE_PATH', dirname(__DIR__));
|
||||||
|
if (!defined('APP_PATH')) define('APP_PATH', BASE_PATH . '/application');
|
||||||
|
|
||||||
|
require_once APP_PATH . '/config/env.php';
|
||||||
|
require_once APP_PATH . '/config/config.php';
|
||||||
|
require_once APP_PATH . '/config/database.php';
|
||||||
|
require_once APP_PATH . '/services/EmbedService.php';
|
||||||
|
require_once APP_PATH . '/services/VectorService.php';
|
||||||
|
|
||||||
|
$opts = getopt('', ['dry-run']);
|
||||||
|
$dryRun = isset($opts['dry-run']);
|
||||||
|
|
||||||
|
$DOC_FILE = BASE_PATH . '/docs/kb/V2_UI_NAVIGAZIONE.md';
|
||||||
|
$SOURCE = 'NIS2 Agile — Guida interfaccia V2 (Bootstrap Italia)';
|
||||||
|
$TITLE = 'Interfaccia V2 NIS2 Agile — navigazione e moduli';
|
||||||
|
|
||||||
|
function logln(string $m): void { echo '[' . date('Y-m-d H:i:s') . "] $m\n"; }
|
||||||
|
|
||||||
|
function chunkText(string $text, int $size = 2000, int $overlap = 200): array
|
||||||
|
{
|
||||||
|
$text = mb_convert_encoding($text, 'UTF-8', 'UTF-8');
|
||||||
|
$chunks = []; $len = mb_strlen($text, 'UTF-8'); $start = 0;
|
||||||
|
while ($start < $len) {
|
||||||
|
$take = min($size, $len - $start);
|
||||||
|
$piece = mb_substr($text, $start, $take, 'UTF-8');
|
||||||
|
if (trim($piece) !== '') $chunks[] = $piece;
|
||||||
|
if ($start + $take >= $len) break;
|
||||||
|
$start += ($size - $overlap);
|
||||||
|
}
|
||||||
|
return $chunks;
|
||||||
|
}
|
||||||
|
|
||||||
|
function uuid(): string
|
||||||
|
{
|
||||||
|
$b = random_bytes(16);
|
||||||
|
$b[6] = chr((ord($b[6]) & 0x0f) | 0x40);
|
||||||
|
$b[8] = chr((ord($b[8]) & 0x3f) | 0x80);
|
||||||
|
return vsprintf('%s%s-%s-%s-%s-%s%s%s', str_split(bin2hex($b), 4));
|
||||||
|
}
|
||||||
|
|
||||||
|
logln('=== Ingest Guida UI V2 nella KB (scope SYSTEM) ===');
|
||||||
|
if ($dryRun) logln('MODALITA DRY-RUN: nessun upsert.');
|
||||||
|
|
||||||
|
if (!is_file($DOC_FILE)) { logln("ERRORE: doc non trovato {$DOC_FILE}"); exit(1); }
|
||||||
|
$text = (string) file_get_contents($DOC_FILE);
|
||||||
|
$text = preg_replace('/[ \t]+/', ' ', $text);
|
||||||
|
$text = preg_replace('/\n{3,}/', "\n\n", trim($text));
|
||||||
|
if (strlen($text) < 200) { logln('ERRORE: testo troppo breve.'); exit(1); }
|
||||||
|
|
||||||
|
$header = "DOCUMENTO: Guida all'interfaccia V2 di NIS2 Agile (Bootstrap Italia).\n"
|
||||||
|
. "USO: aiutare l'utente a navigare la UI, trovare moduli e funzioni.\n\n";
|
||||||
|
$chunks = chunkText($header . $text, 2000, 200);
|
||||||
|
logln(' testo: ' . strlen($text) . ' char -> ' . count($chunks) . ' chunk');
|
||||||
|
|
||||||
|
if ($dryRun) { logln('=== DRY-RUN completato ==='); exit(0); }
|
||||||
|
|
||||||
|
$embed = new EmbedService();
|
||||||
|
$vector = new VectorService();
|
||||||
|
$vector->ensureCollection($embed->dims);
|
||||||
|
|
||||||
|
// Idempotenza: rimuovi i chunk SYSTEM esistenti per questa fonte
|
||||||
|
try {
|
||||||
|
$vector->deleteByFilter(['must' => [
|
||||||
|
['key' => 'scope', 'match' => ['value' => 'SYSTEM']],
|
||||||
|
['key' => 'source', 'match' => ['value' => $SOURCE]],
|
||||||
|
]]);
|
||||||
|
} catch (Exception $e) { logln(' (warning) delete precedente: ' . $e->getMessage()); }
|
||||||
|
|
||||||
|
$docUuid = uuid();
|
||||||
|
$points = [];
|
||||||
|
foreach ($chunks as $i => $chunk) {
|
||||||
|
$vec = null;
|
||||||
|
for ($try = 1; $try <= 5; $try++) {
|
||||||
|
try { $vec = $embed->embed($chunk); break; }
|
||||||
|
catch (Throwable $e) {
|
||||||
|
if ($try === 5) { logln(" ERRORE embed chunk {$i} dopo 5 tentativi: " . $e->getMessage()); throw $e; }
|
||||||
|
logln(" retry embed chunk {$i} (tentativo {$try})");
|
||||||
|
sleep($try);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
$points[] = [
|
||||||
|
'id' => uuid(),
|
||||||
|
'vector' => $vec,
|
||||||
|
'payload' => [
|
||||||
|
'doc_uuid' => $docUuid,
|
||||||
|
'title' => $TITLE . ($i > 0 ? ' (parte ' . ($i + 1) . ')' : ''),
|
||||||
|
'chunk' => $chunk,
|
||||||
|
'entity_type' => 'guida_prodotto',
|
||||||
|
'source' => $SOURCE,
|
||||||
|
'lang' => 'it',
|
||||||
|
'scope' => 'SYSTEM',
|
||||||
|
'consulting_firm_id' => null,
|
||||||
|
'organization_id' => null,
|
||||||
|
'shared_with_orgs' => [],
|
||||||
|
'uploaded_by' => 0,
|
||||||
|
],
|
||||||
|
];
|
||||||
|
}
|
||||||
|
foreach (array_chunk($points, 64) as $batch) {
|
||||||
|
$vector->upsertBatch($batch);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Tracking MySQL (best-effort)
|
||||||
|
try {
|
||||||
|
$stmt = Database::getInstance()->prepare(
|
||||||
|
"INSERT INTO kb_uploaded_documents
|
||||||
|
(qdrant_doc_uuid, scope, consulting_firm_id, organization_id, uploaded_by, title, entity_type, source, lang, chunk_count, shared_with_orgs, status)
|
||||||
|
VALUES (?, 'SYSTEM', NULL, NULL, 0, ?, 'guida_prodotto', ?, 'it', ?, '[]', 'ready')"
|
||||||
|
);
|
||||||
|
$stmt->execute([$docUuid, $TITLE, $SOURCE, count($chunks)]);
|
||||||
|
} catch (Exception $e) { logln(' (warning) tracking insert: ' . $e->getMessage()); }
|
||||||
|
|
||||||
|
logln("=== OK indicizzato: doc_uuid={$docUuid}, " . count($chunks) . " chunk ===");
|
||||||
Reference in New Issue
Block a user