Initial commit: Grafana + Elasticsearch POC con dashboard Activity e Tasks
This commit is contained in:
Matteo Benedetto
@@ -0,0 +1,94 @@
|
|||||||
|
# Grafana & Elasticsearch Know-How
|
||||||
|
|
||||||
|
## 1. Elasticsearch Datasource Provisioning (YAML)
|
||||||
|
|
||||||
|
Quando si configura il datasource Elasticsearch via provisioning (es. `datasource.yml`), utilizzare il blocco `jsonData` per le configurazioni specifiche.
|
||||||
|
|
||||||
|
**Campi Chiave in `jsonData`:**
|
||||||
|
|
||||||
|
* **`index`**: Definisce il pattern dell'indice (es. `geodata`, `[logs-]YYYY.MM.DD`). **Nota:** Usare questo invece del campo top-level `database` che è deprecato.
|
||||||
|
* **`timeField`**: Il nome del campo timestamp (es. `timestamp` o `@timestamp`).
|
||||||
|
* **`esVersion`**: La versione del cluster Elasticsearch (es. `7.10.0`).
|
||||||
|
* **`interval`**: L'intervallo di tempo predefinito per i raggruppamenti (es. `Daily`, `Hourly`, `1m`). **Attenzione:** Non impostare a `None` o valori non validi, altrimenti Grafana potrebbe crashare all'avvio.
|
||||||
|
* **`maxConcurrentShardRequests`**: Limita le richieste concorrenti agli shard.
|
||||||
|
|
||||||
|
**Esempio `datasource.yml`:**
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
apiVersion: 1
|
||||||
|
|
||||||
|
datasources:
|
||||||
|
- name: Elasticsearch
|
||||||
|
type: elasticsearch
|
||||||
|
uid: elasticsearch-uid
|
||||||
|
access: proxy
|
||||||
|
url: http://elasticsearch:9200
|
||||||
|
isDefault: true
|
||||||
|
jsonData:
|
||||||
|
index: "geodata"
|
||||||
|
timeField: "timestamp"
|
||||||
|
esVersion: "7.10.0"
|
||||||
|
interval: "Daily"
|
||||||
|
maxConcurrentShardRequests: 5
|
||||||
|
```
|
||||||
|
|
||||||
|
## 2. Grafana Geomap Panel con Elasticsearch
|
||||||
|
|
||||||
|
Per visualizzare punti GeoJSON da Elasticsearch, si utilizza l'aggregazione **Geohash Grid**.
|
||||||
|
|
||||||
|
**Configurazione Query:**
|
||||||
|
|
||||||
|
1. **Query Type:** `Metric`.
|
||||||
|
2. **Metric:** `Count` (o altra metrica).
|
||||||
|
3. **Group By:**
|
||||||
|
* Type: `Geohash Grid`
|
||||||
|
* Field: Il campo mappato come `geo_point` (es. `location`).
|
||||||
|
* Precision: Livello di dettaglio (es. `5`).
|
||||||
|
|
||||||
|
**Configurazione Pannello (JSON Model):**
|
||||||
|
|
||||||
|
* **`geohashField`**: Nella configurazione del layer, specifica quale campo contiene l'hash. Solitamente è `key` quando si usa l'aggregazione.
|
||||||
|
* **`location.mode`**: Deve essere impostato su `geohash`.
|
||||||
|
|
||||||
|
**Troubleshooting "Mappa Vuota":**
|
||||||
|
|
||||||
|
* **Precisione:** Se troppo alta (es. 12) su una mappa zoomata indietro, i punti potrebbero non apparire.
|
||||||
|
* **Mapping:** Il campo in Elasticsearch DEVE essere di tipo `geo_point`.
|
||||||
|
* **Geohash Field:** Assicurarsi che nel pannello Geomap, sotto "Layer" -> "Location", il "Geohash field" sia impostato correttamente (spesso `key`).
|
||||||
|
|
||||||
|
**Esempio JSON Dashboard (Snippet):**
|
||||||
|
|
||||||
|
```json
|
||||||
|
{
|
||||||
|
"type": "geomap",
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"bucketAggs": [
|
||||||
|
{
|
||||||
|
"type": "geohash_grid",
|
||||||
|
"field": "location",
|
||||||
|
"settings": { "precision": "5" }
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"options": {
|
||||||
|
"layers": [
|
||||||
|
{
|
||||||
|
"location": {
|
||||||
|
"mode": "geohash",
|
||||||
|
"geohashField": "key"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
## 3. Troubleshooting & Best Practices
|
||||||
|
|
||||||
|
* **Controllare sempre i log:** Prima di terminare un task o assumere che una fix funzioni, controllare sempre i log del container (es. `docker compose logs grafana`). Errori di provisioning o crash all'avvio sono spesso visibili solo lì.
|
||||||
|
* **Riavvio Container:** Le modifiche ai file di provisioning (`datasource.yml`, `dashboard.yml`) richiedono spesso il riavvio del container Grafana (`docker compose restart grafana`) per essere applicate.
|
||||||
|
* **Validazione YAML:** Assicurarsi che i file YAML siano validi e che l'indentazione sia corretta.
|
||||||
|
* **Datasource UID:** Se si riscontrano errori "Datasource provisioning error: data source not found", provare a rimuovere il campo `uid` dal file YAML del datasource e fare riferimento al datasource tramite il suo `name` (stringa) nel JSON della dashboard, invece che tramite l'oggetto `{ type: ..., uid: ... }`.
|
||||||
@@ -0,0 +1,6 @@
|
|||||||
|
grafana_data/
|
||||||
|
es_data/
|
||||||
|
__pycache__/
|
||||||
|
*.pyc
|
||||||
|
.env
|
||||||
|
*.log
|
||||||
@@ -0,0 +1,197 @@
|
|||||||
|
# Dashboard Activity & Tasks su Elasticsearch
|
||||||
|
|
||||||
|
**Autore:** Matteo Benedetto
|
||||||
|
**Email:** matteo.benedetto@e-geos.it
|
||||||
|
**Data:** 03/12/2025
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 1. Struttura dei dati in Elasticsearch
|
||||||
|
|
||||||
|
### 1.1 Indice
|
||||||
|
|
||||||
|
Tutti i dati sono indicizzati in Elasticsearch nell'indice:
|
||||||
|
|
||||||
|
- **Nome indice:** `geodata`
|
||||||
|
|
||||||
|
L'indice viene creato automaticamente dal servizio `data_loader` (contenitore Docker) oppure tramite lo script di inizializzazione usato nella fase di sviluppo.
|
||||||
|
|
||||||
|
### 1.2 Mapping principale
|
||||||
|
|
||||||
|
Il mapping dell’indice `geodata` è stato definito in modo esplicito per evitare problemi con i tipi dinamici e per supportare aggregazioni e visualizzazioni in Grafana.
|
||||||
|
|
||||||
|
Campi principali:
|
||||||
|
|
||||||
|
- `location` (`geo_point`)
|
||||||
|
- Coordinate geografiche del punto (latitudine/longitudine).
|
||||||
|
- `timestamp` (`date`)
|
||||||
|
- Data/ora dell’evento.
|
||||||
|
- `status` (`keyword`)
|
||||||
|
- Stato del ticket/attività. Valori possibili: `OPEN`, `CLOSED`, `IN_PROGRESS`, `ON_HOLD`.
|
||||||
|
- `timing_status` (`keyword`)
|
||||||
|
- Stato di puntualità, definito solo quando `status = CLOSED`.
|
||||||
|
- Valori possibili: `CLOSED_ON_TIME`, `CLOSED_LATE`.
|
||||||
|
- `lead_time` (`integer`)
|
||||||
|
- Tempo di lavorazione (in minuti) per le attività chiuse, usato per le medie nella dashboard.
|
||||||
|
- `operator` (`keyword`)
|
||||||
|
- Operatore responsabile (es. `Operator A`, `Operator B`, …).
|
||||||
|
- `duration` (`integer`)
|
||||||
|
- Durata generica dell’evento (valore grezzo usato solo come informativo).
|
||||||
|
- `task_type` (`keyword`)
|
||||||
|
- Tipo di task, usato nella dashboard **Tasks**. Valori esemplificativi:
|
||||||
|
- `Create Activity`
|
||||||
|
- `Close Activity`
|
||||||
|
- `Create WF`
|
||||||
|
- `Close WF`
|
||||||
|
- `Select DTO`
|
||||||
|
- `Report Generation`
|
||||||
|
- `Report QC`
|
||||||
|
- `min_duration` (`integer`)
|
||||||
|
- Durata minima simulata per il tipo di task (in secondi).
|
||||||
|
- `max_duration` (`integer`)
|
||||||
|
- Durata massima simulata per il tipo di task (in secondi).
|
||||||
|
- `avg_duration` (`integer`)
|
||||||
|
- Durata media simulata per il tipo di task (in secondi).
|
||||||
|
- `task_duration` (`integer`)
|
||||||
|
- Durata effettiva del singolo evento (in secondi).
|
||||||
|
- `id` (`integer`)
|
||||||
|
- Identificativo numerico univoco del record nella generazione mock.
|
||||||
|
|
||||||
|
### 1.3 Generazione e caricamento dati
|
||||||
|
|
||||||
|
- **Generazione dati**: file `generate_mock_data.py`
|
||||||
|
- Genera un file GeoJSON `data/sample.geojson` con 1000 feature.
|
||||||
|
- Popola per ogni feature:
|
||||||
|
- coordinate casuali in Europa,
|
||||||
|
- campi di stato (`status`, `timing_status`, `lead_time`),
|
||||||
|
- informazioni di task (`task_type`, durate, operatore, timestamp).
|
||||||
|
- **Caricamento in Elasticsearch**: file `loader/load_data.py`
|
||||||
|
- Attende che Elasticsearch sia disponibile.
|
||||||
|
- Crea l’indice `geodata` con il mapping descritto sopra.
|
||||||
|
- Legge `sample.geojson` e per ogni feature crea un documento con:
|
||||||
|
- `location.lat` / `location.lon`
|
||||||
|
- tutti i campi in `properties` (timestamp, status, operator, ecc.).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. Dashboard "Activity"
|
||||||
|
|
||||||
|
La prima dashboard si chiama **"Activity"** ed è salvata in `grafana/dashboards/dashboard.json`.
|
||||||
|
|
||||||
|
### 2.1 Pannelli principali
|
||||||
|
|
||||||
|
1. **Activity Status** (table)
|
||||||
|
- **Datasource:** `Elasticsearch`
|
||||||
|
- **Query:** aggregazione `terms` sul campo `status` + metrica `count`.
|
||||||
|
- **Trasformazioni:**
|
||||||
|
- `organize` per rinominare i campi in `Status`, `Count`, `Avg Lead Time`.
|
||||||
|
- `calculateField` per calcolare il totale e la colonna `Proportion` (percentuale sul totale).
|
||||||
|
- **Colori:** override sul campo `Status` con testo colorato (OPEN giallo, CLOSED blu, IN_PROGRESS azzurro, ON_HOLD viola).
|
||||||
|
- **Uso:** fornisce il riepilogo delle attività per stato con la proporzione e il tempo medio di lavorazione.
|
||||||
|
|
||||||
|
2. **Activity Distribution** (geomap heatmap)
|
||||||
|
- **Datasource:** `Elasticsearch`
|
||||||
|
- **Query:** metrica `raw_data` con `query: "*"` e `timeField: "timestamp"`.
|
||||||
|
- **Layer:** tipo `heatmap` con:
|
||||||
|
- `location.mode = "coords"`
|
||||||
|
- `latitude = "location.lat"`, `longitude = "location.lon"`
|
||||||
|
- **Uso:** visualizza la distribuzione geografica degli eventi come heatmap sull’Europa.
|
||||||
|
|
||||||
|
3. **Timing Status** (table)
|
||||||
|
- **Datasource:** `Elasticsearch`
|
||||||
|
- **Query:** aggregazione `terms` su `timing_status` + metrica `count`.
|
||||||
|
- **Colori:**
|
||||||
|
- `CLOSED_ON_TIME` con background verde.
|
||||||
|
- `CLOSED_LATE` con background arancione.
|
||||||
|
- **Uso:** mostra il numero di attività chiuse in tempo vs in ritardo.
|
||||||
|
|
||||||
|
4. **On-Time vs Late** (pie chart)
|
||||||
|
- **Datasource:** `Elasticsearch`
|
||||||
|
- **Query:** identica a `Timing Status` (terms su `timing_status`).
|
||||||
|
- **Trasformazioni:**
|
||||||
|
- trasformazione per convertire i risultati dell’aggregazione in valori per il pie chart.
|
||||||
|
- **Uso:** rappresentazione grafica (torta) della ripartizione CLOSED_ON_TIME vs CLOSED_LATE.
|
||||||
|
|
||||||
|
5. **Activity Over Time** (time series)
|
||||||
|
- **Datasource:** `Elasticsearch`
|
||||||
|
- **Query:** `date_histogram` su `timestamp` + metrica `count`.
|
||||||
|
- **Uso:** andamento temporale del numero di eventi.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Dashboard "Tasks"
|
||||||
|
|
||||||
|
La seconda dashboard si chiama **"Tasks"** ed è salvata in `grafana/dashboards/tasks_dashboard.json`.
|
||||||
|
|
||||||
|
### 3.1 Tasks (tabella in alto a sinistra)
|
||||||
|
|
||||||
|
- **Datasource:** `Elasticsearch`
|
||||||
|
- **Query:**
|
||||||
|
- `terms` su `task_type` (raggruppamento per tipo di task).
|
||||||
|
- Metriche:
|
||||||
|
- `count` (Total)
|
||||||
|
- `min` su `task_duration` (Min Duration)
|
||||||
|
- `max` su `task_duration` (Max Duration)
|
||||||
|
- **Trasformazioni:**
|
||||||
|
- `organize` per rinominare i campi:
|
||||||
|
- `task_type → Task`
|
||||||
|
- `Count → Total`
|
||||||
|
- `Min task_duration → Min Duration`
|
||||||
|
- `Max task_duration → Max Duration`
|
||||||
|
- **Colori:** testo del campo `Task` colorato in azzurro.
|
||||||
|
- **Uso:** riepilogo per tipo di task con numero totale e range di durata.
|
||||||
|
|
||||||
|
### 3.2 Tasks by Operator (grafico a barre orizzontali)
|
||||||
|
|
||||||
|
- **Datasource:** `Elasticsearch`
|
||||||
|
- **Query:**
|
||||||
|
- Primo livello: `terms` su `operator` (asse Y del grafico).
|
||||||
|
- Secondo livello: `terms` su `task_type` (serie colorate).
|
||||||
|
- Metrica: `count`.
|
||||||
|
- **Trasformazioni:**
|
||||||
|
- `groupingToMatrix` (o equivalente) per trasformare l’output dell’aggregazione in una matrice con:
|
||||||
|
- `rowField = operator`
|
||||||
|
- `columnField = task_type`
|
||||||
|
- `valueField = Count`
|
||||||
|
- **Opzioni grafiche:**
|
||||||
|
- `orientation = horizontal`.
|
||||||
|
- `stacking = normal` per avere barre impilate per operatore.
|
||||||
|
- Legenda a destra con un colore per ogni tipo di task (`Create Activity`, `Close Activity`, `Create WF`, `Close WF`, `Select DTO`, `Report Generation`, `Report QC`).
|
||||||
|
- **Uso:** mostra per ogni operatore il numero di task, suddivisi per tipologia come barre orizzontali impilate.
|
||||||
|
|
||||||
|
### 3.3 Tasks (tabella in basso)
|
||||||
|
|
||||||
|
- **Datasource:** `Elasticsearch`
|
||||||
|
- **Query:**
|
||||||
|
- `terms` su `task_type` e `operator` (raggruppamento per Task + Operator).
|
||||||
|
- Metriche:
|
||||||
|
- `count` (Total)
|
||||||
|
- `min`/`max`/`avg` su `task_duration`.
|
||||||
|
- **Trasformazioni:**
|
||||||
|
- `organize` per ordinare le colonne e rinominare i campi in:
|
||||||
|
- `Task`, `Operator`, `Total`, `Min`, `Max`, `Average`.
|
||||||
|
- **Unità di misura:**
|
||||||
|
- Durate espresse in secondi, visualizzate in Grafana come secondi/minuti (in base al formato scelto nella colonna).
|
||||||
|
- **Uso:** tabella dettagliata per tipo di task e operatore, con statistiche di durata.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. Note operative
|
||||||
|
|
||||||
|
- **Provisioning Grafana**
|
||||||
|
- I file delle dashboard sono montati nel container Grafana tramite Docker Compose.
|
||||||
|
- Ogni modifica ai file JSON (`dashboard.json`, `tasks_dashboard.json`) richiede un **riavvio del container Grafana** (`docker compose restart grafana`).
|
||||||
|
|
||||||
|
- **Datasource Elasticsearch**
|
||||||
|
- È definito tramite provisioning (file `datasource.yml`) usando:
|
||||||
|
- `jsonData.index = "geodata"`
|
||||||
|
- `jsonData.timeField = "timestamp"`
|
||||||
|
- Non viene usata la `uid` del datasource nelle dashboard: i pannelli si riferiscono al datasource tramite `"datasource": "Elasticsearch"` per evitare problemi di provisioning.
|
||||||
|
|
||||||
|
- **Rigenerazione dati**
|
||||||
|
- Per rigenerare i dati mock:
|
||||||
|
1. Eseguire `python3 generate_mock_data.py` nella root del progetto.
|
||||||
|
2. Cancellare l’indice `geodata` in Elasticsearch.
|
||||||
|
3. Riavviare il container `data_loader` in modo che ricrei l’indice con il mapping corretto e ricarichi `sample.geojson`.
|
||||||
|
|
||||||
|
Questo documento descrive lo stato corrente della soluzione (stack Docker Elasticsearch + Grafana + loader Python) usata per visualizzare dati geospaziali e metriche di attività/task nelle dashboard **Activity** e **Tasks**.
|
||||||
Binary file not shown.
+22513
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,51 @@
|
|||||||
|
services:
|
||||||
|
elasticsearch:
|
||||||
|
image: docker.elastic.co/elasticsearch/elasticsearch:7.17.10
|
||||||
|
container_name: elasticsearch
|
||||||
|
environment:
|
||||||
|
- node.name=elasticsearch
|
||||||
|
- discovery.type=single-node
|
||||||
|
- bootstrap.memory_lock=true
|
||||||
|
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
|
||||||
|
- xpack.security.enabled=false
|
||||||
|
ulimits:
|
||||||
|
memlock:
|
||||||
|
soft: -1
|
||||||
|
hard: -1
|
||||||
|
volumes:
|
||||||
|
- ./es_data:/usr/share/elasticsearch/data
|
||||||
|
ports:
|
||||||
|
- "9200:9200"
|
||||||
|
networks:
|
||||||
|
- grafana-net
|
||||||
|
|
||||||
|
grafana:
|
||||||
|
image: grafana/grafana:latest
|
||||||
|
container_name: grafana
|
||||||
|
volumes:
|
||||||
|
- ./grafana_data:/var/lib/grafana
|
||||||
|
- ./grafana/provisioning:/etc/grafana/provisioning
|
||||||
|
- ./grafana/dashboards:/var/lib/grafana/dashboards
|
||||||
|
ports:
|
||||||
|
- "3000:3000"
|
||||||
|
environment:
|
||||||
|
- GF_SECURITY_ADMIN_USER=admin
|
||||||
|
- GF_SECURITY_ADMIN_PASSWORD=admin
|
||||||
|
depends_on:
|
||||||
|
- elasticsearch
|
||||||
|
networks:
|
||||||
|
- grafana-net
|
||||||
|
|
||||||
|
data_loader:
|
||||||
|
build: ./loader
|
||||||
|
container_name: data_loader
|
||||||
|
volumes:
|
||||||
|
- ./data:/app/data
|
||||||
|
depends_on:
|
||||||
|
- elasticsearch
|
||||||
|
networks:
|
||||||
|
- grafana-net
|
||||||
|
|
||||||
|
networks:
|
||||||
|
grafana-net:
|
||||||
|
driver: bridge
|
||||||
@@ -0,0 +1,23 @@
|
|||||||
|
import json
|
||||||
|
|
||||||
|
file_path = 'grafana/dashboards/dashboard.json'
|
||||||
|
|
||||||
|
with open(file_path, 'r') as f:
|
||||||
|
data = json.load(f)
|
||||||
|
|
||||||
|
def fix_datasource(obj):
|
||||||
|
if isinstance(obj, dict):
|
||||||
|
if 'datasource' in obj and isinstance(obj['datasource'], dict):
|
||||||
|
if obj['datasource'].get('type') == 'elasticsearch':
|
||||||
|
obj['datasource'] = 'Elasticsearch'
|
||||||
|
|
||||||
|
for key, value in obj.items():
|
||||||
|
fix_datasource(value)
|
||||||
|
elif isinstance(obj, list):
|
||||||
|
for item in obj:
|
||||||
|
fix_datasource(item)
|
||||||
|
|
||||||
|
fix_datasource(data)
|
||||||
|
|
||||||
|
with open(file_path, 'w') as f:
|
||||||
|
json.dump(data, f, indent=2)
|
||||||
@@ -0,0 +1,87 @@
|
|||||||
|
import json
|
||||||
|
import random
|
||||||
|
from datetime import datetime, timedelta
|
||||||
|
|
||||||
|
def generate_random_point():
|
||||||
|
# Coordinate approssimative dell'Europa
|
||||||
|
lon = random.uniform(-10.0, 30.0)
|
||||||
|
lat = random.uniform(35.0, 60.0)
|
||||||
|
return [lon, lat]
|
||||||
|
|
||||||
|
def generate_data(num_points=500):
|
||||||
|
features = []
|
||||||
|
operators = ["Operator A", "Operator B", "Operator C", "Operator D", "Operator E"]
|
||||||
|
# Status principali (senza timing)
|
||||||
|
statuses = ["OPEN", "CLOSED", "IN_PROGRESS", "ON_HOLD"]
|
||||||
|
# Timing status solo per CLOSED
|
||||||
|
timing_statuses = ["CLOSED_ON_TIME", "CLOSED_LATE"]
|
||||||
|
# Task types
|
||||||
|
task_types = ["Create Activity", "Close Activity", "Create WF", "Close WF", "Select DTO", "Report Generation", "Report QC"]
|
||||||
|
|
||||||
|
base_time = datetime.now()
|
||||||
|
|
||||||
|
for i in range(num_points):
|
||||||
|
status = random.choice(statuses)
|
||||||
|
operator = random.choice(operators)
|
||||||
|
duration = random.randint(10, 300)
|
||||||
|
task_type = random.choice(task_types)
|
||||||
|
|
||||||
|
# Durations per task (in secondi) - min, max, avg variano per task
|
||||||
|
min_duration = random.randint(10, 25)
|
||||||
|
max_duration = random.randint(40, 60)
|
||||||
|
avg_duration = random.randint(min_duration + 5, max_duration - 5)
|
||||||
|
task_duration = random.randint(min_duration, max_duration + 20)
|
||||||
|
|
||||||
|
# Lead time in minuti (per Avg Lead Time) - solo per CLOSED
|
||||||
|
lead_time = None
|
||||||
|
timing_status = None
|
||||||
|
if status == "CLOSED":
|
||||||
|
lead_time = random.randint(5, 120) # minuti
|
||||||
|
# 70% on time, 30% late (come in figura ~24 vs 11)
|
||||||
|
timing_status = random.choices(timing_statuses, weights=[70, 30])[0]
|
||||||
|
|
||||||
|
# Random timestamp negli ultimi 7 giorni
|
||||||
|
time_offset = random.randint(0, 7 * 24 * 60 * 60)
|
||||||
|
timestamp = (base_time - timedelta(seconds=time_offset)).isoformat()
|
||||||
|
|
||||||
|
properties = {
|
||||||
|
"status": status,
|
||||||
|
"operator": operator,
|
||||||
|
"duration": duration,
|
||||||
|
"timestamp": timestamp,
|
||||||
|
"id": i,
|
||||||
|
"task_type": task_type,
|
||||||
|
"min_duration": min_duration,
|
||||||
|
"max_duration": max_duration,
|
||||||
|
"avg_duration": avg_duration,
|
||||||
|
"task_duration": task_duration
|
||||||
|
}
|
||||||
|
|
||||||
|
# Aggiungi lead_time e timing_status solo se CLOSED
|
||||||
|
if lead_time is not None:
|
||||||
|
properties["lead_time"] = lead_time
|
||||||
|
if timing_status is not None:
|
||||||
|
properties["timing_status"] = timing_status
|
||||||
|
|
||||||
|
feature = {
|
||||||
|
"type": "Feature",
|
||||||
|
"properties": properties,
|
||||||
|
"geometry": {
|
||||||
|
"type": "Point",
|
||||||
|
"coordinates": generate_random_point()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
features.append(feature)
|
||||||
|
|
||||||
|
geojson = {
|
||||||
|
"type": "FeatureCollection",
|
||||||
|
"features": features
|
||||||
|
}
|
||||||
|
|
||||||
|
with open('data/sample.geojson', 'w') as f:
|
||||||
|
json.dump(geojson, f, indent=2)
|
||||||
|
|
||||||
|
print(f"Generated {num_points} data points in data/sample.geojson")
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
generate_data(1000)
|
||||||
@@ -0,0 +1,716 @@
|
|||||||
|
{
|
||||||
|
"annotations": {
|
||||||
|
"list": [
|
||||||
|
{
|
||||||
|
"builtIn": 1,
|
||||||
|
"datasource": {
|
||||||
|
"type": "grafana",
|
||||||
|
"uid": "-- Grafana --"
|
||||||
|
},
|
||||||
|
"enable": true,
|
||||||
|
"hide": true,
|
||||||
|
"iconColor": "rgba(0, 211, 255, 1)",
|
||||||
|
"name": "Annotations & Alerts",
|
||||||
|
"type": "dashboard"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"editable": true,
|
||||||
|
"fiscalYearStartMonth": 0,
|
||||||
|
"graphTooltip": 0,
|
||||||
|
"id": 1,
|
||||||
|
"links": [],
|
||||||
|
"panels": [
|
||||||
|
{
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"color": {
|
||||||
|
"mode": "thresholds"
|
||||||
|
},
|
||||||
|
"custom": {
|
||||||
|
"align": "auto",
|
||||||
|
"cellOptions": {
|
||||||
|
"type": "auto"
|
||||||
|
},
|
||||||
|
"inspect": false
|
||||||
|
},
|
||||||
|
"mappings": [],
|
||||||
|
"thresholds": {
|
||||||
|
"mode": "absolute",
|
||||||
|
"steps": [
|
||||||
|
{
|
||||||
|
"color": "green",
|
||||||
|
"value": 0
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"overrides": [
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Status"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "mappings",
|
||||||
|
"value": [
|
||||||
|
{
|
||||||
|
"options": {
|
||||||
|
"CLOSED": {
|
||||||
|
"color": "blue",
|
||||||
|
"index": 1,
|
||||||
|
"text": "CLOSED"
|
||||||
|
},
|
||||||
|
"IN_PROGRESS": {
|
||||||
|
"color": "light-blue",
|
||||||
|
"index": 2,
|
||||||
|
"text": "IN_PROGRESS"
|
||||||
|
},
|
||||||
|
"ON_HOLD": {
|
||||||
|
"color": "purple",
|
||||||
|
"index": 3,
|
||||||
|
"text": "ON_HOLD"
|
||||||
|
},
|
||||||
|
"OPEN": {
|
||||||
|
"color": "yellow",
|
||||||
|
"index": 0,
|
||||||
|
"text": "OPEN"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"type": "value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "custom.cellOptions",
|
||||||
|
"value": {
|
||||||
|
"type": "color-text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Proportion"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "unit",
|
||||||
|
"value": "percentunit"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "decimals",
|
||||||
|
"value": 1
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Avg Lead Time"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "unit",
|
||||||
|
"value": "m"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "decimals",
|
||||||
|
"value": 0
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 8,
|
||||||
|
"x": 0,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 1,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"footer": {
|
||||||
|
"countRows": false,
|
||||||
|
"fields": "",
|
||||||
|
"reducer": [
|
||||||
|
"sum"
|
||||||
|
],
|
||||||
|
"show": false
|
||||||
|
},
|
||||||
|
"showHeader": true
|
||||||
|
},
|
||||||
|
"pluginVersion": "12.2.0-16711121739",
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"bucketAggs": [
|
||||||
|
{
|
||||||
|
"field": "status",
|
||||||
|
"id": "2",
|
||||||
|
"settings": {
|
||||||
|
"min_doc_count": "1",
|
||||||
|
"order": "desc",
|
||||||
|
"orderBy": "_count",
|
||||||
|
"size": "10"
|
||||||
|
},
|
||||||
|
"type": "terms"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"metrics": [
|
||||||
|
{
|
||||||
|
"id": "1",
|
||||||
|
"type": "count"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field": "lead_time",
|
||||||
|
"id": "3",
|
||||||
|
"type": "avg"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"query": "",
|
||||||
|
"refId": "A",
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Activity Status",
|
||||||
|
"transformations": [
|
||||||
|
{
|
||||||
|
"id": "organize",
|
||||||
|
"options": {
|
||||||
|
"excludeByName": {},
|
||||||
|
"indexByName": {},
|
||||||
|
"renameByName": {
|
||||||
|
"Average lead_time": "Avg Lead Time",
|
||||||
|
"Count": "Count",
|
||||||
|
"status": "Status"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "calculateField",
|
||||||
|
"options": {
|
||||||
|
"alias": "Total",
|
||||||
|
"mode": "reduceRow",
|
||||||
|
"reduce": {
|
||||||
|
"reducer": "sum"
|
||||||
|
},
|
||||||
|
"replaceFields": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "calculateField",
|
||||||
|
"options": {
|
||||||
|
"alias": "Proportion",
|
||||||
|
"binary": {
|
||||||
|
"left": "Count",
|
||||||
|
"operator": "/",
|
||||||
|
"right": "Total"
|
||||||
|
},
|
||||||
|
"mode": "binary",
|
||||||
|
"replaceFields": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "organize",
|
||||||
|
"options": {
|
||||||
|
"excludeByName": {
|
||||||
|
"Total": true
|
||||||
|
},
|
||||||
|
"indexByName": {
|
||||||
|
"Avg Lead Time": 3,
|
||||||
|
"Count": 1,
|
||||||
|
"Proportion": 2,
|
||||||
|
"Status": 0
|
||||||
|
},
|
||||||
|
"renameByName": {}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"custom": {
|
||||||
|
"hideFrom": {
|
||||||
|
"legend": false,
|
||||||
|
"tooltip": false,
|
||||||
|
"viz": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": [],
|
||||||
|
"thresholds": {
|
||||||
|
"mode": "absolute",
|
||||||
|
"steps": [
|
||||||
|
{
|
||||||
|
"color": "green",
|
||||||
|
"value": 0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"color": "red",
|
||||||
|
"value": 80
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 16,
|
||||||
|
"x": 8,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 2,
|
||||||
|
"options": {
|
||||||
|
"basemap": {
|
||||||
|
"config": {},
|
||||||
|
"name": "Layer 0",
|
||||||
|
"type": "default"
|
||||||
|
},
|
||||||
|
"controls": {
|
||||||
|
"mouseWheelZoom": true,
|
||||||
|
"showAttribution": true,
|
||||||
|
"showDebug": false,
|
||||||
|
"showMeasure": false,
|
||||||
|
"showScale": false,
|
||||||
|
"showZoom": true
|
||||||
|
},
|
||||||
|
"layers": [
|
||||||
|
{
|
||||||
|
"config": {
|
||||||
|
"blur": 4,
|
||||||
|
"radius": 5,
|
||||||
|
"weight": {
|
||||||
|
"fixed": 1
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"location": {
|
||||||
|
"latitude": "location.lat",
|
||||||
|
"longitude": "location.lon",
|
||||||
|
"mode": "coords"
|
||||||
|
},
|
||||||
|
"name": "Heatmap",
|
||||||
|
"tooltip": true,
|
||||||
|
"type": "heatmap"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "details"
|
||||||
|
},
|
||||||
|
"view": {
|
||||||
|
"allLayers": true,
|
||||||
|
"id": "europe",
|
||||||
|
"lat": 48,
|
||||||
|
"lon": 15,
|
||||||
|
"noRepeat": false,
|
||||||
|
"zoom": 4
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"pluginVersion": "12.2.0-16711121739",
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"alias": "",
|
||||||
|
"bucketAggs": [],
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"metrics": [
|
||||||
|
{
|
||||||
|
"id": "1",
|
||||||
|
"settings": {
|
||||||
|
"size": "500"
|
||||||
|
},
|
||||||
|
"type": "raw_data"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"query": "*",
|
||||||
|
"refId": "A",
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Activity Distribution",
|
||||||
|
"type": "geomap"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"color": {
|
||||||
|
"mode": "thresholds"
|
||||||
|
},
|
||||||
|
"custom": {
|
||||||
|
"align": "auto",
|
||||||
|
"cellOptions": {
|
||||||
|
"type": "auto"
|
||||||
|
},
|
||||||
|
"inspect": false
|
||||||
|
},
|
||||||
|
"mappings": [],
|
||||||
|
"thresholds": {
|
||||||
|
"mode": "absolute",
|
||||||
|
"steps": [
|
||||||
|
{
|
||||||
|
"color": "green",
|
||||||
|
"value": 0
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"overrides": [
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Timing Status"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "mappings",
|
||||||
|
"value": [
|
||||||
|
{
|
||||||
|
"options": {
|
||||||
|
"CLOSED_LATE": {
|
||||||
|
"color": "orange",
|
||||||
|
"index": 1,
|
||||||
|
"text": "CLOSED_LATE"
|
||||||
|
},
|
||||||
|
"CLOSED_ON_TIME": {
|
||||||
|
"color": "green",
|
||||||
|
"index": 0,
|
||||||
|
"text": "CLOSED_ON_TIME"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"type": "value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "custom.cellOptions",
|
||||||
|
"value": {
|
||||||
|
"type": "color-background"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 7,
|
||||||
|
"w": 11,
|
||||||
|
"x": 0,
|
||||||
|
"y": 8
|
||||||
|
},
|
||||||
|
"id": 3,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"footer": {
|
||||||
|
"countRows": false,
|
||||||
|
"fields": "",
|
||||||
|
"reducer": [
|
||||||
|
"sum"
|
||||||
|
],
|
||||||
|
"show": false
|
||||||
|
},
|
||||||
|
"showHeader": true
|
||||||
|
},
|
||||||
|
"pluginVersion": "12.2.0-16711121739",
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"bucketAggs": [
|
||||||
|
{
|
||||||
|
"field": "timing_status",
|
||||||
|
"id": "2",
|
||||||
|
"settings": {
|
||||||
|
"min_doc_count": "1",
|
||||||
|
"order": "desc",
|
||||||
|
"orderBy": "_count",
|
||||||
|
"size": "10"
|
||||||
|
},
|
||||||
|
"type": "terms"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"metrics": [
|
||||||
|
{
|
||||||
|
"id": "1",
|
||||||
|
"type": "count"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"query": "timing_status:*",
|
||||||
|
"refId": "A",
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Timing Status",
|
||||||
|
"transformations": [
|
||||||
|
{
|
||||||
|
"id": "organize",
|
||||||
|
"options": {
|
||||||
|
"excludeByName": {},
|
||||||
|
"indexByName": {},
|
||||||
|
"renameByName": {
|
||||||
|
"Count": "Count",
|
||||||
|
"timing_status": "Timing Status"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"color": {
|
||||||
|
"mode": "palette-classic"
|
||||||
|
},
|
||||||
|
"custom": {
|
||||||
|
"hideFrom": {
|
||||||
|
"legend": false,
|
||||||
|
"tooltip": false,
|
||||||
|
"viz": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": []
|
||||||
|
},
|
||||||
|
"overrides": [
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "CLOSED_ON_TIME"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "green",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "CLOSED_LATE"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "red",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 7,
|
||||||
|
"w": 13,
|
||||||
|
"x": 11,
|
||||||
|
"y": 8
|
||||||
|
},
|
||||||
|
"id": 5,
|
||||||
|
"options": {
|
||||||
|
"displayLabels": [],
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "table",
|
||||||
|
"placement": "right",
|
||||||
|
"showLegend": true,
|
||||||
|
"values": [
|
||||||
|
"value"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"pieType": "pie",
|
||||||
|
"reduceOptions": {
|
||||||
|
"calcs": [
|
||||||
|
"lastNotNull"
|
||||||
|
],
|
||||||
|
"fields": "",
|
||||||
|
"values": false
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"hideZeros": false,
|
||||||
|
"mode": "single",
|
||||||
|
"sort": "none"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"pluginVersion": "12.2.0-16711121739",
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"bucketAggs": [
|
||||||
|
{
|
||||||
|
"field": "timing_status",
|
||||||
|
"id": "2",
|
||||||
|
"settings": {
|
||||||
|
"min_doc_count": "1",
|
||||||
|
"order": "desc",
|
||||||
|
"orderBy": "_count",
|
||||||
|
"size": "10"
|
||||||
|
},
|
||||||
|
"type": "terms"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"metrics": [
|
||||||
|
{
|
||||||
|
"id": "1",
|
||||||
|
"type": "count"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"query": "timing_status:*",
|
||||||
|
"refId": "A",
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "On-Time vs Late",
|
||||||
|
"transformations": [
|
||||||
|
{
|
||||||
|
"id": "rowsToFields",
|
||||||
|
"options": {
|
||||||
|
"mappings": [
|
||||||
|
{
|
||||||
|
"fieldName": "timing_status",
|
||||||
|
"handlerKey": "field.name"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"fieldName": "Count",
|
||||||
|
"handlerKey": "field.value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"type": "piechart"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"color": {
|
||||||
|
"mode": "palette-classic"
|
||||||
|
},
|
||||||
|
"custom": {
|
||||||
|
"axisBorderShow": false,
|
||||||
|
"axisCenteredZero": false,
|
||||||
|
"axisColorMode": "text",
|
||||||
|
"axisLabel": "",
|
||||||
|
"axisPlacement": "auto",
|
||||||
|
"barAlignment": 0,
|
||||||
|
"barWidthFactor": 0.6,
|
||||||
|
"drawStyle": "line",
|
||||||
|
"fillOpacity": 0,
|
||||||
|
"gradientMode": "none",
|
||||||
|
"hideFrom": {
|
||||||
|
"legend": false,
|
||||||
|
"tooltip": false,
|
||||||
|
"viz": false
|
||||||
|
},
|
||||||
|
"insertNulls": false,
|
||||||
|
"lineInterpolation": "linear",
|
||||||
|
"lineWidth": 1,
|
||||||
|
"pointSize": 5,
|
||||||
|
"scaleDistribution": {
|
||||||
|
"type": "linear"
|
||||||
|
},
|
||||||
|
"showPoints": "auto",
|
||||||
|
"spanNulls": false,
|
||||||
|
"stacking": {
|
||||||
|
"group": "A",
|
||||||
|
"mode": "none"
|
||||||
|
},
|
||||||
|
"thresholdsStyle": {
|
||||||
|
"mode": "off"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": [],
|
||||||
|
"thresholds": {
|
||||||
|
"mode": "absolute",
|
||||||
|
"steps": [
|
||||||
|
{
|
||||||
|
"color": "green",
|
||||||
|
"value": 0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"color": "red",
|
||||||
|
"value": 80
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 6,
|
||||||
|
"w": 24,
|
||||||
|
"x": 0,
|
||||||
|
"y": 15
|
||||||
|
},
|
||||||
|
"id": 4,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"calcs": [],
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom",
|
||||||
|
"showLegend": true
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"hideZeros": false,
|
||||||
|
"mode": "single",
|
||||||
|
"sort": "none"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"pluginVersion": "12.2.0-16711121739",
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"bucketAggs": [
|
||||||
|
{
|
||||||
|
"field": "timestamp",
|
||||||
|
"id": "2",
|
||||||
|
"settings": {
|
||||||
|
"interval": "auto",
|
||||||
|
"min_doc_count": "0",
|
||||||
|
"trimEdges": "0"
|
||||||
|
},
|
||||||
|
"type": "date_histogram"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"metrics": [
|
||||||
|
{
|
||||||
|
"id": "1",
|
||||||
|
"type": "count"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"query": "",
|
||||||
|
"refId": "A",
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Activity Over Time",
|
||||||
|
"type": "timeseries"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"preload": false,
|
||||||
|
"refresh": "",
|
||||||
|
"schemaVersion": 41,
|
||||||
|
"tags": [],
|
||||||
|
"templating": {
|
||||||
|
"list": []
|
||||||
|
},
|
||||||
|
"time": {
|
||||||
|
"from": "now-90d",
|
||||||
|
"to": "now"
|
||||||
|
},
|
||||||
|
"timepicker": {},
|
||||||
|
"timezone": "",
|
||||||
|
"title": "Activity",
|
||||||
|
"uid": "geo-dashboard-01",
|
||||||
|
"version": 17
|
||||||
|
}
|
||||||
@@ -0,0 +1,586 @@
|
|||||||
|
{
|
||||||
|
"annotations": {
|
||||||
|
"list": []
|
||||||
|
},
|
||||||
|
"editable": true,
|
||||||
|
"fiscalYearStartMonth": 0,
|
||||||
|
"graphTooltip": 0,
|
||||||
|
"id": null,
|
||||||
|
"links": [],
|
||||||
|
"liveNow": false,
|
||||||
|
"panels": [
|
||||||
|
{
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"color": {
|
||||||
|
"mode": "thresholds"
|
||||||
|
},
|
||||||
|
"custom": {
|
||||||
|
"align": "auto",
|
||||||
|
"cellOptions": {
|
||||||
|
"type": "auto"
|
||||||
|
},
|
||||||
|
"inspect": false
|
||||||
|
},
|
||||||
|
"mappings": [],
|
||||||
|
"thresholds": {
|
||||||
|
"mode": "absolute",
|
||||||
|
"steps": [
|
||||||
|
{
|
||||||
|
"color": "green",
|
||||||
|
"value": null
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"overrides": [
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Task"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "custom.cellOptions",
|
||||||
|
"value": {
|
||||||
|
"type": "color-text"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "light-blue",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Min Duration"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "unit",
|
||||||
|
"value": "s"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Max Duration"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "unit",
|
||||||
|
"value": "s"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 1,
|
||||||
|
"options": {
|
||||||
|
"footer": {
|
||||||
|
"fields": "",
|
||||||
|
"reducer": ["sum"],
|
||||||
|
"show": false
|
||||||
|
},
|
||||||
|
"showHeader": true
|
||||||
|
},
|
||||||
|
"pluginVersion": "10.0.0",
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"bucketAggs": [
|
||||||
|
{
|
||||||
|
"field": "task_type",
|
||||||
|
"id": "2",
|
||||||
|
"settings": {
|
||||||
|
"min_doc_count": "1",
|
||||||
|
"order": "desc",
|
||||||
|
"orderBy": "_count",
|
||||||
|
"size": "10"
|
||||||
|
},
|
||||||
|
"type": "terms"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"metrics": [
|
||||||
|
{
|
||||||
|
"id": "1",
|
||||||
|
"type": "count"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "4",
|
||||||
|
"type": "min",
|
||||||
|
"field": "task_duration"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "5",
|
||||||
|
"type": "max",
|
||||||
|
"field": "task_duration"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"query": "",
|
||||||
|
"refId": "A",
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Tasks",
|
||||||
|
"transformations": [
|
||||||
|
{
|
||||||
|
"id": "organize",
|
||||||
|
"options": {
|
||||||
|
"excludeByName": {},
|
||||||
|
"indexByName": {},
|
||||||
|
"renameByName": {
|
||||||
|
"task_type": "Task",
|
||||||
|
"Count": "Total",
|
||||||
|
"Min task_duration": "Min Duration",
|
||||||
|
"Max task_duration": "Max Duration"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"color": {
|
||||||
|
"mode": "palette-classic"
|
||||||
|
},
|
||||||
|
"custom": {
|
||||||
|
"axisBorderShow": false,
|
||||||
|
"axisCenteredZero": false,
|
||||||
|
"axisColorMode": "text",
|
||||||
|
"axisLabel": "",
|
||||||
|
"axisPlacement": "auto",
|
||||||
|
"fillOpacity": 80,
|
||||||
|
"gradientMode": "none",
|
||||||
|
"hideFrom": {
|
||||||
|
"legend": false,
|
||||||
|
"tooltip": false,
|
||||||
|
"viz": false
|
||||||
|
},
|
||||||
|
"lineWidth": 1,
|
||||||
|
"scaleDistribution": {
|
||||||
|
"type": "linear"
|
||||||
|
},
|
||||||
|
"thresholdsStyle": {
|
||||||
|
"mode": "off"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": [],
|
||||||
|
"thresholds": {
|
||||||
|
"mode": "absolute",
|
||||||
|
"steps": [
|
||||||
|
{
|
||||||
|
"color": "green",
|
||||||
|
"value": null
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"overrides": [
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Create Activity"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "blue",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Close Activity"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "green",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Create WF"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "light-blue",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Close WF"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "dark-green",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Select DTO"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "yellow",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Report Generation"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "orange",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Report QC"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "purple",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 2,
|
||||||
|
"options": {
|
||||||
|
"barRadius": 0,
|
||||||
|
"barWidth": 0.8,
|
||||||
|
"fullHighlight": false,
|
||||||
|
"groupWidth": 0.7,
|
||||||
|
"legend": {
|
||||||
|
"calcs": [],
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "right",
|
||||||
|
"showLegend": true
|
||||||
|
},
|
||||||
|
"orientation": "horizontal",
|
||||||
|
"showValue": "never",
|
||||||
|
"stacking": "normal",
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "single",
|
||||||
|
"sort": "none"
|
||||||
|
},
|
||||||
|
"xTickLabelRotation": 0,
|
||||||
|
"xTickLabelSpacing": 0
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"bucketAggs": [
|
||||||
|
{
|
||||||
|
"field": "operator",
|
||||||
|
"id": "2",
|
||||||
|
"settings": {
|
||||||
|
"min_doc_count": "1",
|
||||||
|
"order": "asc",
|
||||||
|
"orderBy": "_term",
|
||||||
|
"size": "10"
|
||||||
|
},
|
||||||
|
"type": "terms"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field": "task_type",
|
||||||
|
"id": "3",
|
||||||
|
"settings": {
|
||||||
|
"min_doc_count": "1",
|
||||||
|
"order": "desc",
|
||||||
|
"orderBy": "_count",
|
||||||
|
"size": "10"
|
||||||
|
},
|
||||||
|
"type": "terms"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"metrics": [
|
||||||
|
{
|
||||||
|
"id": "1",
|
||||||
|
"type": "count"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"query": "",
|
||||||
|
"refId": "A",
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Tasks by Operator",
|
||||||
|
"transformations": [
|
||||||
|
{
|
||||||
|
"id": "groupingToMatrix",
|
||||||
|
"options": {
|
||||||
|
"columnField": "task_type",
|
||||||
|
"rowField": "operator",
|
||||||
|
"valueField": "Count",
|
||||||
|
"emptyValue": "null"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"type": "barchart"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"color": {
|
||||||
|
"mode": "thresholds"
|
||||||
|
},
|
||||||
|
"custom": {
|
||||||
|
"align": "auto",
|
||||||
|
"cellOptions": {
|
||||||
|
"type": "auto"
|
||||||
|
},
|
||||||
|
"inspect": false
|
||||||
|
},
|
||||||
|
"mappings": [],
|
||||||
|
"thresholds": {
|
||||||
|
"mode": "absolute",
|
||||||
|
"steps": [
|
||||||
|
{
|
||||||
|
"color": "green",
|
||||||
|
"value": null
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"overrides": [
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Task"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "custom.cellOptions",
|
||||||
|
"value": {
|
||||||
|
"type": "color-text"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "color",
|
||||||
|
"value": {
|
||||||
|
"fixedColor": "light-blue",
|
||||||
|
"mode": "fixed"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Min"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "unit",
|
||||||
|
"value": "s"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Max"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "unit",
|
||||||
|
"value": "s"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"matcher": {
|
||||||
|
"id": "byName",
|
||||||
|
"options": "Average"
|
||||||
|
},
|
||||||
|
"properties": [
|
||||||
|
{
|
||||||
|
"id": "unit",
|
||||||
|
"value": "s"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "decimals",
|
||||||
|
"value": 1
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 24,
|
||||||
|
"x": 0,
|
||||||
|
"y": 10
|
||||||
|
},
|
||||||
|
"id": 3,
|
||||||
|
"options": {
|
||||||
|
"footer": {
|
||||||
|
"fields": "",
|
||||||
|
"reducer": ["sum"],
|
||||||
|
"show": false
|
||||||
|
},
|
||||||
|
"showHeader": true
|
||||||
|
},
|
||||||
|
"pluginVersion": "10.0.0",
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"bucketAggs": [
|
||||||
|
{
|
||||||
|
"field": "task_type",
|
||||||
|
"id": "2",
|
||||||
|
"settings": {
|
||||||
|
"min_doc_count": "1",
|
||||||
|
"order": "desc",
|
||||||
|
"orderBy": "_count",
|
||||||
|
"size": "10"
|
||||||
|
},
|
||||||
|
"type": "terms"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field": "operator",
|
||||||
|
"id": "3",
|
||||||
|
"settings": {
|
||||||
|
"min_doc_count": "1",
|
||||||
|
"order": "asc",
|
||||||
|
"orderBy": "_term",
|
||||||
|
"size": "10"
|
||||||
|
},
|
||||||
|
"type": "terms"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"datasource": "Elasticsearch",
|
||||||
|
"metrics": [
|
||||||
|
{
|
||||||
|
"id": "1",
|
||||||
|
"type": "count"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "4",
|
||||||
|
"type": "min",
|
||||||
|
"field": "task_duration"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "5",
|
||||||
|
"type": "max",
|
||||||
|
"field": "task_duration"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "6",
|
||||||
|
"type": "avg",
|
||||||
|
"field": "task_duration"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"query": "",
|
||||||
|
"refId": "A",
|
||||||
|
"timeField": "timestamp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Tasks",
|
||||||
|
"transformations": [
|
||||||
|
{
|
||||||
|
"id": "organize",
|
||||||
|
"options": {
|
||||||
|
"excludeByName": {},
|
||||||
|
"indexByName": {
|
||||||
|
"task_type": 0,
|
||||||
|
"operator": 1,
|
||||||
|
"Count": 2,
|
||||||
|
"Min task_duration": 3,
|
||||||
|
"Max task_duration": 4,
|
||||||
|
"Average task_duration": 5
|
||||||
|
},
|
||||||
|
"renameByName": {
|
||||||
|
"task_type": "Task",
|
||||||
|
"operator": "Operator",
|
||||||
|
"Count": "Total",
|
||||||
|
"Min task_duration": "Min",
|
||||||
|
"Max task_duration": "Max",
|
||||||
|
"Average task_duration": "Average"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"type": "table"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"refresh": "",
|
||||||
|
"schemaVersion": 38,
|
||||||
|
"style": "dark",
|
||||||
|
"tags": [],
|
||||||
|
"templating": {
|
||||||
|
"list": []
|
||||||
|
},
|
||||||
|
"time": {
|
||||||
|
"from": "now-90d",
|
||||||
|
"to": "now"
|
||||||
|
},
|
||||||
|
"timepicker": {},
|
||||||
|
"timezone": "",
|
||||||
|
"title": "Tasks",
|
||||||
|
"uid": "tasks-dashboard-01",
|
||||||
|
"version": 1,
|
||||||
|
"weekStart": ""
|
||||||
|
}
|
||||||
@@ -0,0 +1,11 @@
|
|||||||
|
apiVersion: 1
|
||||||
|
|
||||||
|
providers:
|
||||||
|
- name: 'Default'
|
||||||
|
orgId: 1
|
||||||
|
folder: ''
|
||||||
|
type: file
|
||||||
|
disableDeletion: false
|
||||||
|
updateIntervalSeconds: 10
|
||||||
|
options:
|
||||||
|
path: /var/lib/grafana/dashboards
|
||||||
@@ -0,0 +1,12 @@
|
|||||||
|
apiVersion: 1
|
||||||
|
|
||||||
|
datasources:
|
||||||
|
- name: Elasticsearch
|
||||||
|
type: elasticsearch
|
||||||
|
access: proxy
|
||||||
|
url: http://elasticsearch:9200
|
||||||
|
isDefault: true
|
||||||
|
jsonData:
|
||||||
|
index: "geodata"
|
||||||
|
timeField: "timestamp"
|
||||||
|
esVersion: "7.10.0"
|
||||||
@@ -0,0 +1,10 @@
|
|||||||
|
FROM python:3.9-slim
|
||||||
|
|
||||||
|
WORKDIR /app
|
||||||
|
|
||||||
|
COPY requirements.txt .
|
||||||
|
RUN pip install --no-cache-dir -r requirements.txt
|
||||||
|
|
||||||
|
COPY load_data.py .
|
||||||
|
|
||||||
|
CMD ["python", "load_data.py"]
|
||||||
@@ -0,0 +1,143 @@
|
|||||||
|
import json
|
||||||
|
import os
|
||||||
|
import time
|
||||||
|
import logging
|
||||||
|
from datetime import datetime
|
||||||
|
from elasticsearch import Elasticsearch, helpers
|
||||||
|
|
||||||
|
# Configurazione logging
|
||||||
|
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
|
||||||
|
|
||||||
|
# Configurazione Elasticsearch
|
||||||
|
ES_HOST = os.environ.get('ES_HOST', 'elasticsearch')
|
||||||
|
ES_PORT = os.environ.get('ES_PORT', '9200')
|
||||||
|
INDEX_NAME = 'geodata'
|
||||||
|
GEOJSON_FILE = '/app/data/sample.geojson'
|
||||||
|
|
||||||
|
def wait_for_elasticsearch(es):
|
||||||
|
"""Attende che Elasticsearch sia pronto."""
|
||||||
|
while True:
|
||||||
|
try:
|
||||||
|
if es.ping():
|
||||||
|
logging.info("Elasticsearch è pronto!")
|
||||||
|
break
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
logging.info("In attesa di Elasticsearch...")
|
||||||
|
time.sleep(5)
|
||||||
|
|
||||||
|
def create_index(es):
|
||||||
|
"""Crea l'indice con il mapping corretto per i dati geospaziali."""
|
||||||
|
mapping = {
|
||||||
|
"mappings": {
|
||||||
|
"properties": {
|
||||||
|
"location": {
|
||||||
|
"type": "geo_point"
|
||||||
|
},
|
||||||
|
"timestamp": {
|
||||||
|
"type": "date"
|
||||||
|
},
|
||||||
|
"status": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"operator": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"duration": {
|
||||||
|
"type": "integer"
|
||||||
|
},
|
||||||
|
"timing_status": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"lead_time": {
|
||||||
|
"type": "integer"
|
||||||
|
},
|
||||||
|
"task_type": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"min_duration": {
|
||||||
|
"type": "integer"
|
||||||
|
},
|
||||||
|
"max_duration": {
|
||||||
|
"type": "integer"
|
||||||
|
},
|
||||||
|
"avg_duration": {
|
||||||
|
"type": "integer"
|
||||||
|
},
|
||||||
|
"task_duration": {
|
||||||
|
"type": "integer"
|
||||||
|
},
|
||||||
|
"id": {
|
||||||
|
"type": "integer"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if es.indices.exists(index=INDEX_NAME):
|
||||||
|
logging.info(f"L'indice '{INDEX_NAME}' esiste già.")
|
||||||
|
else:
|
||||||
|
es.indices.create(index=INDEX_NAME, body=mapping)
|
||||||
|
logging.info(f"Indice '{INDEX_NAME}' creato con successo.")
|
||||||
|
|
||||||
|
def process_geojson(file_path):
|
||||||
|
"""Legge il file GeoJSON e prepara i documenti per Elasticsearch."""
|
||||||
|
with open(file_path, 'r') as f:
|
||||||
|
data = json.load(f)
|
||||||
|
|
||||||
|
actions = []
|
||||||
|
for feature in data.get('features', []):
|
||||||
|
geometry = feature.get('geometry')
|
||||||
|
properties = feature.get('properties', {})
|
||||||
|
|
||||||
|
# Assicuriamoci che ci sia una geometria di tipo Point
|
||||||
|
if geometry and geometry.get('type') == 'Point':
|
||||||
|
lon, lat = geometry.get('coordinates')
|
||||||
|
|
||||||
|
# Creiamo il documento
|
||||||
|
doc = {
|
||||||
|
"_index": INDEX_NAME,
|
||||||
|
"_source": {
|
||||||
|
"location": {
|
||||||
|
"lat": lat,
|
||||||
|
"lon": lon
|
||||||
|
},
|
||||||
|
# Usa il timestamp presente o quello attuale
|
||||||
|
"timestamp": properties.get('timestamp', datetime.now().isoformat()),
|
||||||
|
"status": properties.get('status', 'UNKNOWN'),
|
||||||
|
"operator": properties.get('operator', 'Unknown Operator'),
|
||||||
|
"duration": properties.get('duration', 0),
|
||||||
|
**properties # Includi tutte le altre proprietà
|
||||||
|
}
|
||||||
|
}
|
||||||
|
actions.append(doc)
|
||||||
|
return actions
|
||||||
|
|
||||||
|
def main():
|
||||||
|
es = Elasticsearch([f"http://{ES_HOST}:{ES_PORT}"])
|
||||||
|
|
||||||
|
wait_for_elasticsearch(es)
|
||||||
|
create_index(es)
|
||||||
|
|
||||||
|
# Controllo se ci sono già dati per evitare duplicati
|
||||||
|
try:
|
||||||
|
count = es.count(index=INDEX_NAME)['count']
|
||||||
|
if count > 0:
|
||||||
|
logging.info(f"L'indice '{INDEX_NAME}' contiene già {count} documenti. Salto il caricamento.")
|
||||||
|
return
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
|
||||||
|
if os.path.exists(GEOJSON_FILE):
|
||||||
|
logging.info(f"Caricamento dati da {GEOJSON_FILE}...")
|
||||||
|
actions = process_geojson(GEOJSON_FILE)
|
||||||
|
if actions:
|
||||||
|
helpers.bulk(es, actions)
|
||||||
|
logging.info(f"Caricati {len(actions)} documenti in Elasticsearch.")
|
||||||
|
else:
|
||||||
|
logging.warning("Nessun dato valido trovato nel file GeoJSON.")
|
||||||
|
else:
|
||||||
|
logging.error(f"File {GEOJSON_FILE} non trovato. Assicurati di montare il volume correttamente.")
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
@@ -0,0 +1,2 @@
|
|||||||
|
elasticsearch==7.17.0
|
||||||
|
requests
|
||||||
Reference in New Issue
Block a user