Datadesigner orkestrerar syntetisk datagenerering på NeMo-plattformen.
Datadesigner, av Nvidia Nemo, är ett mcp-kategoriorchestreringsramverk som huvudsakligen är byggt med Python. Det specialiserar sig på att generera högkvalitativ syntetisk data, stödjer Tool Use och MCP. Distribuerad som ett open-source-bibliotek, integreras det med NeMo-plattformen som en tjänst och ansluter till olika LLM-inferensservrar. Det här verktyget gör det möjligt för utvecklare att definiera dataset-scheman och skala syntetiska datapipelines, vilket ger en flexibel lösning för dataskapande.
Mest rekommenderade alternativet
Vad ansluter Datadesigner till?
Datadesigner fungerar som ett orkestreringsramverk för syntetisk datagenerering, kategoriserad under Verktygsanvändning & MCP. Det fungerar som en klient till olika inferensservrar för stora språkmodeller, inklusive NVIDIA, OpenAI och vLLM-slutpunkter, utan att vara värd för modeller själv. Det integreras som en tjänst med NeMo-plattformen och kan omslutas av NeMo Curator för skalning. Dessutom ansluter det till externa verktyg under generering via Model Context Protocol, som använder Files API, Secrets API och Inference Gateway API från en NeMo Services-kluster.
Kärnfunktioner och verktyg
Datadesigner exponerar konfigurationsbyggande verktyg inom sitt "data_designer.config" paket. Nyckelkomponenter inkluderar ModelConfig, SamplerColumnConfig och LLMTextColumnConfig, som används för att definiera dataset-scheman. DataDesignerConfigBuilder konstruerar dessa konfigurationer. Metoden DataDesigner.preview() finns tillgänglig för att generera nya kolumner. Kommandoradsgränssnittskommandon som "data-designer create" tillhandahålls också för exekvering. Det möjliggör för LLM-kolumner att anropa externa verktyg via MCP för uppgifter som uppslag eller hämtning.
Vem är det för?
Datadesigner är för utvecklare och datavetare som behöver generera högkvalitativ syntetisk data och orkestrera LLM-drivna pipelines. Det gynnar dem som integrerar med NeMo-plattformen eller skalar syntetiska datainsatser med NeMo Curator. Användare som kräver finjusterad kontroll över dataset-scheman och externa verktygsinteraktioner via MCP kommer att finna det värdefullt. Detta är inte rätt val om du behöver en allt-i-ett-lösning som värdar LLM-modeller internt.
Hur man kommer igång
Åtkomst beviljas genom ett standard OAuth-autentiseringsflöde för NeMo-plattformens tjänst. För LLM-leverantörer autentiserar servern med en API-nyckel som skickas som en miljövariabel, såsom NVIDIA_API_KEY, via HTTP.
Användningsfall
- Generera syntetisk data för modellträning och testning.
- Orkestrera komplexa datarörledningar som involverar flera LLM-inferensservrar.
- Definiera och hantera dataset-scheman med LLM-genererade kolumner.
Datadesigner av Nvidia Nemo erbjuder ett Python-baserat orkestreringsramverk för syntetisk datagenerering inom mcp-kategorin. Det stöder ett brett utbud av LLM-inferensservrar och integreras med NeMo-plattformen, vilket möjliggör skalbar utveckling av datapipelines. Dess konfiguration verktyg ger detaljerad kontroll över datasettschema-definition och interaktion med externa verktyg. Försök att generera nya kolumner med hjälp av DataDesigner.preview() metoden för att utforska dess möjligheter.
