Talend Tools - Verschillende tools of componenten van Talend voor data-integratie

Introductie over Talend Tools

Talend open studio heeft meer dan 700 componenten op gebieden zoals big data, databases, cloud, etc. Talend open studio kan worden onderverdeeld in vele zoals Talend open studio voor data-integratie en Talend open studio voor big data, enz. In dit artikel zullen we zullen de verschillende tools van talend in detail zien.

Talend Open Studio Components / Tools

Talend Open Studio voor gegevensintegratie omvat de volgende gebieden / technologieën met enkele ingebouwde componenten die helpen bij het gemakkelijk verwerken.

Big Data-componenten
Bedrijfsonderdelen
Business Intelligence-componenten
Cloud componenten
Aangepaste codecomponenten
Gegevenskwaliteit componenten
Databases - traditionele componenten
Databases - apparaat / datawarehouse-componenten
Databases - andere componenten
DotNET-componenten
ELT-componenten
ESB-componenten
Bestand componenten
Internet componenten
Logboeken en foutencomponenten
Diverse groepsonderdelen
Orchestratie componenten
Componenten verwerken
Systeem componenten
Talend MDM-componenten
Technische componenten
XML-componenten

Hier zullen we enkele componenten van Talend Open Studio voor data-integratie bespreken.

1. tS3Connection: deze component wordt gebruikt voor het verbinden met Amazon S3. Componenten kunnen deze verbinding gebruiken om eenvoudig verbinding te maken met Amazon S3.

2. tS3Input: dit wordt gebruikt om een bestand van het S3-bestandssysteem te lezen. Het heeft enkele functies die vergelijkbaar zijn met tfileinputdelimited, maar maakt gebruik van Amazon Simple Storage-service.

3. tS3Output: dit wordt gebruikt om gegevens naar een S3-bestandssysteem te schrijven. Het heeft een aantal functies die vergelijkbaar zijn met tfileoutputdelimited, maar maakt gebruik van Amazon Simple Storage-service.

4. ts3Put: dit wordt gebruikt om een bestand vanuit een lokaal systeem in een S3-bestandssysteem te plaatsen.

5. ts3Get: dit onderdeel wordt gebruikt om een bestand van S3 op te halen in een lokaal systeem.

6. tS3BucketCreate: dit component wordt gebruikt om een bucket op S3 te maken.

7. tS3BucketDelete: dit onderdeel wordt gebruikt om een bucket op S3 te verwijderen.

8. tS3BucketExist: dit onderdeel wordt gebruikt om te controleren of de gegeven bucket op S3 bestaat. Het retourneert het resultaat in ware of valse Booleaanse waarde die kan worden gebruikt als een globale kaart.

9. tS3BucketList: dit onderdeel wordt gebruikt om alle emmers op S3 weer te geven.

10. tS3Copy: deze component wordt gebruikt om het S3-object van de ene bucket naar een andere bucket te kopiëren. Het is vergelijkbaar met tFileCopy.

11. tS3Delete: deze component wordt gebruikt om het S3-object uit een bucket te verwijderen. Het is vergelijkbaar met tFileDelete.

12. tS3Close: Dit component wordt gebruikt om de S3-verbinding te sluiten die is gemaakt met tS3Connection.

13. tCreateTettableFile: deze component maakt een tijdelijk bestand zoals tFileOutputDelimited, maar dit tijdelijke bestand kan automatisch worden verwijderd nadat de taak is voltooid of kan worden bewaard.

14. tFileArchive: deze component wordt gebruikt om een gecomprimeerd bestand te maken van een of meer bestanden. Versleuteling kan ook worden toegepast in compressie.

15. tFileCompare: deze component wordt gebruikt om twee bestanden te vergelijken en retourneert de vergelijkingsgegevens.

16. tFileUnarchive: dit onderdeel wordt gebruikt om een gecomprimeerd bestand uit te pakken .

17. tFileCopy: dit onderdeel wordt gebruikt om een bestand of map naar een doelmap te kopiëren.

18. tFileDelete: dit onderdeel wordt gebruikt om een bestand of map te verwijderen.

19. tFileExist: dit onderdeel wordt gebruikt om te controleren of een bestand bestaat of niet. Het retourneert het resultaat in ware of valse Booleaanse waarde die kan worden gebruikt als globalMap.

20. tFileInputExcel: dit onderdeel wordt gebruikt om een Excel-bestand te lezen op basis van het gedefinieerde schema.

21. tMsgBox: dit onderdeel wordt gebruikt om een dialoogvenster met een OK-knop weer te geven.

22. tRowGenerator: deze component wordt gebruikt om een willekeurig aantal rijen met kolommen met specifieke waarden of willekeurige waarden te maken. Het wordt meestal gebruikt voor testdoeleinden en voor het maken van voorbeeldtestbestanden.

23. tIterateToFlow: het wordt gebruikt om een lijst met stromen om te zetten in de hoofdstroom, wat iteratie-> rij-> hoofd betekent.

24. tFlowToIterate: het wordt gebruikt om de hoofdstroom om te zetten in een lijst met stromen, wat betekent hoofd-> rij-> itereren.

25. tLoop: het wordt gebruikt om een bepaalde taak te herhalen.

26. tReplicate: het wordt gebruikt om het inkomende schema te repliceren in twee outputstromen.

27. tRunJob: het wordt gebruikt om na de subjob een andere talendjob binnen de huidige job uit te voeren.

28. tSlapen: het wordt gebruikt om de taakuitvoering of bepaalde subjob gedurende een bepaalde tijd in seconden te pauzeren.

29. tWaitForFile: het zal naar een bepaalde map kijken en de volgende component activeren op basis van voorwaarde.

30.tMysqlBulkExec: dit onderdeel wordt gebruikt om prestaties te verbeteren tijdens het uitvoeren van de invoegbewerkingen op een Mysql-database.

31. tMysqlClose: dit onderdeel wordt gebruikt om de mysql-verbinding te sluiten die door tMysqlConnection is gemaakt.

32. tMysqlRow: dit onderdeel wordt gebruikt om de SQL-query rechtstreeks in de MySQL-database uit te voeren.

33. tMysqlTableList: dit onderdeel wordt gebruikt om de namen van tabellen weer te geven.

34. tMysqlColumnList: dit component wordt gebruikt om alle kolommen van een tabel te itereren.

35. tMysqlCommit: dit onderdeel wordt gebruikt om de wijzigingen in de Mysql-database door te voeren.

36. tMysqlLastInsertId: dit onderdeel wordt gebruikt om de laatst ingevoerde sleutelwaarde te verkrijgen

37. tMysqlOutputBulk: dit onderdeel wordt gebruikt om een bestand met kolommen te schrijven op basis van het scheidingsteken

38. tMysqlOutputBulkExec: dit onderdeel wordt gebruikt om een bestand met kolommen te schrijven op basis van het scheidingsteken en voert het bestand vervolgens uit in de Mysql-database.

39. tContextLoad: deze component wordt gebruikt voor het laden van waarden in context vanuit een invoerstroom. De contextvariabelen moeten worden gemaakt voordat de waarden in contextvariabelen worden geladen. Als de contextvariabelen niet zijn gemaakt, wordt er een waarschuwing weergegeven.

40. tHiveClose: dit component wordt gebruikt om de verbinding te sluiten die is gemaakt met tHiveConnection.

41. tHiveConnection: deze component wordt gebruikt om een Hive-verbinding te maken en kan worden hergebruikt door andere Hive-componenten.

42. tHiveRow: deze component wordt gebruikt om de Hive-query's rechtstreeks uit te voeren.

Conclusie

HDFS-componenten zijn te zien in Talend open studio voor Big data.
thdfsinput, thdfsoutput zijn enkele van de componenten en ze zijn vergelijkbaar met bestandscomponenten.
tHDFSInput - Leest het bestand dat zich op een bepaald Hadoop gedistribueerd bestandssysteem (HDFS) bevindt. Het heeft een aantal functies die vergelijkbaar zijn met tfileinputdelimited, maar gebruikt een door Hadoop verdeeld bestandssysteem.
tHDFSOutput- Schrijft bestand in Hadoop distributed file system (HDFS).
Het heeft enkele functies die vergelijkbaar zijn met tfileoutputdelimited, maar gebruikt een door Hadoop verdeeld bestandssysteem.
tHDFSPut- Dit wordt gebruikt om een bestand vanuit een lokaal systeem in het HDFS-bestandssysteem te plaatsen.
tHDFSGet- Deze component wordt gebruikt om een bestand van HDFS op te halen in een lokaal systeem.

Aanbevolen artikelen

Dit is een gids voor Talend Tools. Hier bespreken we de introductie en talend open studio-componenten of tools voor gegevensintegratie, waaronder tS3Connection, tS3Input, tS3Output en ts3Put, enz. U kunt ook de volgende artikelen bekijken voor meer informatie -