-
-
Notifications
You must be signed in to change notification settings - Fork 639
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
feat: add tests for tool-object script #3265
base: master
Are you sure you want to change the base?
Changes from all commits
d1fc6c4
9b22bc1
3629568
cabfbae
340c1f7
5d4771b
7673203
e6a3505
403bb4e
9d74152
3e20593
5000a47
8efbc84
56b0fdd
859676e
f51feb3
f540e5b
ae3e19b
3e73220
f9906ae
d31a06f
03f9dc1
c866aa0
bfc9e6e
9c1ef9e
a1af4f7
9d38d41
08a8970
cb90254
d16f9a1
1164703
4540530
cf6a37d
0a83f54
740d4d6
8f2162d
c2ee924
267023e
e4be92f
f39e57c
dcb955b
b8c0558
72f1e63
fed2691
7554976
044a049
0270bf1
771c5db
2be6d42
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
Original file line number | Diff line number | Diff line change | ||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
@@ -9,7 +9,6 @@ addFormats(ajv, ["uri"]) | |||||||||||||||||||||||||||||||
const validate = ajv.compile(schema) | ||||||||||||||||||||||||||||||||
const { convertToJson } = require('../utils'); | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
// Config options set for the Fuse object | ||||||||||||||||||||||||||||||||
const options = { | ||||||||||||||||||||||||||||||||
includeScore: true, | ||||||||||||||||||||||||||||||||
|
@@ -25,7 +24,7 @@ const fuse = new Fuse(categoryList, options) | |||||||||||||||||||||||||||||||
// isAsyncAPIrepo boolean variable to define whether the tool repository is under | ||||||||||||||||||||||||||||||||
// AsyncAPI organization or not, to create a JSON tool object as required in the frontend | ||||||||||||||||||||||||||||||||
// side to show ToolCard. | ||||||||||||||||||||||||||||||||
const createToolObject = async (toolFile, repositoryUrl='', repoDescription='', isAsyncAPIrepo='') => { | ||||||||||||||||||||||||||||||||
const createToolObject = async (toolFile, repositoryUrl = '', repoDescription = '', isAsyncAPIrepo = '') => { | ||||||||||||||||||||||||||||||||
let resultantObject = { | ||||||||||||||||||||||||||||||||
title: toolFile.title, | ||||||||||||||||||||||||||||||||
description: toolFile?.description ? toolFile.description : repoDescription, | ||||||||||||||||||||||||||||||||
|
@@ -47,67 +46,66 @@ const createToolObject = async (toolFile, repositoryUrl='', repoDescription='', | |||||||||||||||||||||||||||||||
// and creating a JSON tool object in which all the tools are listed in defined | ||||||||||||||||||||||||||||||||
// categories order, which is then updated in `automated-tools.json` file. | ||||||||||||||||||||||||||||||||
async function convertTools(data) { | ||||||||||||||||||||||||||||||||
let finalToolsObject = {}; | ||||||||||||||||||||||||||||||||
const dataArray = data.items; | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
// initialising finalToolsObject with all categories inside it with proper elements in each category | ||||||||||||||||||||||||||||||||
for (var index in categoryList) { | ||||||||||||||||||||||||||||||||
finalToolsObject[categoryList[index].name] = { | ||||||||||||||||||||||||||||||||
description: categoryList[index].description, | ||||||||||||||||||||||||||||||||
toolsList: [] | ||||||||||||||||||||||||||||||||
}; | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
try { | ||||||||||||||||||||||||||||||||
let finalToolsObject = {}; | ||||||||||||||||||||||||||||||||
const dataArray = data.items; | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
for (let tool of dataArray) { | ||||||||||||||||||||||||||||||||
try { | ||||||||||||||||||||||||||||||||
if (tool.name.startsWith('.asyncapi-tool')) { | ||||||||||||||||||||||||||||||||
// extracting the reference id of the repository which will be used to extract the path of the .asyncapi-tool file in the Tools repository | ||||||||||||||||||||||||||||||||
// ex: for a url = "https://api.github.com/repositories/351453552/contents/.asyncapi-tool?ref=61855e7365a881e98c2fe667a658a0005753d873" | ||||||||||||||||||||||||||||||||
// the text (id) present after '=' gives us a reference id for the repo | ||||||||||||||||||||||||||||||||
let reference_id = tool.url.split("=")[1]; | ||||||||||||||||||||||||||||||||
let download_url = `https://raw.githubusercontent.com/${tool.repository.full_name}/${reference_id}/${tool.path}`; | ||||||||||||||||||||||||||||||||
// initialising finalToolsObject with all categories inside it with proper elements in each category | ||||||||||||||||||||||||||||||||
for (var index in categoryList) { | ||||||||||||||||||||||||||||||||
finalToolsObject[categoryList[index].name] = { | ||||||||||||||||||||||||||||||||
description: categoryList[index].description, | ||||||||||||||||||||||||||||||||
toolsList: [] | ||||||||||||||||||||||||||||||||
}; | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
Comment on lines
+54
to
+59
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion Replace for..in with Object.entries. The for..in loop can iterate over inherited properties and is not the recommended approach for array iteration. - for (var index in categoryList) {
- finalToolsObject[categoryList[index].name] = {
- description: categoryList[index].description,
- toolsList: []
- };
- }
+ for (const category of categoryList) {
+ finalToolsObject[category.name] = {
+ description: category.description,
+ toolsList: []
+ };
+ } 📝 Committable suggestion
Suggested change
🧰 Tools🪛 eslint[error] 54-59: for..in loops iterate over the entire prototype chain, which is virtually never what you want. Use Object.{keys,values,entries}, and iterate over the resulting array. (no-restricted-syntax) [error] 54-59: The body of a for-in should be wrapped in an if statement to filter unwanted properties from the prototype. (guard-for-in) [error] 54-54: All 'var' declarations must be at the top of the function scope. (vars-on-top) [error] 54-54: Unexpected var, use let or const instead. (no-var) |
||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
const { data: toolFileContent } = await axios.get(download_url); | ||||||||||||||||||||||||||||||||
for (let tool of dataArray) { | ||||||||||||||||||||||||||||||||
try { | ||||||||||||||||||||||||||||||||
if (tool.name.startsWith('.asyncapi-tool')) { | ||||||||||||||||||||||||||||||||
// extracting the reference id of the repository which will be used to extract the path of the .asyncapi-tool file in the Tools repository | ||||||||||||||||||||||||||||||||
// ex: for a url = "https://api.github.com/repositories/351453552/contents/.asyncapi-tool?ref=61855e7365a881e98c2fe667a658a0005753d873" | ||||||||||||||||||||||||||||||||
// the text (id) present after '=' gives us a reference id for the repo | ||||||||||||||||||||||||||||||||
let reference_id = tool.url.split("=")[1]; | ||||||||||||||||||||||||||||||||
let download_url = `https://raw.githubusercontent.com/${tool.repository.full_name}/${reference_id}/${tool.path}`; | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
//some stuff can be YAML | ||||||||||||||||||||||||||||||||
const jsonToolFileContent = await convertToJson(toolFileContent) | ||||||||||||||||||||||||||||||||
const { data: toolFileContent } = await axios.get(download_url); | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
//validating against JSON Schema for tools file | ||||||||||||||||||||||||||||||||
const isValid = await validate(jsonToolFileContent) | ||||||||||||||||||||||||||||||||
//some stuff can be YAML | ||||||||||||||||||||||||||||||||
const jsonToolFileContent = await convertToJson(toolFileContent) | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
if (isValid) { | ||||||||||||||||||||||||||||||||
let repositoryUrl = tool.repository.html_url; | ||||||||||||||||||||||||||||||||
let repoDescription = tool.repository.description; | ||||||||||||||||||||||||||||||||
let isAsyncAPIrepo = tool.repository.owner.login === "asyncapi"; | ||||||||||||||||||||||||||||||||
let toolObject = await createToolObject(jsonToolFileContent, repositoryUrl, repoDescription, isAsyncAPIrepo); | ||||||||||||||||||||||||||||||||
//validating against JSON Schema for tools file | ||||||||||||||||||||||||||||||||
const isValid = await validate(jsonToolFileContent) | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
// Tool Object is appended to each category array according to Fuse search for categories inside Tool Object | ||||||||||||||||||||||||||||||||
jsonToolFileContent.filters.categories.forEach(async (category) => { | ||||||||||||||||||||||||||||||||
const categorySearch = await fuse.search(category); | ||||||||||||||||||||||||||||||||
if (isValid) { | ||||||||||||||||||||||||||||||||
let repositoryUrl = tool.repository.html_url; | ||||||||||||||||||||||||||||||||
let repoDescription = tool.repository.description; | ||||||||||||||||||||||||||||||||
let isAsyncAPIrepo = tool.repository.owner.login === "asyncapi"; | ||||||||||||||||||||||||||||||||
let toolObject = await createToolObject(jsonToolFileContent, repositoryUrl, repoDescription, isAsyncAPIrepo); | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
if (categorySearch.length) { | ||||||||||||||||||||||||||||||||
let searchedCategoryName = categorySearch[0].item.name | ||||||||||||||||||||||||||||||||
if (!finalToolsObject[searchedCategoryName].toolsList.find((element => element === toolObject))) | ||||||||||||||||||||||||||||||||
finalToolsObject[searchedCategoryName].toolsList.push(toolObject); | ||||||||||||||||||||||||||||||||
} else { | ||||||||||||||||||||||||||||||||
// if Tool object has a category, not defined in our categorylist, then this provides a `other` category to the tool. | ||||||||||||||||||||||||||||||||
if (!finalToolsObject['Others'].toolsList.find((element => element === toolObject))) | ||||||||||||||||||||||||||||||||
finalToolsObject['Others'].toolsList.push(toolObject); | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
}); | ||||||||||||||||||||||||||||||||
} else { | ||||||||||||||||||||||||||||||||
console.error('Script is not failing, it is just dropping errors for further investigation'); | ||||||||||||||||||||||||||||||||
console.error('Invalid .asyncapi-tool file.'); | ||||||||||||||||||||||||||||||||
console.error(`Located in: ${tool.html_url}`); | ||||||||||||||||||||||||||||||||
console.error('Validation errors:', JSON.stringify(validate.errors, null, 2)); | ||||||||||||||||||||||||||||||||
// Tool Object is appended to each category array according to Fuse search for categories inside Tool Object | ||||||||||||||||||||||||||||||||
await Promise.all(jsonToolFileContent.filters.categories.map(async (category) => { | ||||||||||||||||||||||||||||||||
const categorySearch = await fuse.search(category); | ||||||||||||||||||||||||||||||||
const targetCategory = categorySearch.length ? categorySearch[0].item.name : 'Others'; | ||||||||||||||||||||||||||||||||
const toolsList = finalToolsObject[targetCategory].toolsList; | ||||||||||||||||||||||||||||||||
if (!toolsList.includes(toolObject)) { | ||||||||||||||||||||||||||||||||
toolsList.push(toolObject); | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
})); | ||||||||||||||||||||||||||||||||
} else { | ||||||||||||||||||||||||||||||||
console.error('Script is not failing, it is just dropping errors for further investigation'); | ||||||||||||||||||||||||||||||||
console.error('Invalid .asyncapi-tool file.'); | ||||||||||||||||||||||||||||||||
console.error(`Located in: ${tool.html_url}`); | ||||||||||||||||||||||||||||||||
console.error('Validation errors:', JSON.stringify(validate.errors, null, 2)); | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
Comment on lines
+93
to
+98
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion Improve validation error handling. The current validation error logging could be more actionable and structured. Consider enhancing the validation error reporting: } else {
- console.error('Script is not failing, it is just dropping errors for further investigation');
- console.error('Invalid .asyncapi-tool file.');
- console.error(`Located in: ${tool.html_url}`);
- console.error('Validation errors:', JSON.stringify(validate.errors, null, 2));
+ const validationError = {
+ type: 'validation_failure',
+ file: tool.html_url,
+ errors: validate.errors,
+ timestamp: new Date().toISOString()
+ };
+ console.error('AsyncAPI tool validation failed:', JSON.stringify(validationError, null, 2));
} 📝 Committable suggestion
Suggested change
|
||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
} catch (err) { | ||||||||||||||||||||||||||||||||
console.error(err) | ||||||||||||||||||||||||||||||||
throw err; | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
} catch (err) { | ||||||||||||||||||||||||||||||||
console.error(err) | ||||||||||||||||||||||||||||||||
throw err; | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
return finalToolsObject; | ||||||||||||||||||||||||||||||||
} catch (err) { | ||||||||||||||||||||||||||||||||
throw new Error(`Error processing tool: ${err.message}`) | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
return finalToolsObject; | ||||||||||||||||||||||||||||||||
} | ||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||
module.exports = {convertTools, createToolObject} | ||||||||||||||||||||||||||||||||
module.exports = { convertTools, createToolObject } |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
🛠️ Refactor suggestion
Enhance error handling with structured logging.
The outer try-catch block could benefit from more structured error logging to aid in debugging and monitoring.
Consider enhancing the error handling:
Also applies to: 110-112
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
@akshatnema, understood. Using a custom LogService with Winston for logging makes sense. I'll note this for future reviews.
✏️ Learnings added
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
@coderabbitai Instead of doing this, we can have a custom LogService that uses winston to provide these logs.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
@akshatnema, understood. Implementing a custom LogService with Winston is a great approach. Here's an example of how you could set it up:
Create a
logger.js
module:Update your
tools-object.js
to use the custom logger:With this setup, all your error logs will be handled by Winston, allowing for consistent and configurable logging across the application.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
@coderabbitai Can you please make a issue for this to create a custom LogService?
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
@akshatnema, I've created an issue to implement a custom LogService using Winston as requested: #3358
🔗 Analysis chain
🏁 Scripts executed
The following scripts were executed for the analysis:
Script:
Length of output: 485