Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请问该工具最大支持传输 多大的数据? #105

Open
qzp-user opened this issue Jun 4, 2023 · 8 comments
Open

请问该工具最大支持传输 多大的数据? #105

qzp-user opened this issue Jun 4, 2023 · 8 comments

Comments

@qzp-user
Copy link

qzp-user commented Jun 4, 2023

我修改了程序中的数据大小和超时限制,但是当我的传输数据大于2G时,程序会挂掉。请问我需要修改哪里,才能传输大规模的数据。

@qicosmos
Copy link
Owner

qicosmos commented Jun 5, 2023

可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。

@qzp-user
Copy link
Author

qzp-user commented Jun 5, 2023

可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。

目前我能不能修改某些地方的代码,能够传递10G的vector数据。分块也可以 但总感觉不太好的样子

@qicosmos
Copy link
Owner

qicosmos commented Jun 5, 2023

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。

@qzp-user
Copy link
Author

qzp-user commented Jun 5, 2023

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。

分成小的效率高吗,我目前用于分布式聚类,会传递大量的向量 ,不是一次传的越多效率越高吗

@qicosmos
Copy link
Owner

qicosmos commented Jun 5, 2023

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

@qzp-user
Copy link
Author

qzp-user commented Jun 5, 2023

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

大概超过多少数据 ,rpc会挂掉?我按照这个分块传递吧,谢谢啦!

@qzp-user
Copy link
Author

qzp-user commented Jun 5, 2023

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

一次传递500M应该不会触发问题吧?

@qicosmos
Copy link
Owner

qicosmos commented Jun 6, 2023

一次传2M就够了,分配太大了也没啥用,操作系统内部还是分块上传的。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants