-
Notifications
You must be signed in to change notification settings - Fork 370
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
请问该工具最大支持传输 多大的数据? #105
Comments
可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。 |
目前我能不能修改某些地方的代码,能够传递10G的vector数据。分块也可以 但总感觉不太好的样子 |
肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。 |
分成小的效率高吗,我目前用于分布式聚类,会传递大量的向量 ,不是一次传的越多效率越高吗 |
一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。 |
大概超过多少数据 ,rpc会挂掉?我按照这个分块传递吧,谢谢啦! |
一次传递500M应该不会触发问题吧? |
一次传2M就够了,分配太大了也没啥用,操作系统内部还是分块上传的。 |
我修改了程序中的数据大小和超时限制,但是当我的传输数据大于2G时,程序会挂掉。请问我需要修改哪里,才能传输大规模的数据。
The text was updated successfully, but these errors were encountered: