Merge pull request #11 from NeiH4207/grow-speed

Grow up speed, fix error in other python versions [3.7 3.8 3.9]

.github/workflows/pythontest.yml

@@ -0,0 +1,103 @@
+name: Python Tests
+
+on:
+  push:
+    branches: [ main ]
+  pull_request:
+    branches: [ main ]
+
+jobs:
+  test:
+    runs-on: ubuntu-latest
+    strategy:
+      matrix:
+        python-version: ['3.7', '3.8', '3.9', '3.10', '3.11']
+      fail-fast: false
+
+    steps:
+    - uses: actions/checkout@v2
+
+    - name: Set up Python ${{ matrix.python-version }}
+      uses: actions/setup-python@v2
+      with:
+        python-version: ${{ matrix.python-version }}
+
+    - name: Cache pip packages
+      uses: actions/cache@v2
+      with:
+        path: ~/.cache/pip
+        key: ${{ runner.os }}-pip-${{ hashFiles('**/requirements.txt') }}
+        restore-keys: |
+          ${{ runner.os }}-pip-
+
+    - name: Install dependencies
+      run: |
+        python -m pip install --upgrade pip
+        pip install -e .
+        pip install pytest pytest-cov flake8
+
+    - name: Lint with flake8
+      run: |
+        flake8 . --count --select=E9,F63,F7,F82 --show-source --statistics
+        flake8 . --count --exit-zero --max-complexity=10 --max-line-length=127 --statistics
+
+    - name: Run tests with pytest
+      run: |
+        pytest tests/ --cov=./ --cov-report=xml
+
+    - name: Upload coverage to Codecov
+      uses: codecov/codecov-action@v3
+      with:
+        token: ${{ secrets.CODECOV_TOKEN }}
+        file: ./coverage.xml
+        flags: unittests
+        env_vars: OS,PYTHON
+        name: codecov-umbrella
+        fail_ci_if_error: true
+
+    - name: Archive test results
+      uses: actions/upload-artifact@v2
+      with:
+        name: pytest-results-${{ matrix.python-version }}
+        path: pytest-results
+
+    - name: Archive code coverage results
+      uses: actions/upload-artifact@v2
+      with:
+        name: code-coverage-report-${{ matrix.python-version }}
+        path: coverage.xml
+
+  integration-test:
+    runs-on: ubuntu-latest
+
+    steps:
+    - uses: actions/checkout@v2
+
+    - name: Set up Python
+      uses: actions/setup-python@v2
+      with:
+        python-version: '3.9'
+
+    - name: Install dependencies
+      run: |
+        python -m pip install --upgrade pip
+        pip install -e .
+        pip install pytest
+
+    - name: Check for integration tests
+      id: check_files
+      uses: andstor/file-existence-action@v1
+      with:
+        files: "tests/integration"
+
+    - name: Run integration tests
+      if: steps.check_files.outputs.files_exists == 'true'
+      run: |
+        pytest tests/integration/
+
+    - name: Archive integration test results
+      if: steps.check_files.outputs.files_exists == 'true'
+      uses: actions/upload-artifact@v2
+      with:
+        name: integration-test-results
+        path: integration-test-results

output.csv

@@ -0,0 +1,3 @@
+Description,Patient,Doctor
+P. ¿Qué significa pilar de la raíz nerviosa?,"Hola doctor, me pregunto qué significa el apoyo y el apoyo de la raíz nerviosa en un problema de espalda. Por favor explique. ¿Qué tratamiento se requiere para el abultamiento y el desgarro anular?",Hola. He analizado tu consulta con diligencia y me gustaría que supieras que estoy aquí para ayudarte. Para más información consulte con un neurólogo online -->
+P. ¿Qué debo hacer para reducir el peso ganado debido al hipotiroidismo genético?,"Hola doctor, soy una mujer de 22 años a quien le diagnosticaron hipotiroidismo (genético) cuando tenía 12. En los últimos cinco años, he adquirido alrededor de 50 libras de sobrepeso y todos mis intentos de perder peso parecieron fracasar. Me he rendido, pero mi peso sigue siendo el mismo. Hay mucha información sobre la pérdida de peso con hipotiroidismo, pero toda parece entrar en conflicto. No estoy seguro de qué tipo de ejercicio y dieta debo seguir, pero aun así me gustaría perder peso, pero lo más importante es que mi cuerpo se sienta mejor. ¿Qué puedo hacer? Actualmente estoy tomando levotiroxina, Buspar y Benedryl.","Hola. Te ha ido muy bien con el problema del hipotiroidismo. Tus niveles son normales con menos medicamentos lo cual es muy bueno. Al estar inducido genéticamente, es muy difícil perder peso. Mi consejo para usted es que debe concentrarse en mantener niveles normales de TSH (hormona estimulante de la tiroides) y tratar de mantenerse activo y tener una perspectiva positiva de la vida. De lo contrario, será muy difícil equilibrar su vida con los síntomas del hipotiroidismo. Aunque tu peso no haya disminuido, ten mucho cuidado de no engordar aquí después. Caminata rápida todos los días durante 1 hora. Si tiene dolor corporal, alterne con ejercicios y caminatas. Evite todo tipo de comida chatarra, procesada, productos de panadería, dulces ricos, alimentos grasos, refrescos, alcohol y fumar. Evite las fiestas y los atracones. Siga correctamente los horarios de las comidas. Haga comidas pequeñas y frecuentes. Entre los refrigerios debe haber estrictamente frutas o cualquier tipo de alimento bajo en calorías. Consuma nueces sin sal alrededor de cinco al día. Puede darle brillo a tu piel seca. La ingesta diaria de agua debe rondar los 1,5-2 litros. Puedes utilizar semillas de lino. Espolvoréalo y mézclalo con tu comida. Es una fibra que te dará saciedad. Utilice cúrcuma, semillas de fenogreco o polvo todos los días. Es un buen antioxidante y la alholva ayuda a reducir los niveles de colesterol. Incluya leche desnatada y cuajada todos los días. La clara de huevo, el pollo magro o el pescado se pueden tomar diariamente con moderación (cualquiera). Es necesario evitar las vísceras. ¿Tu ciclo menstrual es normal? Por favor regrese si tiene alguna otra queja. Seguimiento a los 15 días."

requirements.txt

@@ -1,9 +1,10 @@
 loguru==0.7.2
-pandas==2.2.2
-bottleneck==1.3.6
 googletrans==4.0.0rc1
+pandas
+bottleneck
 openpyxl==3.1.2
 requests==2.31.0
 h2==3.2.0
 httpx==0.13.3
-python-docx==1.1.2
+python-docx
+pytest

samples/sample.csv

@@ -0,0 +1,3 @@
+Description,Patient,Doctor
+Q. What does abutment of the nerve root mean?,"Hi doctor,I am just wondering what is abutting and abutment of the nerve root means in a back issue. Please explain. What treatment is required for annular bulging and tear?",Hi. I have gone through your query with diligence and would like you to know that I am here to help you. For further information consult a neurologist online -->
+Q. What should I do to reduce my weight gained due to genetic hypothyroidism?,"Hi doctor, I am a 22-year-old female who was diagnosed with hypothyroidism (genetic) when I was 12. Over the past five years, I have become around 50 pounds overweight and all of my attempts to lose have seemed to fail so I have given up, but my weight has stayed the same. There is so much information put there about losing weight with hypothyroidism but it all seems to conflict. I am so unsure as to what type of exercise and diet I should follow as a result but I still would like to lose weight, but most importantly have my body feel better. What can I do? I am currently on Levothyroxine, Buspar, and Benedryl.","Hi. You have really done well with the hypothyroidism problem. Your levels are normal with less medications which are very good. As it is genetically induced, it is very difficult to lose weight. My advice to you is, you should focus on maintaining normal levels of TSH (thyroid-stimulating hormone) and try to remain active, having a positive outlook in life. Or else, it will become very difficult to balance your life with the symptoms of hypothyroidism. Even though your weight has not reduced, be very careful in not putting on weight here afterward. Everyday brisk walking for 1 hour. If you have body pain, alternate with exercises and walking. Avoid all kinds of junk foods, processed, bakery products, rich sweets, fatty foods, sodas, alcohol, and smoking. Avoid partying and binge eating. Follow the food timings properly. Have small frequent meals. In between snacks should be strictly fruits or any kind of low-calorie foods. Have unsalted nuts around five daily. It can give a glow to your dry skin. Everyday water intake should be around 1.5-2 liters. You can use flax seeds. Powder it and mix it in your food. It is a fiber which will give you fullness. Use turmeric, fenugreek seeds, or powder every day. It is a good antioxidant and fenugreek helps in reducing cholesterol levels. Include low-fat milk, curd every day. Egg white, lean chicken, or fish can be taken daily in moderation (anyone). Organ meats need to be avoided. Is your menstrual cycle normal? Please get back if you have any other complaints. Follow up after 15 days."

samples/sample_en_vi.csv

@@ -0,0 +1,3 @@
+Description,Patient,Doctor
+Q. Trụ của rễ thần kinh có ý nghĩa gì?,"Xin chào bác sĩ, tôi đang thắc mắc việc trụ và trụ rễ thần kinh có ý nghĩa gì trong vấn đề về lưng. Vui lòng giải thích. Cần điều trị gì khi bị phồng và rách hình khuyên?","CHÀO. Tôi đã xem xét kỹ câu hỏi của bạn và muốn bạn biết rằng tôi ở đây để giúp bạn. Để biết thêm thông tin, hãy tham khảo ý kiến ​​​​bác sĩ thần kinh trực tuyến -->"
+Hỏi: Tôi nên làm gì để giảm cân tăng do suy giáp di truyền?,"Xin chào bác sĩ, tôi là một nữ 22 tuổi được chẩn đoán mắc bệnh suy giáp (di truyền) khi tôi 12 tuổi. Trong 5 năm qua, tôi đã thừa cân khoảng 50 pound và mọi nỗ lực giảm cân của tôi dường như đều thất bại. Tôi đã bỏ cuộc nhưng cân nặng của tôi vẫn giữ nguyên. Có rất nhiều thông tin về việc giảm cân khi bị suy giáp nhưng dường như tất cả đều mâu thuẫn với nhau. Tôi không chắc chắn nên áp dụng loại bài tập và chế độ ăn kiêng nào nhưng tôi vẫn muốn giảm cân, nhưng quan trọng nhất là cơ thể tôi cảm thấy tốt hơn. Tôi có thể làm gì? Tôi hiện đang dùng Levothyroxine, Buspar và Benedryl.","CHÀO. Bạn đã thực sự làm tốt vấn đề suy giáp. Mức độ của bạn là bình thường với ít thuốc hơn, điều này rất tốt. Vì là do di truyền nên rất khó giảm cân. Lời khuyên của tôi dành cho bạn là, bạn nên tập trung vào việc duy trì mức TSH (hormone kích thích tuyến giáp) ở mức bình thường và cố gắng duy trì hoạt động, có cái nhìn tích cực trong cuộc sống. Hoặc nếu không, việc cân bằng cuộc sống với những triệu chứng của bệnh suy giáp sẽ trở nên rất khó khăn. Mặc dù cân nặng của bạn không giảm nhưng hãy hết sức cẩn thận để không tăng cân sau đó. Mỗi ngày đi bộ nhanh trong 1 giờ. Nếu bạn bị đau nhức cơ thể, hãy xen kẽ với các bài tập và đi bộ. Tránh tất cả các loại đồ ăn vặt, đồ ăn chế biến sẵn, bánh mì, đồ ngọt nhiều, đồ ăn béo, nước ngọt, rượu và hút thuốc. Tránh tiệc tùng và ăn uống vô độ. Thực hiện đúng thời gian ăn uống. Ăn nhiều bữa nhỏ thường xuyên. Giữa các bữa ăn nhẹ nên ăn trái cây hoặc bất kỳ loại thực phẩm ít calo nào. Ăn các loại hạt không muối khoảng năm giờ mỗi ngày. Nó có thể mang lại ánh sáng cho làn da khô của bạn. Lượng nước uống hàng ngày nên vào khoảng 1,5-2 lít. Bạn có thể sử dụng hạt lanh. Bột nó và trộn nó vào thức ăn của bạn. Nó là chất xơ sẽ mang lại cho bạn cảm giác no. Sử dụng bột nghệ, hạt cỏ cà ri hoặc bột mỗi ngày. Nó là một chất chống oxy hóa tốt và cỏ cà ri giúp giảm mức cholesterol. Bổ sung sữa ít béo, sữa đông mỗi ngày. Lòng trắng trứng, thịt gà nạc hoặc cá có thể dùng hàng ngày với lượng vừa phải (bất kỳ ai cũng được). Thịt nội tạng cần phải tránh. Chu kỳ kinh nguyệt của bạn có bình thường không? Vui lòng quay lại nếu bạn có bất kỳ khiếu nại nào khác. Theo dõi sau 15 ngày."

setup.py

@@ -19,7 +19,7 @@ def get_requirements(path: str):
     packages=find_packages(),
     keywords='google translate, translation, document translation, language translation',
     install_requires=get_requirements("requirements.txt"),
-    python_requires='>=3.9',
+    python_requires='>=3.7',
     entry_points={
         'console_scripts': [
             'transipy=transipy:main'

tests/test_main.py

@@ -0,0 +1,37 @@
+import os
+import sys
+import pytest
+from unittest.mock import patch
+
+# Add the parent directory to the Python path to import the main script
+sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
+
+from transipy import main  # Replace with your actual main script name
+
+@pytest.fixture
+def sample_csv_path():
+    return os.path.join('samples', 'sample.csv')
+
+@patch('argparse.ArgumentParser.parse_args')
+def test_main_with_sample_csv(mock_args, sample_csv_path):
+    # Mock the command line arguments
+    mock_args.return_value = type('Args', (), {
+        'file_path': sample_csv_path,
+        'sep': ',',
+        'source': 'en',
+        'target': 'vi',
+        'chunk_size': 1,
+        'output_file': None,
+        'dictionary': None,
+        'column': None,
+        'skip': None,
+        'sheet': None
+    })()
+
+    # Call the main function
+    main()
+
+    # Assert that the output file was created
+    assert os.path.exists('samples/sample_en_vi.csv')
+
+    # You can add more assertions here to check the content of the output file