삽질/개발,엔지니어링 54

failed post-install: timed out waiting for the condition

실서버에 에어플로우를 설치하려고 하니 해당 오류가 발생. client.go:773: [debug] airflow-run-airflow-migrations: Jobs active: 1, jobs failed: 0, jobs succeeded: 0 W0530 19:16:15.686219 23727 reflector.go:456] k8s.io/client-go@v0.27.1/tools/cache/reflector.go:231: watch of *unstructured.Unstructured ended with: an error on the server ("unable to decode an event from the watch stream: stream error: stream ID 293; INTERNAL_..

NAS에 하드디스크 추가

딱히 필요는 없는데 NAS에 디스크 베이가 하나 남은 게 계속 생각이 나서 그냥 샀다. 세상 좋아졌다. 해외 구매인데 일 주일도 안 돼서 왔음. 디스크 끼우고 파티션 생성 # fdisk /dev/sdf Welcome to fdisk (util-linux 2.37.2). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Device does not contain a recognized partition table. The size of this disk is 7.3 TiB (8001563222016 bytes). DOS partition table format..

slack bot 실행시 CERTIFICATE_VERIFY_FAILED (_ssl.c:1051)

개발 환경에서는 문제가 없다가 실서버에서 돌리니 인증서 오류가 발생 했다. Failed to send a request to Slack API server: Failed to send a request to Slack API server: Traceback (most recent call last): File "/home/apps/python3.7/lib/python3.7/urllib/request.py", line 1317, in do_open encode_chunked=req.has_header('Transfer-encoding')) File "/home/apps/python3.7/lib/python3.7/http/client.py", line 1229, in request self._send_req..

python으로 Slack Bot 만들기

특정 채널에 특정 단어가 포함된 메시지를 감지 2에서 감지한 메시지에 특정 리액션이나 스레드에 댓글로 특정 메시지를 남기면 확인 2에서 특정 메시지를 남겨서 확인 처리 됐으나, 수정 해서 특정 메시지가 없어지거나 메시지 자체를 삭제를 하면 확인 취소 슬랙 앱 설정을 아래처럼 해줌. Settings > Socket Mode Enable Socket Mode을 켜야 함. Features > Event Subscriptions 필요한 이벤트 추가 (요구 사항에 대한 이해가 부족해서 일단 필요하다 싶은 거 다 넣어버림.) slack-sdk랑 slack-bolt가 필요함. pip3 install slack-sdk slack-bolt 슬랙 앱 토큰이랑 봇 토큰이 필요. 봇 토큰은 xoxb로 시작하고, 앱 토큰은 x..

ubuntu에서 transmission-daemon 업데이트

원래도 메모리릭이 심했는데, 요즘 들어서 너무 심해져서 이거 고치긴 할 건가 하는 생각이 들었다. (그라파나로 모니터링 걸어놓긴 했는데, 심할 때는 알럿도 없이 서버 자체가 뻗어서 SSH 접근도 안 돼서 재부팅을 해야 했다.) https://github.com/transmission/transmission/pull/1378 fix: qt client memory leaks by ckerr · Pull Request #1378 · transmission/transmission Over the weekend I ran the Qt client in valgrind and found a couple of leaks -- WatchDir's QFileSystemWatcher, and the QStyle that..

[ERROR] InnoDB: Attempted to open a previously opened tablespace...

건물 전기 작업으로 인해 서버가 강제로 꺼졌는데, mariadb가 실행이 안 되었다. 로그 확인을 해보니 [ERROR] InnoDB: Attempted to open a previously opened tablespace. Previous tablespace {경로} uses space ID: 2 at filepath: ./{경로}.ibd. Cannot open tablespace mysql/innodb_index_stats which uses space ID: 2 at filepath: ./mysql/innodb_index_stats.ibd 2023-04-29 06:13:38 7ff9386997e0 InnoDB: Operating system error number 2 in a file operatio..

Amazon CodeWhisperer 후기

아마존에서 코파일럿 같은 AI Code Generator를 무료로 공개 했다. https://aws.amazon.com/ko/codewhisperer/ AI Code Generator - Amazon CodeWhisperer - AWS CodeWhisperer fits the way that you work. Select from 15 programming languages, including Python, Java, and JavaScript, and your favorite integrated development environments (IDEs), including VS Code, IntelliJ IDEA, and AWS Cloud9. aws.amazon.com VSCODE에서 Extensions..

ChatGPT 파인튜닝 써보기 - 3

질문에 변화를 줘서 그나마 뭘 물어본 건지 인지 하는 거 같은 답변을 받았지만, A = B라는 걸 학습 시켜야 되는 게 아니라, A를 A라고 인식할 수 있게 학습을 시키는 게 맞기에 질문 일부를 바꾸고 답을 다르게 하기 위해 역대 뚜르드프랑스 우승자를 학습 시켜봤다. 학습 시킨 데이터는 기존에 쓰던 거를 이용해서 연도별 우승자로 반복 {"prompt":"2022년 뚜르드프랑스 종합 우승자는 누구인가요?","completion":"2022년 뚜르드프랑스 종합 우승자는 요나스 빙가르 (Jonas Vingegaard, 덴마크)입니다."} {"prompt":"뚜르드프랑스 2022년 대회에서 가장 성공한 선수는 누구였나요?","completion":"뚜르드프랑스 2022년 대회에서 가장 성공한 선수는 종합 우승자..

ChatGPT 파인튜닝 써보기 - 2

기존에 내가 학습 시키려고 사용한 프롬프트는 'A = B'와 같은 것들이었다. 뭔가 잘못 사용하는 게 맞다는 생각이 들어서 ChatGPT에게 직접 문의를 했다. 질 chatgpt 파인튜닝에 대해 알려줘 답 파인튜닝(Fine-tuning)은 이미 기본적인 지식과 구조를 가지고 있는 사전 훈련된(pre-trained) 모델을 특정 작업이나 도메인에 맞게 맞추기 위한 훈련 과정입니다. ChatGPT의 경우, GPT-4 아키텍처를 기반으로 하며 사전 훈련된 상태에서 시작됩니다. 파인튜닝을 통해 모델은 다음과 같은 이점을 얻을 수 있습니다: 데이터 효율성: 파인튜닝을 통해 모델은 작은 양의 훈련 데이터로도 빠르게 원하는 작업에 최적화할 수 있습니다. 작업 수행력 향상: 사전 훈련된 모델에 추가로 훈련 데이터를 제..

반응형